На Яндекс Маркете продаётся миллиард товаров, и во время крупных распродаж они участвуют почти в 2000 акций с разными условиями и сроками. Чтобы следить за объёмами продаж и избегать убытков, используют аналитические витрины. В них собираются данные об участниках акций, сегментах клиентов и других категориях — всего несколько тысяч параметров.
Обычно обработка данных занимает часы, а результаты за прошлый день появляются на витрине только на следующий. Для бизнеса это слишком долго. Например, однажды в одной из акций дроны продавались дешевле закупочной цены: товар быстро раскупили, Маркет потерял деньги, а ошибка стала видна только через день.
Команда DWH решила проблему, создав операционную витрину с обновлением данных каждые 15 минут. На конференции Saint HighLoad++ руководитель направления DWH в Яндекс Маркете Филипп Козьмин рассказал, как разработчики сократили время обработки данных с часов до нескольких минут.