• frontend
  • product
  • data

Аналитические витрины на YTSaurus с обновлением раз в 15 минут. Опыт Яндекс Маркета

На Яндекс Маркете продаётся миллиард товаров, и во время крупных распродаж они участвуют почти в 2000 акций с разными условиями и сроками. Чтобы следить за объёмами продаж и избегать убытков, используют аналитические витрины. В них собираются данные об участниках акций, сегментах клиентов и других категориях — всего несколько тысяч параметров.

Обычно обработка данных занимает часы, а результаты за прошлый день появляются на витрине только на следующий. Для бизнеса это слишком долго. Например, однажды в одной из акций дроны продавались дешевле закупочной цены: товар быстро раскупили, Маркет потерял деньги, а ошибка стала видна только через день.

Команда DWH решила проблему, создав операционную витрину с обновлением данных каждые 15 минут. На конференции Saint HighLoad++ руководитель направления DWH в Яндекс Маркете Филипп Козьмин рассказал, как разработчики сократили время обработки данных с часов до нескольких минут.

  • frontend
  • product
  • data