e Как собирать и обрабатывать в облаке данные о 350 млн товаров в день: кейс Sellematics – Блог Рег.ру
Категории Облако

Как собирать и обрабатывать в облаке данные о 350 млн товаров в день: кейс Sellematics

В кейсе делимся опытом масштабирования в облаке сервиса аналитики и исследований для eCommerce — Sellematics.

О клиенте

Sellematics — ведущий российский сервис аналитики в сфере e-commerce. Компания помогает мировым брендам и дистрибьюторам отслеживать динамику цен, репутацию и представленность на более чем 20 российских онлайн площадках. Компании также принадлежит сервис Sellmonitor, который помогает большим и маленьким селлерам увеличивать продажи, управлять рекламой и поставками на маркетплейсах.

Кроме того, компания предоставляет услуги аналитики в Е-соm на рынке KHP в рамках сервиса Sellscreen.io.

Задачи

→ Обеспечить стабильное и быстрое соединение.

→ Гарантировать высокую производительность и высокую скорость вычислений.

→ Гарантировать надежное хранение и защиту данных объемом в несколько десятков терабайт.

Помимо этого Sellematics важно иметь возможность масштабировать ресурсы при необходимости — объем обрабатываемых данных растет, поэтому клиенту нужны производительные и надежные решения на рынке. Важно, чтобы техническая поддержка оперативно помогала с настройкой серверов и решала возникающие вопросы. 

Решение

Sellematics сотрудничает с Рег.ру с момента основания. В 2019 году компания арендовала 5 физических серверов. Сейчас компания использует современную DevOps-инфраструктуру, которая обеспечивает стабильность и высокую производительность работы платформы. В основе лежат более 20 высокопроизводительных физических серверов, высокоскоростные NVMe накопители Enterprise-класса.

По запросу клиента специалисты Рег.ру организовали серверное пространство так, чтобы физические серверы в стойках были поделены на конкретные группы. Так, в рамках одной группы все серверы имеют одни и те же характеристики, тот же набор дисков, процессоров и так далее. Такой подход позволяет унифицировать ИТ-инфраструктуру, упростить настройку и замену серверов. 

Результаты

Сегодня Sellematics обрабатывает данные о 350 млн товаров в день на маркетплейсах: 

  • изменение стока — количество доступного к продаже товара на конкретном складе;
  • изменения цен по дням для вычисления объема продаж каждого товара в штуках и деньгах по каждому дню;
  • информацию о продажах, поведении покупателей, рейтингах товаров, представленности товаров в категориях и поисковых запросах. 

Сервис использует API маркетплейсов, веб-скрейпинг и собственные датчики для сбора актуальных данных. На основании полученных данных Sellematics анализирует тренды, выявляет сезонность, строит прогнозы будущих продаж, спроса и поведения рынка. Пользователи получают персонализированные рекомендации по управлению ассортиментом, ценообразованию и маркетинговым стратегиям.

За счет использования мощных облачных серверов, Sellematics может за несколько минут увеличивать или уменьшать вычислительные мощности в зависимости от текущей нагрузки — это критически важно при работе с большими данными и выполнении аналитических расчетов и генерации прогнозов. 

Диски Enterprise-класса обеспечивают высокую скорость операций и надежность хранения информации, позволяют проводить большое количество операций записи без риска потери данных. А стабильный канал связи 800 Мбит/с помогает оперативно получать данные и обрабатывать их без задержек.

В ближайшем будущем компания планирует масштабировать ресурсы, чтобы увеличить количество обрабатываемых в сутки товаров до 500 млн единиц. 

Почему выбрали Рег.ру

Широкий выбор серверов. Гибкий подход к управлению ресурсами и оптимизации расходов на IT-инфраструктуру.

Техническая поддержка 24/7. Специалисты Рег.ру готовы оказать помощь в решении любых вопросов, включая поддержку в настройке серверов. 

Гибкое масштабирование и конфигурирование. Масштабируемая инфраструктура, с которой легко адаптировать ресурсы под растущие потребности рынка и обеспечить бесперебойную работу платформы.

Распределенная сеть ЦОД. Дата-центры компании соответствуют уровню надежности и отказоустойчивости Tier III. За счет дублирования всех систем и двойному резервированию аптайм составляет 99,98%.

Производительные системы хранения данных. Использование дисков Enterprise-класса повышает IOPS и сокращает время отклика, что критически важно при работе с Big Data. 

Отзыв клиента

«Отказоустойчивая ИТ-инфраструктура позволяет нам оперативно собирать и обрабатывать данные без задержек, а также рассчитывать и агрегировать большие объемы метрик и показателей. Уже сегодня мы ежедневно обрабатываем более 350 млн товаров с российских площадок, а в ближайшее время планируем масштабировать ресурсы, чтобы увеличить количество до 500 млн в сутки.»

Антон Злотников, технический директор Sellematics

Похожие публикации

УПД в бухгалтерии: когда один документ может заменить несколько

Многие предприниматели жалуются на сложный и слишком изобильный документооборот: много документов приходится оформлять. Но при…

5 минут назад

Что такое роялти, как их рассчитать и кому они выгодны

Чтобы легально пользоваться результатами чужого труда в своем бизнесе, нужно за это заплатить. И неважно,…

24 часа назад

Франшиза: что это, как работает и стоит ли начинать такой бизнес

Франшизы предоставляют предпринимателям возможность использовать популярные бренды, эффективные бизнес-модели и поддержку со стороны материнской компании.…

3 дня назад

Какие компании называют вендорами и как они работают

Некоторые компании сосредотачивают в своих руках и производственные мощности, и права на то, что на…

6 дней назад

Обособленное подразделение: как открывать и ставить на учет части компании

У любой компании есть адрес, по которому она «прописана», то есть зарегистрирована в ЕГРЮЛ. Но…

7 дней назад

С какого возраста можно открыть ИП и как это правильно сделать

Подросток может заниматься бизнесом, но с учетом важных условий, прописанных в законе. Разбираемся, как несовершеннолетнему…

1 неделя назад