Как крупному бизнесу извлечь ценность из корпоративных данных на российской облачной платформе
Опыт Monopoly.Online
ГК «Монополия» создала Data Lake на базе сервисов платформы данных Yandex Cloud, покрывающей полный цикл работы с данными. Это позволило организовать прием данных из 10 разнородных источников и их процессинг в «озеро данных». Также компания смогла построить процесс хранения и аналитики данных с помощью набора сервисов платформы и технологий Open Source (открытое программное обеспечение).
Перейти на «умное» управление данными
Цифровая платформа Monopoly.Online (ГК «Монополия») объединяет сервисы, необходимые для организации грузоперевозки, — от поиска груза или перевозчика до экономии расходов в рейсе на топливе и придорожных услугах. Кроме того, в рамках проекта «Монополия.Бизнес» каждый водитель может стать предпринимателем и владельцем собственного грузовика без первоначального капитала.
Сервисы компании получают данные из более чем 10 различных источников. Данных много, и они разнородные, кроме того, в работе с ними нужно учитывать время их происхождения. Чтобы повысить эффективность работы с данными, компания решила минимизировать ручную обработку, а также систематизировать управление данными, повысить самостоятельное и повторное их использование. Также важными задачами для ГК «Монополия» были масштабировать бизнес под растущие объемы операций клиентов и исключить лицензионные риски, связанные с vendor lock (привязка к поставщику).
Поэтому компания искала именно облачное решение на базе Open Source технологий. С ним эффективнее решаются задачи по оперативной и управленческой аналитике, в том числе когда ее ведет и мониторит большое число пользователей. Кроме того, для руководства ГК «Монополия» было важно настроить эффективное управление данными ‒ от сбора и хранения до аналитики и построения предиктивных прогнозов.
От «зоопарка» данных – к единому хранилищу
Итак, задачи, которые поставила ГК «Монополия» перед собой, — «навести порядок» в данных, а также исключить лицензионные риски, для чего нужно локализовать «озеро данных».
Выбор был сделан в пользу платформы данных Yandex Cloud, которая включает большой набор сервисов и инструментов для управления данными — от хранения и обработки до анализа и визуализации. В их числе Yandex Object Storage, Yandex Managed Service for Greenplum®, Yandex Managed Service for ClickHouse, Yandex Managed Service for PostgreSQL, Yandex DataLens. Также при выборе учитывались экспертиза команды и наличие компетентной технической поддержки.
Кроме того, эта платформа соответствует высоким требованиям информационной безопасности и российского законодательства. Сервисы и решения Yandex Cloud соответствуют высоким индустриальным стандартам: стандарту по защите облачной инфраструктуры, общему регламенту защиты данных, Payment Card Industry Data Security Standard и др.
Для максимально быстрой реализации проекта было выбрано российское программное обеспечение BI.Qube, выполняющее 5 основных функций по работе с данными: автоматизацию извлечения и загрузки; управление моделью данных; оркестрацию планов выполнения задач; контроль качества данных и оповещение; управление мастер-данными.
Автоматизированная миграция в новое хранилище данных заняла всего 4 месяца.
Технические и экономические выгоды
Технологии обработки данных в виде сервисов и инструменты для работы с ними в концепции low-code/no-code (платформы разработки, которые основаны на методах проектирования по модели, автоматической генерации кода и визуального программирования) упростили и ускорили решение поставленных задач. Положительные эффекты уже можно подсчитать:
● в 5 раз сократили время подготовки регулярной отчетности с помощью нового стека и сбора данных из нескольких различных систем;
● 1 ТБ данных были обработаны управляемой СУБД Greenplum (16+) при выполнении сложных SQL‑запросов (язык структурированных запросов) за счёт распараллеливания операций и концепции Shared Nothing (архитектура без общего доступа);
● отказоустойчивость всей системы стала выше благодаря зеркалированию и резервированию;
● более 50 отчетов по 300 метрикам генерирует система. Более 400 пользователей регулярно обращаются к данным из хранилища, из них 200 ежедневно выполняют запросы для построения отчетов в режиме самообслуживания;
В результате сервисы компании регулярно получают данные из всех источников в единую простую структуру каталогов и имеют к ним удобный доступ непосредственно из базы данных.
Решение в целом снизило издержки компании, в частности, за счет автоматизации подготовки отчётов и управления качеством данных. Это, в свою очередь, позволило оптимизировать закупочные цены на топливо, повысить конверсию по рекламным кампаниям и сократить стоимости заявок. Кроме того, поиск заказов на логистическом маркетплейсе происходит теперь исходя из расчета потенциально релевантного предложения для грузоперевозчиков в моменте на платформе и рыночных данных, что также косвенно оптимизирует расходы.
Есть также положительные результаты для «Монополии» в части повышения доходности бизнеса. Платформа формирует рекомендации по заявкам и обеспечивает территориальное совпадение предложений грузоперевозчиков и грузовладельцев, находя оптимальное сочетание локации и цены. Аналитические возможности платформы также позволяют прогнозировать фактор временного оттока и в целом снижать его.
«Первоочередной результат — ГК «Монополия» быстро перешла к использованию российского ПО, что позволило минимизировать риски для непрерывности ведения высокотехнологичного бизнеса, — комментирует Дмитрий Поликовский, директор по развитию BI.Qube. Внедряя принципы и инструменты управления корпоративными данными, компании повышают эффективность в настоящем и расширяют возможности своего развития в будущем. Ценность проекта не просто упорядочение и оперативное предоставление информации, но и повышение качества данных, построение гибких моделей, внедрение продвинутых инструментов, которые раньше просто не работали по причине неполноты данных или невозможности быстрого выделения вычислительных ресурсов».
ОГРН 1187746678580, 119021, г. Москва, ул. Льва Толстого, д. 16,помещ. 528.