Поиск по сайту Поиск

Как развернуть ИТ-инфраструктуру для ML-задач: опыт РБК

Рассказываем, как мы помогли команде РБК автоматизировать процесс тегирования материалов редакции с помощью нейросети на облачных серверах Рег.ру с GPU. 

Задачи клиента по разработке решения для тегирования. Предложенное решение - Публичное облако Рег.ру с GPU.

О клиенте

РБК — один из крупнейших медиахолдингов России. Ежедневно в РБК выходят сотни материалов, которые требуют тегирования. Тегирование помогает систематизировать публикации и новости, более точно настраивать рекомендательные алгоритмы. Каждый материал редакторы РБК размечали вручную, подбирая из множества тегов 2-3 подходящих. Из-за этого возникло несколько трудностей.

Проблемы редакции при реализации тегирования

Нейросеть для тегирования нивелировала бы человеческий фактор и освободила время редакторов для решения более творческих задач.

Вызовы и задачи

→ Развернуть отказоустойчивую инфраструктуру для работы с AI и проверки гипотез.

→ Провести эксперименты с разными языковыми моделями.

→ Протестировать возможности разных GPU для решения задачи по тегированию.

В целях экономии первичное обучение ИИ-модели специалисты РБК провели на on-premise инфраструктуре. За основу выбрали Open Source решение — архитектура T5. Обучение на локальном сервере заняло восемь дней непрерывной работы. Чтобы сократить время и повысить производительность, процесс дообучения решили провести в облаке. 

Решение

В конце октября 2024 году команда Рег.ру запустила сервис «Облачные серверы с GPU», ранее графические процессоры были доступны для заказа только на выделенных серверах. Разработка готового решения заняла три месяца. Инфраструктура для ML-модели РБК — первый проект, который протестировали на облачном решении Рег.ру с GPU. 

Для решения задач РБК специалисты Рег.ру подготовили тестовый стенд с GPU NVIDIA RTX A5000, производительность которого сравнили с двумя другими конфигурациями: Т4 и RTX 3090. 

На каждой из видеокарт провели тестирование обучения нескольких ML-моделей: RuT5, RuT5-Large, Fred-Large, Fred-1.7B. Fred — известная модель, которую обучали на основе T5 на русском языке в течение 35 дней на 160 графических процессорах V100 и 5 дней на 80 процессорах A100, поэтому ее выбрали для тестирования. После тестирования этой модели перешли на оригинальную архитектуру T5, так как появилась большая мультиязычная модель от Google с правильным токенайзером.

Результаты

Результаты кейса, как развернуть ИТ-инфраструктуру. Обучение модели заняло 15 часов, а точность подбора тегов составила 99%

По итогам тестов видеокарта А5000 показала наилучшие результаты: время обучения сократилось до 14–15 часов (30 эпох обучения) — при этом на локальном решении РБК процесс занимал 8 дней непрерывного обучения. Кроме того, тестирование в облаке позволило повысить надежность и масштабировать ресурсы: 

Автоматизация рутинного процесса. Внедрение нейросети позволило сократить время на рутинные задачи по тегированию и освободить ресурсы редакторов для более творческой работы. Среднее время тегирования одного материалов составило 0,02 – 0,03 секунды для статей длиной в 2000 – 3000 токенов, а точность подбора тегов — 99%.

Повышение глубины внимания и улучшение рекомендательных алгоритмов. В будущем использование нейросети для правильной разметки позволит упростить управление контентом для создания более персонализированных рекомендаций.  Это улучшит пользовательский опыт и увеличит вовлеченность аудитории.

Снизили затраты на первичные эксперименты с ИИ за счет перехода в облако. Одна из ключевых проблем проектирования решений на базе искусственного интеллекта — высокая потребность в вычислительных мощностях GPU. Аренда облака на начальных этапах разработки и проверки гипотез зачастую выгоднее разворачивания собственных стендов.  

Как оценивали эффективность ML-модели для решения задач редакции

Тестирование автоматической разметки материалов тегами на разных проектах издания, включая «РБК Тренды», «РБК Отрасли» и «РБК Life» подтвердило работоспособность подхода. Для перепроверки использовали уже существующие материалы — порядка 25 тысяч полнотекстовых статей, размеченные редакторами, — публикации загружали в нейросеть и оценивали результаты обучения на тестовой датасете. На основе полученных результатов делали выводы о том, насколько релевантные теги подобрала модель.

Перспективы

В дальнейшем решение планируют интегрировать в админку для публикации статей. После загрузки текста, они смогут воспользоваться функцией «подбора тегов», и выбирать наиболее подходящие из предложенных нейросетью. Из предложенного списка тегов редактор оставляет наиболее релевантные, чтобы исключить ошибки и обеспечить высокое качество разметки контента. Это также позволяет гарантировать соответствие редакционной политике и стандартам РБК. Нейросеть не может и не несет ответственности за корректную разметку контента, а только упрощает работу сотрудников.

Помимо высвобождения времени и внимания редакторов, существует гипотеза, что такая автоматизация тегирования улучшит также внутреннюю навигацию по материалам и позволит эффективнее переиспользовать и рекомендовать контент. 

Отзыв клиента

«Если говорить о дальнейших планах, то на ИИ (не только генеративный, но и классический) мы смотрим с энтузиазмом. Разнообразные модели помогут, а где-то и уже помогают, например, расшифровывать часовые интервью за минуты; выполнять семантический поиск текста в архиве "РБК ТВ" быстрее и проще; про генерацию картинок, там где это уместно, мы тоже, конечно же, думаем. Поэтому мы постепенно растим внутри техническую экспертизу, а заодно привыкаем думать о внутренних рутинных процессах с точки зрения их оптимизации и автоматизации».

Иван Звягин, продакт-оунер направления ИИ в РБК

Что такое роялти, как их рассчитать и кому они выгодны

Чтобы легально пользоваться результатами чужого труда в своем бизнесе, нужно за это заплатить. И неважно, идет ли речь о дизайне...
Read More

Франшиза: что это, как работает и стоит ли начинать такой бизнес

Франшизы предоставляют предпринимателям возможность использовать популярные бренды, эффективные бизнес-модели и поддержку со стороны материнской компании. Но за эти привилегии придется...
Read More

Какие компании называют вендорами и как они работают

Некоторые компании сосредотачивают в своих руках и производственные мощности, и права на то, что на них производят, и репутацию, которой...
Read More

Обособленное подразделение: как открывать и ставить на учет части компании

У любой компании есть адрес, по которому она «прописана», то есть зарегистрирована в ЕГРЮЛ. Но склад и офис с бухгалтерами...
Read More

С какого возраста можно открыть ИП и как это правильно сделать

Подросток может заниматься бизнесом, но с учетом важных условий, прописанных в законе. Разбираемся, как несовершеннолетнему стать предпринимателем, что такое эмансипация,...
Read More

Коносамент — главный документ морских грузоперевозок

Ежедневно по морю перевозят десятки, а то и сотни тысяч контейнеров с грузами. Чтобы партия товара, изготовленная, например, в Китае,...
Read More

Лучшая система налогообложения для вашего бизнеса. Как выбрать?

Одна из главных головных болей любого предпринимателя — уплата налогов. И дело даже не в том, что кому-то не хочется...
Read More

Фискальный чек — что это, зачем нужен и что будет, если его не выдать

Кто-то выкидывает их сразу возле кассы, кто-то тщательно собирает, чтобы потом проанализировать траты за месяц, кто-то даже не забирает их...
Read More

Расчет заработной платы по окладу в 2024 году: как понять, сколько заработал сотрудник

Вряд ли будет преувеличением сказать, что для многих самое важное в работе — это цифры в сообщении о начислении зарплаты....
Read More

Общество с ограниченной ответственностью: что это, как работает, как открыть ООО

При создании бизнеса предпринимателям важно принимать обоснованные решения, которые помогут минимизировать финансовые риски. Разберемся, как понимание особенностей ООО обеспечивает защиту...
Read More