На широкую полосу

Нейросети сейчас на пике информационной волны во всем мире. Каждый день мы читаем о все новых областях их применения. Например, c помощью Kandinsky 2.0 от «Сбера» вы можете создать себе креативную аватарку в социальные сети или логотип для корпоративной страницы сайта. ChatGPT может написать вам доклад или диплом, а RunwayML станет помощником при монтаже видео. Но ни одна нейросеть не будет работать без высокоорганизованной технологии передачи данных на большие расстояния, а значит, нуждается в сети CDN-серверов.

Моментальный результат

CDN (Content Delivery Network) – это современная технология, которая позволяет обеспечить быструю доставку контента пользователям по всему миру. Импульсом для ее развития стало появление онлайн-кинотеатров и видеостриминговых платформ, а сейчас сервисы CDN все активнее используют создатели нейросетей, в которых задействованы огромные объемы данных. CDN действительно ускоряет работу сервисов. 

Например, весь предыдущий абзац Telegram-бот ChatGPT 3.5 написал менее чем за минуту. «Как AI-модель, я не использую CDN напрямую, но мои разработчики могут использовать ее для оптимизации доставки контента и ускорения работы нейросетей, которые я использую», – ответил ChatGPT на вопрос об использовании CDN.

«В случае генеративных моделей и уникального контента, создаваемого по запросу, можно говорить о переносе исполнения моделей ближе к пользователю (в локальные ЦОДы или инфраструктуру на периферии сети). Это поможет разгрузить магистральные каналы и сделать взаимодействие с моделью более динамичным», – рассказывает Федор Прохоров, технический директор Cloud (ООО «Облачные технологии»).

Скорость ответа в основном зависит от объема вычислительных ресурсов, доступных для выполнения модели, подчеркивает Прохоров. Современные нейросети легко масштабируются и могут обеспечить взаимодействие практически в реальном времени при условии наличия свободных ресурсов. «Скорость работы популярных генеративных моделей зависит от баланса между числом обрабатываемых запросов пользователей и затратами на инфраструктуру для выполнения модели», – добавляет Прохоров. Для ускорения обмена данными с пользователями в нейросетях могут использоваться технологии «граничных вычислений» (edge computing). «В этом случае вычисления вынесены на границу сети ближе к источнику запроса», – объясняет Константин Чумаченко, генеральный директор NGENIX (входит в группу компаний «Ростелеком-ЦОД»).

Высокие требования к сети передачи данных предъявляются при обучении моделей, которым нужно оперировать огромными массивами разнородной информации. В основном эти сети строят для взаимосвязи узлов суперкомпьютеров между собой и взаимодействия с хранилищами данных, рассказывает Федор Прохоров.

К тому же часто разработчики самостоятельно тестируют новые опубликованные нейросетевые архитектуры. «Зачастую такие архитектуры распространяются в виде исходных кодов и набора весов, определяющего весь ее опыт, полученный в процессе предварительного обучения. Для этого используют такие инструменты, как jupyter notebook, запущенный локально или в облаке (аналогом является сервис Google Colab, доступ к платной подписке на который сейчас невозможно оплатить из России). Решающим фактором здесь является либо наличие собственных мощностей, либо возможность аренды инфраструктуры. Так как нейросети довольно требовательны к вычислениям, то зачастую требуется арендовать высокопроизводительные серверы с видеокартами», – рассказывает Юрий Боровских, ведущий разработчик машинного обучения Центра ИИ «Контур».

Он также добавляет, что, как и в любой сложной информационной системе, которая может быть организована на микросервисной архитектуре, в процессе решения задачи по генерации контента возникает потребность организовать согласованную работу множества сервисов. И управлять их нагрузкой удобнее всего с помощью CDN-серверов.