Блог

May 13, 2023

Мета делает ставку на искусственный интеллект с помощью специальных чипов

Сегодня утром на виртуальном мероприятии Meta приоткрыла завесу о своих усилиях по

Сегодня утром на виртуальном мероприятии Meta приоткрыла завесу над своими усилиями по разработке собственной инфраструктуры для рабочих нагрузок ИИ, включая генеративный ИИ, подобный тому, который лежит в основе недавно выпущенных инструментов дизайна и создания рекламы.

Это была попытка продемонстрировать силу со стороны Meta, которая исторически медленно внедряла аппаратные системы, дружественные к искусственному интеллекту, что затрудняло ее способность идти в ногу с такими конкурентами, как Google и Microsoft.

"Создание наших собственных [аппаратных] возможностей дает нам контроль на каждом уровне стека, от проектирования центра обработки данных до сред обучения», — рассказал TechCrunch Алексис Бьорлин, вице-президент по инфраструктуре Meta. «Такой уровень вертикальной интеграции необходим, чтобы раздвинуть границы Масштабные исследования ИИ».

За последнее десятилетие или около того Meta потратила миллиарды долларов на набор лучших специалистов по данным и создание новых видов ИИ, в том числе ИИ, который теперь обеспечивает работу механизмов обнаружения, фильтров модерации и рекомендаций по рекламе, которые можно найти во всех ее приложениях и сервисах. Но компания изо всех сил пыталась превратить многие из своих наиболее амбициозных исследовательских инноваций в области искусственного интеллекта в продукты, особенно в области генеративного искусственного интеллекта.

До 2022 года Meta в основном выполняла свои рабочие нагрузки искусственного интеллекта, используя комбинацию процессоров, которые, как правило, менее эффективны для такого рода задач, чем графические процессоры, и специального чипа, предназначенного для ускорения алгоритмов искусственного интеллекта. Meta прекратила масштабное внедрение специального чипа, запланированное на 2022 год, и вместо этого разместила заказы на графические процессоры Nvidia на миллиарды долларов, что потребовало серьезной модернизации нескольких центров обработки данных.

Стремясь изменить ситуацию, Meta планировала начать разработку более амбициозного собственного чипа, который должен появиться в 2025 году и способного как обучать модели ИИ, так и запускать их. И это была основная тема сегодняшнего выступления.

Meta называет новый чип Meta Training and Inference Accelerator, или сокращенно MTIA, и описывает его как часть «семейства» чипов для ускорения обучения ИИ и рабочих нагрузок вывода. («Вывод» означает запуск обученной модели.) MTIA — это ASIC, своего рода микросхема, которая объединяет различные схемы на одной плате, что позволяет запрограммировать ее для параллельного выполнения одной или нескольких задач.

Чип искусственного интеллекта Meta, специально разработанный для рабочих нагрузок искусственного интеллекта.Кредиты изображений:Мета

«Чтобы добиться более высокого уровня эффективности и производительности при выполнении наших важных рабочих нагрузок, нам требовалось индивидуальное решение, разработанное совместно с моделью, стеком программного обеспечения и аппаратным обеспечением системы», — продолжил Бьорлин. «Это обеспечивает лучший опыт для наших пользователей при использовании различных сервисов».

Пользовательские чипы искусственного интеллекта все чаще становятся популярными среди игроков крупных технологических компаний. Google создал процессор TPU (сокращение от «тензорный процессор») для обучения больших генеративных систем искусственного интеллекта, таких как PaLM-2 и Imagen. Amazon предлагает клиентам AWS собственные чипы как для обучения (Trainium), так и для вывода (Inferentia). Сообщается, что Microsoft работает с AMD над разработкой собственного чипа искусственного интеллекта под названием Athena.

Meta сообщает, что в 2020 году создала первое поколение MTIA — MTIA v1, построенное по 7-нанометровому техпроцессу. Он может масштабироваться за пределы внутренней памяти в 128 МБ до 128 ГБ, а в тесте производительности, разработанном Meta, который, конечно, следует воспринимать с долей скептицизма, Meta утверждает, что MTIA обрабатывает «низкую сложность» И модели искусственного интеллекта «средней сложности» более эффективны, чем графические процессоры.

По словам Меты, еще предстоит проделать работу над памятью и сетевыми областями чипа, которые создают узкие места по мере роста размеров моделей искусственного интеллекта, требуя разделения рабочих нагрузок между несколькими чипами. (Не случайно Meta недавно приобрела базирующуюся в Осло сетевую технологию искусственного интеллекта в британском единороге Graphcore.) И на данный момент MTIA сосредоточено исключительно на выводах, а не на обучении, для «рекомендательных рабочих нагрузок» в семействе приложений Meta.

Но Meta подчеркнула, что MTIA, который она продолжает совершенствовать, «значительно» повышает эффективность компании с точки зрения производительности на ватт при выполнении рекомендательных рабочих нагрузок, что, в свою очередь, позволяет Meta работать «более усовершенствованно» и «современно» (якобы) Рабочие нагрузки ИИ.