Meta презентовала новую модель искусственного интеллекта

Meta выпустила Llama 3.1 – модель ИИ, которую можно дорабатывать, сжимать и разворачивать, где угодно. Как сообщают в компании, модель доступна в версиях 8B, 70B и 405B.

Сравнение версий 3.1 и 3.0: рост производительности

С выходом версии 3.1 мы видим значительный рост показателей бенчмарков по сравнению с версией 3.0. Это стало возможным благодаря дистилляции модели 405B в более компактные версии, что позволило значительно улучшить их эффективность и производительность.

Модель уровня GPT-4o: доступна для всех

Теперь есть модель уровня GPT-4o, которую могут скачать и использовать все желающие. А пока все с нетерпением ждут отзывов от пользователей и результатов тестов на различных площадках.

Различные варианты деплоя

Всего выпущено несколько версий модели 405B, чтобы упростить ее использование и предложить разные варианты деплоя:

• MP16 (Model Parallel 16) – полная версия весов BF16. Для деплоя этой версии потребуется минимум 2 ноды с 8 GPU, используя pipelined parallel инференс.
• MP8 – также полная версия весов BF16, но может быть задеплоена на одной ноде с 8 GPU с динамическим квантованием FP8 (Floating Point 8). Код для деплоя доступен.
• FP8 (Floating Point 8) – квантованная версия весов. Эти веса можно деплоить на одной ноде с 8 GPU, используя статическое квантование FP8. Код для деплоя также предоставлен.

Модель 405В требует около 750 ГБ оперативной памяти и минимум двух нод (по 8 GPU каждая) для инференса в режиме MP16.

Новые возможности

Модель Llama 3.1 405B, квантизированная до 4 бит, можно успешно запустить на двух макбуках с 128 ГБ оперативной памяти у каждого Это стало возможным благодаря инструменту “exo”, который позволяет распределенный запуск моделей на нескольких устройствах.

Инструмент поддерживает практически любые GPU, телефоны, планшеты, макбуки и многое другое, расширяя возможности пользователей для работы с этой мощной моделью.

С каждым днем моделей ИИ становится все больше, и их применение охватывает все больше сфер нашей жизни. Нейросети помогают решать сложные задачи, автоматизировать процессы и создавать новые возможности. Именно поэтому самое время глубже погрузиться в изучение этой области.

Мы предлагаем вам ознакомиться с нашей подборкой курсов по искусственному интеллекту. Эти курсы помогут вам понять основы ИИ, изучить передовые технологии и научиться применять их на практике.