Все курсы
Акции и промокоды Отзывы о школах

Meta презентовала новую модель искусственного интеллекта

Meta выпустила Llama 3.1 – модель ИИ, которую можно дорабатывать, сжимать и разворачивать, где угодно. Как сообщают в компании, модель доступна в версиях 8B, 70B и 405B.

Meta Llama 3

Сравнение версий 3.1 и 3.0: рост производительности

С выходом версии 3.1 мы видим значительный рост показателей бенчмарков по сравнению с версией 3.0. Это стало возможным благодаря дистилляции модели 405B в более компактные версии, что позволило значительно улучшить их эффективность и производительность.

Модель уровня GPT-4o: доступна для всех

Теперь есть модель уровня GPT-4o, которую могут скачать и использовать все желающие. А пока все с нетерпением ждут отзывов от пользователей и результатов тестов на различных площадках.

Различные варианты деплоя

Всего выпущено несколько версий модели 405B, чтобы упростить ее использование и предложить разные варианты деплоя:

  • MP16 (Model Parallel 16) – полная версия весов BF16. Для деплоя этой версии потребуется минимум 2 ноды с 8 GPU, используя pipelined parallel инференс.
  • MP8 – также полная версия весов BF16, но может быть задеплоена на одной ноде с 8 GPU с динамическим квантованием FP8 (Floating Point 8). Код для деплоя доступен.
  • FP8 (Floating Point 8) – квантованная версия весов. Эти веса можно деплоить на одной ноде с 8 GPU, используя статическое квантование FP8. Код для деплоя также предоставлен.

Модель 405В требует около 750 ГБ оперативной памяти и минимум двух нод (по 8 GPU каждая) для инференса в режиме MP16.

Новые возможности

Модель Llama 3.1 405B, квантизированная до 4 бит, можно успешно запустить на двух макбуках с 128 ГБ оперативной памяти у каждого Это стало возможным благодаря инструменту “exo”, который позволяет распределенный запуск моделей на нескольких устройствах.

Инструмент поддерживает практически любые GPU, телефоны, планшеты, макбуки и многое другое, расширяя возможности пользователей для работы с этой мощной моделью.

С каждым днем моделей ИИ становится все больше, и их применение охватывает все больше сфер нашей жизни. Нейросети помогают решать сложные задачи, автоматизировать процессы и создавать новые возможности. Именно поэтому самое время глубже погрузиться в изучение этой области.

Мы предлагаем вам ознакомиться с нашей подборкой курсов по искусственному интеллекту. Эти курсы помогут вам понять основы ИИ, изучить передовые технологии и научиться применять их на практике.

Дата: 25 июля 2024
Читайте также
Новости
11 октября 2024
Google открыл доступ к ИИ-генератору изображений Imagen 3 для всех пользователей

Google открыл доступ к ИИ-генератору изображений Imagen 3 для всех пользователей, включая бесплатные аккаунты. Теперь каждый может создавать изображения по текстовым запросам с помощью продвинутой технологии ИИ.

Новости
31 июля 2024
Конференция для системных и бизнес-аналитиков

22 и 24 августа состоится пятая конференция для системных и бизнес-аналитиков. Узнайте о новых методах и инструментах, обменяйтесь опытом. Регистрация уже открыта.

Новости
12 июля 2024
IT-образование: курсы vs университет

IT-специалисты входят в топ-5 востребованных направлений. Университеты дают фундаментальные знания и навыки, но онлайн-курсы позволяют быстро освоить новые технологии. Оба пути требуют регулярного обновления знаний.

Новости
21 октября 2024
РУДН внедряет виртуального студента на базе ИИ

РУДН интегрировал ИИ в учебный процесс, запустив проект с виртуальным помощником Гришей на базе GigaChat от Сбербанка, что может радикально изменить образование.

Новости
15 октября 2024
Рынок труда России: рост вакансий на 16,7% в первом полугодии 2024 года

Рынок труда России: вакансий стало больше на 16,7% в первом полугодии 2024 года. В лидерах — сферы красоты, образования и рекламы.

Новости
21 октября 2024
Angular лидирует на рынке фронтенд-разработки в 2024 году

Angular продолжает лидировать на рынке фронтенд-разработки в 2024 году, привлекая внимание крупных компаний своей стабильностью и масштабируемостью. Новые версии Angular 16 и 17 улучшают реактивное программирование и типизацию.

Новости
22 октября 2024
Зарплаты молодых специалистов в России выросли на 20% за год

Зарплаты молодых специалистов в России выросли на 20% за год. Причина — острая нехватка кадров, особенно в IT-сфере, и стремление работодателей компенсировать инфляцию.

Новости
4 сентября 2024
59% россиян не обсуждают проблемы с руководителями

59% россиян избегают обсуждения проблем с начальством, несмотря на частые конфликты. Основные причины недовольства — плохое планирование задач и перекладывание ответственности. Лишь 32% готовы к диалогу.

Новости
25 октября 2024
VK запустила ИИ для создания рекламы

VK интегрировала ИИ в рекламный кабинет, позволяя бизнесу автоматически генерировать тексты объявлений и адаптировать изображения для разных форматов, улучшая охват и упрощая создание рекламы.

Категории курсов
Отзывы о школах