22 и 24 августа состоится пятая конференция для системных и бизнес-аналитиков. Узнайте о новых методах и инструментах, обменяйтесь опытом. Регистрация уже открыта.
Meta презентовала новую модель искусственного интеллекта
Meta выпустила Llama 3.1 – модель ИИ, которую можно дорабатывать, сжимать и разворачивать, где угодно. Как сообщают в компании, модель доступна в версиях 8B, 70B и 405B.
Сравнение версий 3.1 и 3.0: рост производительности
С выходом версии 3.1 мы видим значительный рост показателей бенчмарков по сравнению с версией 3.0. Это стало возможным благодаря дистилляции модели 405B в более компактные версии, что позволило значительно улучшить их эффективность и производительность.
Модель уровня GPT-4o: доступна для всех
Теперь есть модель уровня GPT-4o, которую могут скачать и использовать все желающие. А пока все с нетерпением ждут отзывов от пользователей и результатов тестов на различных площадках.
Различные варианты деплоя
Всего выпущено несколько версий модели 405B, чтобы упростить ее использование и предложить разные варианты деплоя:
- MP16 (Model Parallel 16) – полная версия весов BF16. Для деплоя этой версии потребуется минимум 2 ноды с 8 GPU, используя pipelined parallel инференс.
- MP8 – также полная версия весов BF16, но может быть задеплоена на одной ноде с 8 GPU с динамическим квантованием FP8 (Floating Point 8). Код для деплоя доступен.
- FP8 (Floating Point 8) – квантованная версия весов. Эти веса можно деплоить на одной ноде с 8 GPU, используя статическое квантование FP8. Код для деплоя также предоставлен.
Модель 405В требует около 750 ГБ оперативной памяти и минимум двух нод (по 8 GPU каждая) для инференса в режиме MP16.
Новые возможности
Модель Llama 3.1 405B, квантизированная до 4 бит, можно успешно запустить на двух макбуках с 128 ГБ оперативной памяти у каждого Это стало возможным благодаря инструменту “exo”, который позволяет распределенный запуск моделей на нескольких устройствах.
Инструмент поддерживает практически любые GPU, телефоны, планшеты, макбуки и многое другое, расширяя возможности пользователей для работы с этой мощной моделью.
С каждым днем моделей ИИ становится все больше, и их применение охватывает все больше сфер нашей жизни. Нейросети помогают решать сложные задачи, автоматизировать процессы и создавать новые возможности. Именно поэтому самое время глубже погрузиться в изучение этой области.
Мы предлагаем вам ознакомиться с нашей подборкой курсов по искусственному интеллекту. Эти курсы помогут вам понять основы ИИ, изучить передовые технологии и научиться применять их на практике.
![](https://kurshub.ru/wp-content/uploads/2024/08/polzovatel-smotrit-vebinar-po-devops.webp)
VK Cloud проводит бесплатный вебинар по MLOps. Узнайте, как за короткое время превратить модель из Jupyter Notebook в готовый AI-сервис. Вебинар будет полезен ML и DevOps-инженерам, Data Scientists и всем, кто хочет внедрить эффективные ML-практики в бизнес.
![](https://kurshub.ru/wp-content/uploads/2024/08/frilanser-rabotaet-doma.webp)
Фриланс набирает обороты. 49% опрошенных россиян задумываются о переходе на свободный график. Гибкость, удаленка и высокий заработок привлекают, но не стоит забывать о нестабильности доходов и отсутствии соцгарантий.
![](https://kurshub.ru/wp-content/uploads/2024/09/zashita-dannykh.webp)
41% компаний по всему миру сталкиваются с нехваткой специалистов по информационной безопасности. Особенно остро ощущается дефицит аналитиков угроз и специалистов по кибербезопасности, как показал опрос «Лаборатории Касперского».
![](https://kurshub.ru/wp-content/uploads/2024/06/reliz-perl-540.webp)
Узнайте о новом релизе Perl 5.40, который принёс значительные улучшения и нововведения! От расширения возможностей синтаксиса до улучшений безопасности — Perl продолжает развиваться, поддерживаемый активным сообществом программистов.
![](https://kurshub.ru/wp-content/uploads/2024/08/chelovek-s-neirochipom.webp)
Ноланд Арбо, обладатель нейрочипа, поделился своим опытом спустя семь месяцев после операции. Он активно изучает французский и японский языки, занимается саморазвитием и планирует продолжить обучение.
![](https://kurshub.ru/wp-content/uploads/2024/09/rabochii-den.webp)
Согласно опросу, 63% россиян готовы работать дольше, если их зарплата увеличится на 30% и более. Исследование также показало, что большая часть сотрудников нуждается в оптимизации рабочего времени для повышения эффективности.
![](https://kurshub.ru/wp-content/uploads/2024/09/kollegi.webp)
Исследование показало, что определённые качества играют ключевую роль в успехе сотрудников. Узнайте, какие личные качества и навыки оказывают наибольшее влияние на карьерный рост в условиях цифровизации и автоматизации.
![](https://kurshub.ru/wp-content/uploads/2024/08/poster-s-leninym.webp)
8 августа в 20:00 состоится онлайн-вебинар «Технологическое предпринимательство» от МФТИ и Сколково. Это мероприятие для профессионалов, стремящихся углубить свои знания и навыки в области технологического предпринимательства.