ByteDance научила ИИ оживлять фотографии: что умеет OmniHuman-1

ByteDance, создатель TikTok, представила новую технологию искусственного интеллекта OmniHuman-1. Система превращает статичные изображения в видео, добавляя естественные движения и речь как реальным людям, так и мультипликационным персонажам.

Как работает технология

OmniHuman-1 использует комплексный подход к генерации видео, одновременно обрабатывая:

• Текстовые данные
• Изображения
• Аудио
• Позы тела

Для обучения система проанализировала 19 000 часов видеоматериалов. Это позволило решить главную проблему ИИ-генерации видео — создание естественных человеческих движений в масштабе. Предыдущие разработки часто давали сбои из-за сложности фильтрации нерелевантных данных при масштабном обучении.

Что умеет OmniHuman-1

Система демонстрирует впечатляющие результаты:

• Создает реалистичную артикуляцию губ, соответствующую речи
• Генерирует естественные жесты
• Корректно обрабатывает пропорции тела
• Учитывает особенности окружающей среды
• Работает как с фотографиями людей, так и с рисованными персонажами

Единственное техническое ограничение — объем доступной памяти, который определяет максимальную длину создаваемых видео.

Перспективы и риски

Появление OmniHuman-1 открывает новые возможности в сфере ИИ-генерации видеоконтента. Однако технология вызывает закономерные вопросы об этике применения и потенциальных рисках распространения дезинформации.

Для специалистов эта разработка — сигнал растущего спроса на экспертов в области машинного обучения и генерации мультимедиа. Тем, кто заинтересован в развитии в этом направлении, доступны профильные курсы по разработке и применению ИИ в мультимедийных проектах.

Если вас заинтересовала работа с технологиями искусственного интеллекта, на нашем сайте собрана подборка лучших курсов по ИИ. Здесь вы найдете программы разного уровня — от базового знакомства с технологией до углубленного изучения нейросетей и машинного обучения.