Обзор нейросети Dream Machine от Luma Labs | Генерация видео и мемы

Dream Machine от компании Luma Labs — это нейросетевой генератор видео, способный создавать весьма качественные реалистичные видеоработы на основе текстовых промптов (запросов) и изображений пользователей. Создавать видео стало как никогда просто, и теперь не обязательно обладать навыками монтажа, но обо всем по порядку.

Нужно сказать, что сейчас идет настоящий рассвет нейросетей, способных создавать видео: тут и Sora от OpenAI, Kling и Vidu от разработчиков из Китая, GEN 3 от Runway и многие другие модели «заявили о себе» в один временной период. Какие-то из сервисы недоступны, какие-то имеют только платные тарифы, но сегодня речь пойдет именно о доступной всем Dream Machine — ее можно опробовать бесплатно, да и качество не уступает конкурентам! На момент написания обзора пользователям доступно 30 бесплатных генераций в месяц (в моменты повышенных нагрузок на сервера компании лимит может падать до 20 бесплатных запросов в месяц), а свыше лимита придется платить.

Примеры генераций Dream Machine от Luma

В последнее время интернет заполонил мемами и забавными роликами, созданными в нейросети от Luma Labs

Dream Machine работает по принципу Text-to-Video и способна создавать видео в различных стилях, запоминать внешний вид персонажей на всех кадрах.

Недостатки Dream Machine от Luma

Разработчики сообщают, что в некоторых сценариях Luma AI может работать нестабильно или создавать ролики с ошибками, например, пока еще нельзя создать внятный текст в кадре или форма объектов может неистово изменяться — это, к сожалению, стандартные недостатки для многих нейросетей по созданию видео, в будущем скорее всего эти проблемы будут решены.

Также, пользователи выяснили, что одним из самых слабых мест являются запросы по генерации спортивных мероприятий и гимнастики — это такая же «Ахиллесова пята» text2video моделей, как когда-то была проблема с количеством пальцев у text2image моделей. Ниже вы можете наблюдать несколько забавных примеров:

Как пользоваться Dream Machine (Luma AI)

1. Зайдите на официальный сайт Luma Labs и нажмите кнопку «Try Now».
   Авторизуйтесь через Google-аккаунт. После этого вы увидите поле для ввода запроса.
2. Теперь нужно определиться: выбираем, будем ли мы «оживлять» уже имеющиеся у нас картинки (фото, изображения) — то есть, использовать что-то в качестве образца или просто будем вводить текст и генерировать ролик с «нуля».
   
   Если нам нужен референс, то выбираем нужное изображение нажав на иконку картинки в левой стороне строки и ставим галочку возле «Enhance Prompt», вводим наш промпт (запрос) на английском языке. Если же мы генерируем видео по тексту, то просто вводим нужный текст.
3. Нажать на кнопку стрелки, смотрящей вверх. Кнопка находится с правой стороны поля запроса. А чуть правее вам покажут количество оставшихся бесплатных генераций.
4. Ждем результата (иногда приходится ждать очень долго), открываем нашу генерацию в соответствующей вкладке («Your Creations»), сохраняем его к себе на устройство — нажав правой кнопкой мыши и нажав «Download» (Сохранить)

Если же нужного результата вы не получили, то снимаем галочку возле «Enhance Prompt» и пробуем еще раз. Этого достаточно, чтобы сделать нужные видео или просто опробовать сервис. А, чтобы стать гуру в генерации видео, придется подробнее изучить официальные рекомендации по промптингу от Luma Labs. Статья на английском языке, но мы можем использовать любой онлайн-переводчик: от Яндекса до DeepL

Я ввел следующий промпт и в качестве референса выбрал свой сгенерированный в другой нейросети аватар:

The man looks ahead to the mountains

Получился следующий пример:

Функция перехода между кадрами в Dream Machine

Недавно в Luma AI завезли функцию стоп-кадров. Можно дать на вход начальное и конечное изображения, а нейросеть сделает между ними переход. 

Вы возможно уже видели мультивселенные мемов, но я предлагаю посмотреть на пару примеров работы данной опции — как мемных, так и не очень.

В целом, творчество становится доступнее для людей, у которых есть идеи, но нет навыков и я рад, что появляются такие инструменты, как Dream Machine от Luma Labs. И знали бы вы как я ухахатывался во время написания статьи, вернее, когда подбирал примеры генераций. Однозначно мемы от появления таких нейросетей только выигрывают!

Поделитесь публикацией