В данной статье мы коротко рассмотрим возможность генерации видео на основе текстовых запросов и изображений с помощью нейросетей Pika Labs и Runway AI. Рассмотрим как использовать данные нейронные сети и какие результаты мы можем получить на примере запросов по теме Aphex Twin (если интересно кто это — читайте или смотрите мой обзор по данной теме). Результат получился забавным. Помню, в одном интервью он говорил, что мечтал о том, чтобы машины создавали музыку за него — вот и видеоряд скоро будет генерироваться и не исключено, если у Афекса будут выходить новые клипы — в них будут задействованы нейросети. А мы с вами начнем именно с Pika Labs.
Pika Labs — как пользоваться нейросетью?
Как зайти в Discord и использовать Pika Labs
Discord — это популярное приложение для общения, похожее на чаты или форумы. Многие сообщества и проекты, в том числе такие нейросети, как Pika Labs, используют Discord в качестве своей базы или фундамента. Такой подход позволяет взаимодействию пользователя и нейросети быть более привычным и простым. Подобный способ использует и нашумевшая Midjourney.
Чтобы начать пользоваться Pika Labs, нужно пройти простую регистрацию в Discord-канале:
- Зайдите на официальный сайт Pika Labs и нажмите кнопку «Join Beta».
- Это перенаправит вас в Discord, на канал Pika Labs.
- Теперь вы можете использовать бота Pika Labs для генерации видео!
Преимущества Pika Labs:
- Вы сможете генерировать видео прямо в Discord, используя текстовые подсказки и изображения.
- Можно делать это в личных сообщениях боту, чтобы никто не мешал.
- Есть ограничение до 10 генераций в 5 минут.
Как создавать видео в Pika Labs:
- Вводим промпт (команду) + загружаем нашу картинку (изображение).
Опишите желаемое видео в текстовой подсказке и добавьте исходное изображение. - Вводим только текст (промпт).
Просто описываем желаемое видео, загрузка изображения в данном способе не потребуется
UPDATE от 20.12.2023:
Pika вышла из беты в релиз, теперь все описанное выше можно делать в веб-версии, авторизуясь удобным для вас способом. Ссылка — https://pika.art/
Это масштабное обновление, которое даст пользователям инструментов Pika Art возможность создавать и редактировать видеоконтент в разнообразных стилистиках, включая 3D-анимацию, аниме, мультипликации и кино. Все новые опции доступны в обновленном веб-интерфейсе приложения. Теперь для нас доступны несколько новых функций, например, изменение соотношения сторон видео (функция «Expand») или возможность редактирования выбранного фрагмента — дорисовка, изменение цвета, добавление объекта и многое другое (выделяем нужную область на видео, пишем промт и нажимаем кнопку «Generate» — все очень просто и инутитивно понятно, работает по аналогии с Generative Fill от Adobe).
Примеры работ, созданных в нейросети и промпты Pika Labs (Pika Art):
Теперь перейдем к следующей нейросети для генерации видео.
Как пользоваться нейросетью Runway AI?
Начало работы в приложении Runway ML с Gen-2:
Чтобы начать использовать нейросеть от Runway, нужно пройти простую регистрацию тут:
- Регистрируемся или используем вход через аккаунт Google или Apple.
- Выбираем вариант «попробовать бесплатно» когда предложат выбор тарифного плана.
- Переходим во вкладку AI Magic Tools и нажимаем на Gen-2: Text-to-video. Другой вариант — Вкладка Video, в ней выбираем Generate videos — нажимаем на Text/Image to Video.
- Вводим наш запрос (промпт) на английском языке или используем свое изображение и для него уже пишем команду (что должно произойти на данной картинке) и ждем.
Помимо генерации видео в данном сервисе есть множество опций, например: «оживляющая» кисть Motion Brush, видео редактор, удаление фона и удаление объекта с видео и многие другие функции, вплоть до генерации картинок и простых 3d-объектов. Такая вариативность — огромный плюс для Runway в сравнении с Pika Labs
Примеры работ, созданных в нейросети и промпты Runway Gen-2:
Pika Labs vs Gen-2: сравнение инструментов генерации видео на основе ИИ
Gen-2 и Pika Labs — это два новых сервиса, которые используют нейросети для генерации видеоконтента на основе текста и изображений. Давайте сравним их основные возможности.
Удобство использования
Runway Gen-2 очень прост в использовании — достаточно зарегистрироваться, и можно пользоваться, очень много инструментов для редактирования видео. Pika Labs требует регистрации в Discord и кому-то данный вариант будет удобнее. И хоть инструментов тут куда меньше, но настройка для создания видео более тонкая.
Результаты генерации
Обе модели создают очень хорошие ролики, не без недостатков, но потенциал огромен. Ниже опишу разницу немного подробнее.
Pika Labs предоставляет пользователям больше возможностей для контроля, позволяя использовать текстовые подсказки для управления анимацией на изображении. Есть возможность указать, что конкретно пользователь хочет видеть в результате, например, добавить определенные элементы или действия. Например, с помощью Pika Labs можно анимировать человека с поднятой вверх рукой или кота, ходящего по воде.
Runway ML AI обеспечивает потрясающее качество анимации, которое немного превосходит Pika Labs. И, несмотря на лучшее качество, пользователи данного сервиса могут получить не совсем тот результат, что ожидался изначально. Если вводить уточнения в запрос — это может запутать нейросеть и может существенно изменить итоговое видео.
Цена
- Gen-2 — использование платное после завершения пробного периода, есть 2 варианта: тарифы за 15 $ и 32 $.
- Pika Labs — на данный момент бесплатен.
Информация по ценам актуальна на конец 2023 года.
Вывод
В то время как Pika Labs делает упор на пользовательский контроль и конкретику, Runway нацелен на обеспечение потрясающего качества и лучшей реалистичности. И, так, как оба проекта находятся в активной разработке и имеют большой потенциал в индустрии видеопроизводства — рекомендую использовать оба инструмента совместно, для достижения необходимого вам результата.
Результат меня удивил и, так как я являюсь начинающим видеоблогером и монтировать на данный момент только учусь, то с большим интересом буду следить за развитием событий.
Спасибо за прочтение!
Смотрите далее: КРАТКИЙ ОБЗОР DALL-E 3 ОТ OPENAI | КАК ПОЛЬЗОВАТЬСЯ НЕЙРОСЕТЬЮ
И совсем недавно я написал обзор на Dream Machine от Luma Labs (нейросеть по генерации видео), рекомендую к прочтению!
Надеюсь, эта статья была для вас полезной и интересной. Если вы хотите, чтобы я создавал больше контента и делал это чаще, вы можете поддержать меня донатом. Благодарю вас за ваш вклад в творческий процесс!
Т-Банк (Тинькофф): 2200700867913161
Ozon Bank: 2204240107102131
Boosty: https://boosty.to/woronokin/donate
Личный блог
Плотно работаю с Runway, Если всё время создавать субъект по описанию,
То он каждый раз будут разныm, поэтому работаю по картинке с фоном.
Артефакты лезут как клопы из старого матраса.
Приходится делать много генерации. Лица всё время изменяются.
До Профи инструмента ему ещё очень далеко.
Дело не в деньгах, Я готов заплатить и больше,
Но я хочу видеть, за что я плачу.
При монтаже видео, постоянно приходится обрезать начало и конец клипа.
Я хочу заниматься творчеством а не отвлекаться на технические проблемы!!!
Спасибо за дополнение!
Как мне кажется, именно для начала развития данной технологии — это хорошо работает, те же Kling, Luma Dream Machine, MiniMax, Vidu и тд, выдают как минимум интересный результат и точно ускоряют процесс, в сравнении с тем, если бы нейросетей не было бы вообще. Думаю, что все еще впереди, да, нейросети еще не умеют считывать наши мысли на 100% и косяков хватает, но развитие не останавливается и я с большим интересом жду, что будет дальше!