Как сделать мультик с помощью нейросети: опыт студии, которая делает сериал
Нейросеть нарисует красивый кадр за минуту. Мультфильм из таких кадров не сложится, пока человек не решит, про что история, кто герой и над чем смеются. Рассказываем, как это устроено у нас на сериале «Пуф».
Что нейросеть делает в мультфильме, а что нет
Нейросети хорошо справляются с черновой и объемной работой: эскизы героев и мест, фоны, кадры для раскадровки, короткие планы движения, голос, расшифровка речи для субтитров.
Хуже всего им дается то, ради чего мультфильм смотрят: история с поворотом, шутка, сказанная вовремя, один и тот же герой от кадра к кадру и актерская игра, когда поза совпадает со смыслом реплики.
История и герой важнее генерации
Без истории ИИ выдает красивую кашу: кадры есть, действия между ними нет. В «Пуфе» мы начинаем с библии героя — характер, речь, внешность — и со сценария, где у каждой сцены есть цель и шутка. Картинки появляются только после этого. Как мы собирали героя и сезон, описано в кейсе «Пуфа».
Стабильный персонаж в разных кадрах — главная проблема
Нейросеть рисует героя каждый раз немного иначе: другой оттенок шерсти, другая длина шарфа, лишний палец. Зритель это замечает, и герой перестает быть персонажем. Помогают три вещи: утвержденный канон внешности (у Пуфа это пушистый белый йети в красном вязаном шарфе), листы поз и эмоций как образец и проверка каждого плана глазами. Что не совпадает с каноном, переделываем.
Анимация, голос, звук и монтаж
Сгенерированное движение выглядит убедительно секунды три-пять, потом герой начинает «плыть». Поэтому ключевые позы мы ставим под смысл реплики: подготовка к движению, само движение, остановка с весом.
Голоса героев мы делаем нейросетью на основе принятых дублей, а ударения проверяем на слух и распознаванием речи. Звуки подкладываем под действие, склейки ставим по смыслу: новая мысль, реакция, шутка.
Сколько времени и денег это занимает
ИИ сокращает черновые этапы: варианты героя и мест появляются за часы. Зато много времени уходит на отбор и правки: из десятков вариантов подходит один. Расходы — подписки на сервисы, вычислительные мощности и часы людей. У бесплатных тарифов обычно есть водяные знаки и запрет на коммерческое использование, так что лицензию проверяйте заранее.
Когда ИИ-мультик годится для бизнеса
Годится для короткого ролика в соцсети, концепта, пилота, раскадровки на согласование и фоновых кадров. Без людей не обойтись в сериале с постоянным героем, в ролике, где персонаж говорит и играет, и в рекламе, где важна точность продукта: логотип и упаковку нейросеть часто искажает.
Конвейер без ИИ описан в статье «Как сделать мультфильм», работа с брендами — на странице мультфильма для бизнеса.
Вопросы и ответы
Можно ли сделать мультик нейросетью бесплатно?
Короткий ролик — да, на бесплатных тарифах. Но там обычно ограничены длина и качество, а водяной знак и условия лицензии мешают использовать ролик от имени бизнеса.
Какая нейросеть лучше для создания мультфильмов?
Одной нет: для картинок, движения, голоса и монтажа берут разные инструменты, и они быстро меняются. Важнее порядок работы: сначала история и герой, потом генерация.
Почему персонаж в ИИ-мультике каждый раз выглядит по-разному?
Нейросеть рисует кадр заново и не помнит, каким герой был в прошлом. Помогают утвержденный канон внешности, листы поз и ручная проверка каждого плана.
Нужен ли человек, если есть нейросеть?
Нужен, чтобы придумать историю, отобрать удачные варианты и поставить актерскую игру. Без этого получаются красивые кадры без сюжета.