Короткометражка The Dog and The Boy від Netflix — це перший гучний кейс застосування ШІ для створення аніме. Зауважимо, що під час створення цієї стрічки фактичного використання нейромереж було доволі мало, адже штучний інтелект залучали лише для малювання фонових зображень. Та навіть ці згенеровані ілюстрації потім передали на допрацювання до професійних мультиплікаторів.
The Dog and The Boy, 2023
Ілюстрація: Anime Corner
Не обійшлося тут і без частки контроверсії. Netflix Japan зробила публічну заяву про те, що під час створення цієї стрічки їм довелося скористатися нейромережевими інструментами через брак мультиплікаторів. Повірили у це пояснення далеко не всі. Водночас в інтернеті стали подейкувати, що компанія просто не бажає наймати спеціалістів з анімації і таким чином заощаджує кошти. До критики долучилися й самі мультиплікатори.
Аніме під назвою Rock, Paper, Scissors — це експериментальний проєкт від студії Corridor, в якому нейромережі застосували для обробки кадрів реальної відеозйомки. Творці цієї короткометражки не є мультиплікаторами, власне Corridor Crew — це команда VFX-артистів та ентузіастів, що створюють пізнавально-розважальний контент на YouTube. Вони навіть зняли окреме відео про те, як проходив процес роботи над Rock, Paper, Scissors. Там є цікаві інсайди стосовно того, як можна використати ШІ для створення візуальних ефектів.
Попри те, що Rock, Paper, Scissors не позиціонує себе як серйозну художню стрічку, багатьом креативникам це аніме прийшлося не до вподоби. Глядачі нарікали на наявність візуальних «артефактів» (вад), схожих на результат ротоскопіювання — це метод, що дозволяє «сканувати» справжню відеозйомку і накладати анімацію поверх відзнятих кадрів. Серед наявних вад: тіні, що стрибають, неприродні рухи персонажів, злиття текстур тощо. До того ж мультиплікатори стали висловлювати тривогу і невдоволення в бік студії Corridor, на що творцям навіть довелося відповідати публічно.
Y'all didn't "democratize" shit y'all are just lazy thieves spitting on an entire art form, fuck you https://t.co/hao5Od1RyQ
— Samuel Deats ???? (@SamuelDeats) February 28, 2023
Ми вже дещо звикли до того, що робота нейромереж базується суто на заданих промптах: ви пишете кілька рядків коду, які описують бажаний результат, а ШІ генерує зображення на основі цього запиту. Це наразі один із найбільш поширених методів роботи з нейромережевими інструментами. Однак такий підхід не буде ефективним під час роботи з рухомими зображеннями.
Для створення мультиплікації доводиться додавати метод дифузії. У такому разі нейромережа працює ще й за таким алгоритмом: спочатку вона розмиває наявне зображення, додаючи до нього шум, а потім виконує зворотний процес: до викривленої версії картинки наново домальовує деталі. Завдяки цьому реалістичний чи навпаки примітивний кадр можна легко перетворити на більш-менш стилістично довершений малюнок.
Ілюстрація: YouTube Stable Diffusion
Застосувавши саме цей метод з рухомими зображеннями, команда Corridor зіткнулася з проблемою: нейромережа допрацьовує кожний кадр в окремому стилі, внаслідок чого відеоряд стає хаотичним. Почасти подолати такі труднощі вдалося завдяки застосуванню фільтрів у програмах редагування відео. Наявність реалістичних кадрів, які виконують реферальну функцію, також покращує плавність анімації.
Кадр із фільму Scanner Darkly, що створений завдяки технології ротоскопіювання
Існує декілька нейромережевих сервісів, які дозволяють уже зараз спробувати можливості ШІ у роботі з відеоконтентом. Проте отримати доступ до цих функцій не завжди просто, технологія досі не в тому стані, щоб бути ефективною для широкого загалу. Ось деякі популярні нейромережеві сервіси, завдяки яким можна створювати відеоряд:
Читайте також: Нейронок боятися — в дизайн не ходити. Що стоїть за новим креативним трендом?
Якщо ми уявимо, що через декілька років технології дозволятимуть нам з легкістю оживити будь-які фотографії або взагалі створювати відеоконтент з нуля, такі перспективи приголомшують. Більше ніщо не стримуватиме нашу уяву, що призведе до буму молодих креаторів, чи не так? Відповідь на це запитання ми дізнаємося, напевно, вже дуже скоро, але оптимізм поділяють не всі.
Вже зараз чимало творців хвилюються, що їхні професії стануть нерелевантними в найближчому майбутньому. Штучний інтелект створюватиме не лише ілюстрації, а й мультиплікацію, спеціальні ефекти, музику тощо. Проте наразі дозволимо собі сміливе припущення, що вартість людської фантазії та абстрактного мислення не буде нівельована нейромережевими інструментами.
Читайте також: Що ШІ думає про майбутнє дизайнерів. Розмова зі штучним інтелектом у Chat GPT
Дійсно, є висока ймовірність, що ви станете більш цінним спеціалістом у своїй галузі, якщо вчасно опануєте роботу з нейромережами. Отже, товаришуйте з ними вже зараз, адже прогрес, як відомо, нічим не зупинити.
Telegraf.Design працює за підтримки спільноти. Підтримуйте Telegraf.Design на Patreon.
Українські дизайнери долучилися до 36 Days of Type
Штучний інтелект створює аніме, але не всім це до вподоби
Atomic Heart — шматок російського неоімперіалізму у світі відеоігор
Найважливіше з Web Summit 2022
Нейромережі, що малюють — заміна творчої праці чи нова забавка?
І свого не цураймось: українські шрифти для повсякдення і бізнесу