Протягом 2022-2023 не вщухають дискусії про те, чи здатні нейромережі замінити творчу працю людини. Ми досі перебуваємо на початковій стадії розвитку цієї технології, але вже бачимо деякі приголомшливі результати. Несподівана царина, в якій штучний інтелект проявив неабияку компетентність — створення аніме.

The Dog and The Boy

Короткометражка The Dog and The Boy від Netflix — це перший гучний кейс застосування ШІ для створення аніме. Зауважимо, що під час створення цієї стрічки фактичного використання нейромереж було доволі мало, адже штучний інтелект залучали лише для малювання фонових зображень. Та навіть ці згенеровані ілюстрації потім передали на допрацювання до професійних мультиплікаторів.

The Dog and The Boy, 2023
Ілюстрація: Anime Corner

Не обійшлося тут і без частки контроверсії. Netflix Japan зробила публічну заяву про те, що під час створення цієї стрічки їм довелося скористатися нейромережевими інструментами через брак мультиплікаторів. Повірили у це пояснення далеко не всі. Водночас в інтернеті стали подейкувати, що компанія просто не бажає наймати спеціалістів з анімації і таким чином заощаджує кошти. До критики долучилися й самі мультиплікатори.

ROCK, PAPER, SCISSORS

Аніме під назвою Rock, Paper, Scissors — це експериментальний проєкт від студії Corridor, в якому нейромережі застосували для обробки кадрів реальної відеозйомки. Творці цієї короткометражки не є мультиплікаторами, власне Corridor Crew — це команда VFX-артистів та ентузіастів, що створюють пізнавально-розважальний контент на YouTube. Вони навіть зняли окреме відео про те, як проходив процес роботи над Rock, Paper, Scissors. Там є цікаві інсайди стосовно того, як можна використати ШІ для створення візуальних ефектів.

Попри те, що Rock, Paper, Scissors не позиціонує себе як серйозну художню стрічку, багатьом креативникам це аніме прийшлося не до вподоби. Глядачі нарікали на наявність візуальних «артефактів» (вад), схожих на результат ротоскопіювання — це метод, що дозволяє «сканувати» справжню відеозйомку і накладати анімацію поверх відзнятих кадрів. Серед наявних вад: тіні, що стрибають, неприродні рухи персонажів, злиття текстур тощо. До того ж мультиплікатори стали висловлювати тривогу і невдоволення в бік студії Corridor, на що творцям навіть довелося відповідати публічно.

Y'all didn't "democratize" shit y'all are just lazy thieves spitting on an entire art form, fuck you https://t.co/hao5Od1RyQ

— Samuel Deats ???? (@SamuelDeats) February 28, 2023

Еволюція нейромереж

Ми вже дещо звикли до того, що робота нейромереж базується суто на заданих промптах: ви пишете кілька рядків коду, які описують бажаний результат, а ШІ генерує зображення на основі цього запиту. Це наразі один із найбільш поширених методів роботи з нейромережевими інструментами. Однак такий підхід не буде ефективним під час роботи з рухомими зображеннями.

Для створення мультиплікації доводиться додавати метод дифузії. У такому разі нейромережа працює ще й за таким алгоритмом: спочатку вона розмиває наявне зображення, додаючи до нього шум, а потім виконує зворотний процес: до викривленої версії картинки наново домальовує деталі. Завдяки цьому реалістичний чи навпаки примітивний кадр можна легко перетворити на більш-менш стилістично довершений малюнок.

Ілюстрація: YouTube Stable Diffusion

Застосувавши саме цей метод з рухомими зображеннями, команда Corridor зіткнулася з проблемою: нейромережа допрацьовує кожний кадр в окремому стилі, внаслідок чого відеоряд стає хаотичним. Почасти подолати такі труднощі вдалося завдяки застосуванню фільтрів у програмах редагування відео. Наявність реалістичних кадрів, які виконують реферальну функцію, також покращує плавність анімації.

Кадр із фільму Scanner Darkly, що створений завдяки технології ротоскопіювання

Де можна побавитися

Існує декілька нейромережевих сервісів, які дозволяють уже зараз спробувати можливості ШІ у роботі з відеоконтентом. Проте отримати доступ до цих функцій не завжди просто, технологія досі не в тому стані, щоб бути ефективною для широкого загалу. Ось деякі популярні нейромережеві сервіси, завдяки яким можна створювати відеоряд:

• Chat GPT-4 має нові можливості роботи з відеоконтентом. Для того, щоб мати змогу поекспериментувати, вам потрібен доступ до Chat GPT+. Якщо ви уже маєте підписку Chat GPT+, ви можете потрапити до сторінки Chat GPT-4 через сайт OpenAI;
• NightCafe дозволяє створювати відеоконтент на основі заданих промптів, але кожен такий запит витрачатиме ваші токени. Токени є аналогом валюти, необхідної для роботи з сервісом. Ви можете отримувати їх, беручи активну участь у житті спільноти NightCafe;
• Сервіс DeepNostalgia дозволяє анімувати фотографії та інші статичні зображення, в яких містяться обличчя. Для користування цим інструментом вам необхідно буде завантажити застосунок MyHeritage.

Читайте також: Нейронок боятися — в дизайн не ходити. Що стоїть за новим креативним трендом?

Тривоги та перспективи

Якщо ми уявимо, що через декілька років технології дозволятимуть нам з легкістю оживити будь-які фотографії або взагалі створювати відеоконтент з нуля, такі перспективи приголомшують. Більше ніщо не стримуватиме нашу уяву, що призведе до буму молодих креаторів, чи не так? Відповідь на це запитання ми дізнаємося, напевно, вже дуже скоро, але оптимізм поділяють не всі.

Вже зараз чимало творців хвилюються, що їхні професії стануть нерелевантними в найближчому майбутньому. Штучний інтелект створюватиме не лише ілюстрації, а й мультиплікацію, спеціальні ефекти, музику тощо. Проте наразі дозволимо собі сміливе припущення, що вартість людської фантазії та абстрактного мислення не буде нівельована нейромережевими інструментами.

Читайте також: Що ШІ думає про майбутнє дизайнерів. Розмова зі штучним інтелектом у Chat GPT

Дійсно, є висока ймовірність, що ви станете більш цінним спеціалістом у своїй галузі, якщо вчасно опануєте роботу з нейромережами. Отже, товаришуйте з ними вже зараз, адже прогрес, як відомо, нічим не зупинити.

Telegraf.Design працює за підтримки спільноти. Підтримуйте Telegraf.Design на Patreon.