новини
Нейромережа, яка генерує відео за текстом, не виправдала очікувань
12 червень, 2023

Перші враження від розхайпованої нейромережі «Gen-2», яка генерує відео за текстом, виявилися невтішними. Ентузіасти очікують наступних ітерацій «Gen-2», водночас компанія-розробник «Runway» обіцяє значне покращення якості.

Американська компанія «Runway» нещодавно відкрила для всіх охочих доступ до своєї нейромережі «Gen-2». Головна фішка нового продукту — можливість генерувати відео на основі текстового опису. Попередня версія сервісу «Gen-1» здобула популярність завдяки тому, що могла створити відеоряд, маючи зображення у поєднанні з текстом. До речі, компанія «Runway» є співрозробником легендарного генеративного інструменту Stable Diffusion.

 

Ви власноруч можете створювати відео із текстових промптів через «Gen-2». Скористатися сервісом можна на персональному комп’ютері або на iOS — для цього треба зареєструватися на офіційному сайті «Runway». Можна спробувати безплатну версію або придбати підписку з розширеними можливостями. «Gen-2» обіцяє «дедалі більшу точність та покращення результатів», але наразі здатності нейромережі вкрай обмежені.

Ми в Telegraf.Design провели власний експеримент і задали нейромережі «Gen-2» такий промпт: «Людна зупинка громадського транспорту. Перехожий рятує дідуся, якого ледь не збив автобус». Ось що вийшло:

Лиш думка про те, що штучний інтелект може перетворювати текст у відеоряд, приголомшує. Проте вас навряд чи вразять можливості «Gen-2» — нейромережа не може розпізнати описи простих дій та явищ, хоча вміє влучно зображувати локації та антуражі. Деякі користувачі відкрито висловлюють своє розчарування в інтернеті.

Нещодавно в YouTube набрав сотні тисяч переглядів рекламний відеоролик несправжньої марки пива, створений виключно нейромережевими інструментами. Автори наголошують, що жодна людина не брала участі у «зйомках». З результату стає видно, що нейромережам досі, наприклад, складно уявити, як саме людина споживає напої. Звісно ж, є проблеми з кількістю рук і пальців.

Вочевидь, ми ще далекі від того, щоб нейромережі створювали задовільний для пересічного глядача відеоконтент. Наразі згенеровані відео, створені з текстових промптів, часто видаються дивними чи навіть моторошними — зокрема через деформації у зображенні людських тіл або внаслідок спотворення предметів. Однак технологія невпинно розвивається, і ми досі затамувавши подих очікуємо справжньої нейромережевої революції.

У нас є ще дещо для вас