На сайті Корнельського університету з’явилася публікація про нову систему Fewshot Learning. Автори проекту змогли анімувати голови на зображеннях за допомогою лицьових орієнтирів, використовуючи всього один або кілька знімків конкретної людини.

Над проектом працювали вчені Єгор Захаров, Олександра Шишея, Єгор Бурков і Віктор Лемпіцкий. За словами авторів, система здатна створити дуже реалістичні моделі балакучих голів людей і навіть портретних картин. Алгоритми виробляють синтез зображення голови однієї і тієї ж людини з лініями орієнтира обличчя, взятих з іншого фрагмента відео, або з використанням орієнтирів обличчя іншої людини.

В ході мета-навчання система перетворює орієнтири обличчя людини в реалістичні персоналізовані фотографії. Технологія Fewshot Learning багато в чому запозичує з інших проектів з моделювання — так, наприклад, використовується метод text-to-speech (синтез мови).

Для дослідження автори проекту показували користувачам три різних зображення: оригінальне і два, створених за допомогою системи Fewshot Learning. Користувачі після цього повинні були визначити, яка з цих картинок реальна, а яка — штучно створена.

Щоб отримати максимально точну анімацію, системі необхідно використовувати понад 32 зображень. Сама технологія здатна ініціювати параметри індивідуально для кожної людини на знімку, тому створення ефекту може бути засноване і на кількох знімках.

Також в Telegraf.Design можна дізнатися про те, що нейромережа навчилася розфарбовувати чорно-білі відео.