Статті
AR-вистави: технологія ALTstage, UX і боротьба за увагу глядачів
3 вересня, 2021
Іван Скорина
Автор і арткритик
Стати автором

Українські «Платформа сучасного танцю» та WeAR Studio у співпраці з німецьким Post Theater створили та протестували технологію ALTstage, завдяки якій танцівники можуть виступати у доповненій реальності. Автор і арткритик Іван Скорина відвідав тестові AR-виступи. Він проаналізував взаємодію користувачів та пояснив, як інтерактивність може допомагати чи заважати сприйняттю творчого задуму.

Фото: Денис Панченко. Home-режим роботи технології ALTstage, на фото Ольга Безгінова та Анастасія Кузьмічьова.

ALTstage — нове мистецьке середовище на базі технології доповненої реальності (augmented reality — AR), яке за задумом створювали для театральних постановок. Це середовище, що покликане поєднувати AR із живими подіями чи відеоконтентом, складається з мобільного застосунку та вебсайту, робота яких синхронізована спеціальним програмним забезпеченням. Метою розробки було подолання двовимірності — природного обмеження вистав у відеозаписі. Команда проєкту пояснює, що використання доповненої реальності вже поширюється у різних сферах, але залишається рідкістю в танці та хореографії.

Чотири етапи підготовки AR-виступу

Перший етап — фільмування танцівника чи танцівниці в студії на фоні хромакея, щоб виокремити тіло від фону та перенести його в будь-яке інше середовище в доповненій чи екранній реальностях.

Другий — фільмування волюметричного відео. В процесі фільмування за допомогою спеціальної камери з інфрачервоним датчиком, що визначає відстань від об’єктива до кожного пікселя, двовимірне відео здобуває третю координату (відстань чи глибину) і стає тривимірним. Волюметричне відео команда робила своїми силами, бо це дуже дорога технологія: студій волюметричного відеозапису у світі лише кілька десятків. Їх використовують переважно для високобюджетного кіно, а в Україні такої студії просто немає.

Волюметричне фільмування перформансу Ірини Башук

Одночасне фільмування кількома Azure Kinect формує відео, яке можна дивитись з будь-якого кута.

Третій крок — поєднання перших двох — створення середовища, в якому події доповненої реальності були б синхронізовані з відео. Координація у просторі відбувається через фізичні маркери, щоб смартфон «зрозумів», у якій частині зали знаходиться сцена, і де потрібно показувати AR-танцівників.

А от для синхронізації в часі розробникам довелося придумувати нове рішення. Завдяки використанню хмарного сервера, що одночасно отримує сигнали про певну команду від плеєра та смартфона, відео та AR-елементи знаходяться в одному часовому потоці: і те, й інше водночас можна поставити на паузу чи сповільнити, щоб роздивитися краще.

Як працює технологія ALTstage

Четвертий етап — робота над UI та UX. Щоб об’ємний вихід за межі з екрана вдався, потрібно оптимізувати UI/UX-дизайн і довести технологію до стадії природного сприйняття глядачем. Але тут виникають проблеми з перемиканням уваги.

Перемикання уваги до AR: незвичний досвід чи відволікання глядача

«Уявіть, що площина екрана та простір сцени більше не відділені одне від одного. Актор прямо на ваших очах стає то пласким, то об’ємним і може вільно пересуватися між екранною та сценічною реальностями», — таку візію пропонує Олександр Маншилін, проєктний менеджер ALTstage. Насправді ж, це завдання далеке від реалізації.

Технологія дозволяє дивитися вистави з доповненою реальністю у театрі, коли потрібно наводити смартфон на сцену, і вдома, спрямовуючи об’єктив на екран лептопа. В обох випадках виникає специфічний режим перемикання.

У будь-якої вистави ALTstage є три виміри: простір зали (фізичної чи на відеозаписі), екран чи проєкція та доповнена реальність.

Фото: Денис Панченко. Live-режим роботи технології ALTstage. Виступ Каріни Алімірзаєвої та Юлії Циб.

Посеред вистави дія в реальному просторі зупиняється, смартфон з відкритим застосунком ALTstage вібрує, сповіщаючи про вступ у дію а́кторів з AR, — глядач підіймає його і дивиться фрагмент. Після завершення сценки моделі просто зникають, знову повертаючи увагу глядача до фізичної реальності (чи до екрана комп’ютера). Такий режим перемикання між поглядом на сцену (чи екран) і поглядом у смартфон відчувається доволі неприродно та руйнує цілісність глядацького досвіду.

Сама структура ALTstage-вистави позбавляє появу AR-елементів бажаної неочікуваності. Навпаки, такий підхід спонукає чекати на сигнал від смартфона та не дає захопитися рухами танцівника. Заглибоке занурення у танець і пов’язані з ним думки містять небезпеку пропустити сповіщення чи взятися за телефон запізно. Сповіщення задумані, звісно, саме для уникнення подібних ситуацій, та краще було б мати один канал передачі інформації, скажімо, окуляри чи великий екран перед сценою. Частина глядачів тестових вистав переглядали їх, постійно тримаючи смартфон перед очима.

Home-режим роботи технології ALTstage. Виступ Ольги Безгінової та Анастасії Кузьмічь.

Режим перемикання проблематичний також тим, що він несе зміну масштабів екрана смартфона й екрана комп’ютера чи сцени. До того ж дивитися вистави на маленькому екрані складно навіть без доповненої реальності.

На екрані в залі знаходяться маркери для синхронізації AR з фізичним простором. У фізичному просторі елементи доповненої реальності «орієнтуються» саме на цей екран. Екран на сцені, необхідність дивитися у смартфон — це певні правила взаємодії, які задає технологія.

Для того, щоб усі технічні елементи відчувались природно, їх варто було б вплітати у структуру твору. Наприклад, закласти у сюжет імерсивної вистави необхідність подивитися у телефон. Чи помістити смартфон із додатком у якусь іншу форму, наприклад, у театральний бінокль, і знову обґрунтувати необхідність у нього дивитися.

Тестування «режиму переміщення»

У виставі «Метаморфоза» Ярослав Кайнар за допомогою свого тіла та простих відеоефектів зображує «процес перетворення: від клітини до надлюдини, через нижчих безхребетних та тварин». Зчитати це повідомлення через тіло на тестовій виставі мені не вдалося: стало складно виносити смисл саме з руху. Таке враження супроводжувало мене і під час перегляду інших тестових вистав, бо рух потребує фокусованої уваги.

Фото: Anastasiia Veter. Виступ Ярослава Кайнара.

Дія «Метаморфози» більш-менш рівномірно розподілена між трьома вимірами: спершу на екрані у залі «розмножуються клітини», пізніше Ярослав Кайнар танцює на сцені та періодично переміщується то знову на екран, то в AR. Це переміщення виправдане переходом до вищих стадій розвитку живих істот.

Фото: Anastasiia Veter. Виступ Ярослава Кайнара.

Розвиток супроводжується появою у Ярослава нових кінцівок: першого разу у доповненій реальності з’являється лише рука, пізніше у зображення Ярослава на екрані у залі множаться руки, та врешті виникає образ мутанта у завершальній сцені в AR. У вимірі доповненої реальності складно оцінити значення ефектів, адже наразі межа між задуманими деформаціями та просто невдалим рендером AR-моделі незрозуміла.

«In Between» Ірини Башук концентрується на ідеї плину часу. Хореографиня шукає момент, що називається «зараз», намагається зрозуміти, в якому із цих «зараз» вона «справді існує», та застрягає між думками про минуле та майбутнє. «Щоб побачити зміни в житті, ми маємо спостерігати за об’єктами чи діями. Я думала про свої цілі, мрії та помітила, що вони змінюються, розвиваються або зникають…Тож для перформансу я створила аксесуар, який, трансформуючись, відмічає плин часу» — пояснює Ірина Башук. Цей аксесуар — синя жорстка тканина, яка слугує спершу спідницею, а згодом змінюється.

Фото: Денис Панченко. Виступ Ірини Башук.

У «In Between» Ірина не телепортується на екран у залі. Натомість на ньому ми бачимо генеративне відео музиканта та медіамитця v4w.enko. На фоні абстрактної композиції хореографка у рівній грубій спідниці сама здається фрагментом цієї структури. Коли вона опиняється у доповненій реальності, спідниця перевертається та з’являється на голові танцівниці, сповіщаючи про невловимий момент зміни. Як цей аксесуар «відмічає плин часу» — неясно. Навіщо Ірина Бащук переміщується в AR — також.

Фото: Anastasiia Veter. Виступ Ірини Башук.

Втім, проблема кожного тестового перформансу — переміщення на екран чи в AR здається невиправданим. Вистави мають просто використати функціонал нового продукту. У роботі Ірини Башук та Ярослава Кайнара переміщення у доповнену реальність супроводжуються модифікацією костюму чи тіла. Цей момент формально показує різницю між вимірами та надає їм певного значення, але у двох наступних виставах цього немає.

Роботу «Поза часом» Ольга Дробиш позиціонує як пошук чогось, «що мало б дві протилежні якості: “незнищенність” та “відновлюваність”…, що залишається незмінним від покоління до покоління і водночас мусить час від часу відновлюватись». У виступі двоє танцівниць — Карина Алімірзаєва та Юлія Циб — працюють над цим пошуком, опиняючись у різних вимірах без жодних модифікацій.

Фото: Денис Панченко. Виступ Карини Алімірзаєвої та Юлії Циб.

Вони то з’являються на екрані зали, то на клавіатурі лептопа як AR-моделі у смартфоні. За допомогою ґлітчів тут, на відміну від інших замальовок, підкреслено момент переходу, що створює більш цілісне враження подорожі між вимірами. Водночас танець на екрані у залі відбувається на фоні зображення природного ландшафту, але рух не вписується у ці фотошпалери. Тут більш доречними були б мінімалістичніші фони.

Фото: Денис Панченко. Виступ Карини Алімірзаєвої та Юлії Циб.

У певний момент, під кінець, дуо танцівниць зникає. Вони розділяються: одна виникає на екрані в залі, інша — на екрані смартфону в AR. Це відбувається одночасно: одна танцівниця рухається симетрично іншій — це цікавий перегук між вимірами. Але водночас обидві танцівниці потроєні: три однакових тіла на екрані, три однакових інших — в AR. Таке рішення лише підсилює дисонанс від усіх вже описаних тут технологічних прийомів, і, здається, не має жодних причин.

Єдина вистава, яка не намагається загравати зі складними ідеями навколо концепту доповненої реальності — «Повторіть, будь ласка» в хореографії та виконанні дуету Ольги Безгінової та Анастасії Кузьмічової. Цим вона виграє у порівнянні з іншими виступами, адже розкрити теми в такому незграбно заплутаному мереживі медіумів їм не вдалося. «Невеличка танцювальна історія про близькість та взаєморозуміння» — легше завдання, яке в принципі виконано, якщо повністю відкинути якість художнього оформлення (базові шрифти, вступний фрагмент із голосами, візуальні ефекти) та деякі описані вище проблеми, які тут лишились.

Фото: Anastasiia Veter. Виступ Ольги Безгінової та Анастасії Кузьмічової.

У цьому виступі також дві танцівниці, які спершу нервово намагаються наблизитися, але лише повторюють рухи одна за одною, ніби не в змозі позбавитися відчуття недовіри. Лише коли одна з них опиняється в доповненому вимірі, а інша залишається на сцені — їм вдається почати взаємодію через рух. Спадає на думку потреба у додатковій перешкоді для стосунків, яка насправді не віддаляє людей, а зближує, надаючи взаєминам певні рамки та свободу для маневру. Пізніше ця логіка руйнується тим, що у доповненій реальності з’являється одна з танцівниць, в той час як обидві вони лишаються у залі. Скільки тепер героїв? Чому вони перебувають тут водночас?

Фото: Anastasiia Veter. Виступ Ольги Безгінової та Анастасії Кузьмічової.

У виставі є один цікавий момент: ближче до завершення обидві танцівниці опиняються в AR: вони буквально випадають з екрана на клавіатуру комп’ютера. Їх тіла ніби виштовхує потік світла, зображений на екрані у залі. Цей влучний хід — єдина спроба зробити «крок з екрана» правдоподібним.

avatar
Іван Скорина
Автор і арткритик

Назагал, на тестовому етапі у технології ALTstage більше проблем, ніж переваг. Вистави перевантажені різними медіумами, які поєднуються між собою доволі неправдоподібно, а додаткові технічні рішення лише заплутують ситуацію. Усе це можна допрацювати — зробити кращі AR-моделі за допомогою якіснішого волюметричного відео, вдосконалити моменти переходу, створити професійний візуальний супровід і якісний дизайн. Та головне, щоб кожен із рівнів доречно співвідносився з іншим.

Нині ж у тестових виставах багато технічних рішень і використаних медіумів просто не мають концептуального пояснення. Що означає переміщення актора в AR? Навіщо танцівниці з’являються на екрані у залі? Як можуть співіснувати тіла у різних вимірах? Ясних відповідей на ці питання у виставах я не знайшов.

Віднайдення відповідей у процесі взаємодії з новою технологією уможливить і цікаву роботу з темами. При цьому рішення для режиму перегляду з комп’ютера та у живому режимі на сцені відрізнятимуться. На відео є можливість підігнати певні аспекти шоу так, щоб усе виглядало більш природно. Але у залі технологія має ще менше сили, спираючись просто на лояльність аудиторії, яка очікує самого факту появи AR-елементів.

Тестові вистави надто прямо підпорядковуються технології, яка спрямована на досягнення формального результату — доповнена реальність якось працює і цього має бути достатньо глядачам, захопленим самим медіумом. Це захоплення, що відчувається у свідченнях і хореографів, і розробників, зрозуміле. Проте така настанова на формальне досягнення результату — «тепер це можливо» — відсуває смислові аспекти використання технології на другий план, а також ускладнює досягнення бажаного вау-ефекту. Тому, що це може дати сучасному танцю на наступних етапах розробки — питання відкрите.


Telegraf.Design живе за підтримки спільноти. Підтримуйте Telegraf.Design на Patreon.

avatar
Іван Скорина
Автор і арткритик
Колонка

У нас є ще дещо для вас