новини
Нейромережу навчили будувати план приміщення за коротким відео
13 січня, 2021

Дослідники з Facebook, Техаського університету в Остіні та Університету Карнегі-Меллона розробили нейромережу AV-Map, яку навчили відновлювати план цілого поверху за допомогою візуальних та звукових ефектів з короткого відеокліпу.

https://venturebeat.com/wp-content/uploads/2021/01/Screenshot-45_auto_x2.png?w=1200&strip=all

AI можна використовувати для візуалізації простору, планування маршрутів і розробки архітектурних проєктів. Він перетворює короткі відеозаписи з багатоканальним звуком у 2D-плани поверхів.

AV-Map спрямований на перетворення коротких відеороликів з багатоканальним звуком у двомірні плани поверхів. Заради того, щоб зрозуміти структуру і семантику плану поверху, нейромережа використовує послідовності аудіо- та візуальних даних й об’єднує інформацію з аудіо і відео за допомогою компонента декодера. Згенеровані плани поверхів показують вільний простір і області, поділені дискретним набором семантичних міток кімнат (наприклад, вітальня і кухня).

Floor plan AI sound

Дослідники стверджують, що звук забезпечує просторові та семантичні сигнали й доповнює можливості відображення зображень. Це тому, що звук природно визначається геометрією об’єктів. Він відбивався від поверхні й виявляє форму кімнати далеко за межами поля зору камери. Звуки, почуті здалеку, або навіть звуки поза кількома кімнатами, можуть виявити існування вільного простору. Крім того, звуки, що лунають з різних напрямків, виставляють макет на основі діяльності або речей, представлених цими звуками. Наприклад, звук душу може підказувати напрямок ванної кімнати, тоді як звук мікрохвильової печі може вказувати напрямок кухні.

Команда експериментувала з активним та пасивним налаштуваннями у цифровому середовищі з наборів даних Matternet3D та SoundSpaces. У першому експерименті за допомогою віртуальної камери видавали відомий звук під час пересування в кімнаті модельного будинку.

Аудіо-візуальна реконструкція плану поверху – звук, генерований пристроєм

Аудіо-візуальна реконструкція плану поверху: звук, створений навколишнім середовищем

У другому випадку покладалися лише на природні звуки предметів або людей в домі. У майбутньому вони планують розглянути можливість розширення багатошарового плану підлоги та пов’язати ідею креслення з роботом для активного управління камерою.


Telegraf.Design живе за підтримки спільноти. Підтримуйте Telegraf.Design на Patreon.

У нас є ще дещо для вас