Спустя год после публикации статьи Тони Белтрамелли о pix2code paper и запуска Airbnb sketch2code специалисты из FloydHub презентовали алгоритм, который превращает изображения в готовые веб-страницы.

«На данный момент главным препятствием автоматизации фронт-енд разработки остается мощность компьютеров. Тем не менее, уже сейчас можно использовать существущие алгоритмы глубокого обучения вместе с синтезированным набором данных для обучения, чтобы открыть миру искуственную автоматизацию фронт-енда», — сказано в блоге компании.

В FloydHub нейронную сеть обучили создавать базовые HTML и CSS сайты на основе мокапа. Вкратце процесс можно разделить на 3 стадии:

1. Загрузка изображения в обученную нейросеть.

2. Конвертация изображения в HTML разметку.

3. Рендер финальной версии.

Во время обучения нейросети разработчики давали ей несколько скриншотов с соответствующим HTML. Она обучается, определяя все соответствующие HTML разметке теги. Один тег за раз. То есть, для обучения 20 тегов разработчики загружали один и тот же скриншот 20 раз. В итоге они получили датасет, с помощью которого можно генерировать шаблонные сайты.

Более детально с алгоритмом можно ознакомиться по ссылке.

Источник изображений: FloydHub Blog.