Исследователи из Массачусетского технологического института создали специальную нейросеть. Она способна генерировать замедленные видеоролики, на которых запечатлëн восстановленный из конечного изображения процесс создания картины. Препринт статьи опубликован на сайте arXiv.org. У каждого художника свой стиль и подход к рисованию.
Они используют различные комбинации цветов, толщину кистей и длину мазков. Одну и ту же картину можно создать, используя совершенно разные техники. Авторы нового исследования решили выяснить, можно ли сымитировать процесс создания произведений искусства с помощью нейросети. Для этого учëные создали алгоритм, который обучается с помощью замедленных видео с Vimeo и YouTube, на которых профессиональные художники рисуют картины. Вероятностная модель, созданная исследователями, способна предсказывать мазки художника, основываясь на его предыдущих движениях. Программу обучали на 117 видеороликах, на которых люди в замедленном действии рисовали картины с помощью графического планшета. В среднем такие видео длились четыре минуты. Второй набор данных включал 116 видеороликов, демонстрирующих рисование акварелью также в замедленном темпе. Каждый из них в среднем длился по 20 минут. Оба набора данных были составлены из пейзажей и натюрмортов. Затем исследователи наняли 150 человек, которые оценивали работу нейросети после обработки тестового набора данных. Сама программа использовала метод визуальной депроекции. Он был создан в 2019 году и способен, обрабатывая изображение, восстанавливать его недостающие части. Такие учёные использовали интерполяцию — функцию, которая позволяет восстанавливать недостающие кадры замедленного видео. Для этого необходимо, чтобы в распоряжении программы было конечное изображение. Для управления наборами видеоданных нейросеть удаляет все кадры, включающие кисти рук, кисти для рисования и тени. На сегодня это первая программа, которая способна моделировать изображения «из прошлого», используя в качестве исходных данных только конечное изображение. Это может быть полезно, например, при восстановлении хода событий автокатастроф и преступлений или поведения людей на улицах городов. Автор: Никита ШевцевРедактор: Анастасия Воротникова Понравился наш материал? Подписывайся на «Популярный университет» в социальных сетях: ВКонтакте, Telegram.