Специалисты из компании Google и Массачусетского технологического института разработали алгоритм, который позволяет обрабатывать изображения на смартфоне в реальном времени, а не после съемки. Статья, посвященная разработке, была опубликована в журнале ACM Transactions on Graphics.
Как пишет N+1, в основе нового алгоритма лежит сверточная нейросеть. Полностью обрабатывать изображение в высоком разрешении и в реальном времени пока не позволяют ограниченные возможности смартфонов, поэтому исследователи применили систему, которая выполняет большую часть вычислений на уменьшенной копии исходного изображения, а затем переносит результаты на фотографию в высоком разрешении.
В ходе работы инженеры обучили алгоритм при помощи базы из пяти тысяч пар фотографий, включавшей исходные и отретушированные профессиональными фотографами версии. Тестирование программы на смартфоне показало, что она способна в реальном времени выводить на экран обработанное изображение с разрешением 1920*1080 пикселей и частотой обновления в 40–50 герц.
Как полагают разработчики, в обозримой перспективе предложенная ими технология может быть внедрена в смартфоны, что позволит пользователям видеть обработанные фотографии еще до съемки. Эта функция, в частности, обеспечит экономию заряда аккумулятора устройства.
