Ученые из японского Университета Васэда создали на базе сверточных нейронных сетей систему искусственного интеллекта, способную раскрашивать черно-белые фотографии без вмешательства человека.
Как отмечает N+1, главная проблема раскрашивания фотографий состоит в том, что искусственный интеллект зачастую не может добиться правдоподобного цвета без участия человека. Однако японским ученым удалось достичь серьезного успеха в этой области.
Разработанная исследователями система умеет самостоятельно анализировать черно-белое изображение и выбирать подходящие цвета для его раскрашивания. Система состоит из четырех связанных компонентов: сети функций низкого уровня, сети функций среднего уровня, сети глобальных функций и раскрашивающей сети.
В ходе работы исследователи тренировали нейросети при помощи 2,5 млн фотографий из базы данных классифицированных изображений. Ученые преобразовывали цветную картинку в черно-белую, загружали ее в систему, а затем вычисляли среднеквадратическую ошибку при обработке изображения и давали обратную связь. В итоге им удалось добиться натуральности цвета обработанных кадров в 92,6% случаев.
На первом этапе работы в сеть загружается черно-белое изображение. Как отмечают исследователи, оно может быть любого размера, но лучше всего обрабатываются фотографии с разрешением 224*224 пикселя. Затем нейросеть идентифицирует его тип. Так, если она определяет, что снимок был сделан в помещении, то при раскрашивании не будут использоваться цвета неба или травы. Кроме того, нейросеть определяет объекты в кадре и подбирает характерные для них цвета.
Разработка японских ученых также может использовать данные одного изображения для раскрашивания другого, что позволяет переносить стиль на фотографию, но для этого желательно, чтобы два изображения были сходны по содержанию. Главное ограничение работы искусственного интеллекта заключается в том, что он может раскрашивать лишь те изображения, которые имеют сходство с использованными в процессе для обучения.
N+1 отмечает, что это не первая разработка такого рода. Ранее исследователи из Калифорнийского университета в Беркли создали программу, способную реалистично раскрашивать черно-белые фотографии. При оценке результатов ее работы респонденты в 20% случаев посчитали, что снимки были раскрашены человеком.
