Исследователи из Мэрилендского университета в Колледж-Парке совместно с разработчиками из компании Adobe создали нейросеть, способную отличать снимки, обработанные в графических редакторах, от фотографий без ретуши.
Как поясняет N+1, нейросеть была разработана для борьбы с фейковыми изображениями, проблема распознавания которых в последние годы встала особенно остро. Новый алгоритм способен с высокой точностью определять, подвергался ли снимок трем популярным операциям, используемым при изменении содержимого на фотографии: удаление объектов, клонирование участков изображения, а также совмещение изображений с разных снимков.
В процессе работы программа под названием RGB-N проверяет подлинность изображения, одновременно анализируя два канала. Так, проверка RGB-канала позволяет выявить видимые артефакты редактирования, нехарактерный контраст и другие заметные признаки ретуши, а изучение второго канала дает возможность отыскать неравномерности в распределении шума в изображении. В результате алгоритм может распознать даже очень качественный фейк.
Для обучения алгоритма исследователи использовали собственный синтетический датасет, основанный на датасете COCO, который состоит из 328 тысяч изображений, где размечено 2,5 миллиона легко распознаваемых даже детьми типов объектов. На его базе разработчики автоматически сгенерировали свой датасет, в котором разные объекты добавлялись на фотографии, а также производилось клонирование или удаление участков картинки. Этот набор изображений содержал 42 тысячи пар фотографий фейк-оригинал.
По словам создателей алгоритма, RGB-N превосходит созданные ранее аналоги и может распознать поддельное изображение с точностью 80-90%.
Отметим, что нейросети все чаще используются для работы с изображениями. Например, в апреле исследователи из компании Nvidia создали алгоритм обработки изображений, который способен реалистично заполнять пробелы на фотографиях, возникшие в результате повреждения снимка или в процессе его обработки. В январе разработчики из Microsoft представили нейросеть, способную рисовать изображения на основе текстового описания.