Теперь даже сильно испорченную фотографию можно будет восстановить

Американские специалисты из Google Research стали авторами технологии, позволяющей нейронным сетям «дорисовывать» недостающую часть фотографии. Причем речь идет о достаточно объемных отсутствующих фрагментах.

Существующие в настоящее время алгоритмы уже позволяют восстанавливать фотографии с недостающими элементами. Однако речь идет лишь об очень небольших испорченных участках. Нейронная сеть также может добавлять объекты, которых и вовсе не было в первоначальном варианте. Новые возможности сети предполагают восстановление масштабных объектов, изображения которых остаются реалистичными и максимально близкими к оригиналу.

Алгоритм работы системы состоит из двух основных этапов. На первом этапе сеть восстанавливает недостающий фрагмент фотографии, на втором – сопоставляет получившийся результат с оригиналом из представленных образцов. Именно такой двухступенчатый процесс позволяет добиться максимально реалистичного восстановления изображения.

В процессе обучения системе предлагали восстановить куски картинки от 25 до 75% от общего объема изображения. Это позволяло алгоритму добиваться большего эффекта при тренировках. Для выборки использовались около 2 млн картинок и фотографий из базы Places365-Challenge.