Как искусственный интеллект восстанавливает недостающие фрагменты картин?

Системы искусственного интеллекта не могут восстанавливать утраченные произведения искусства, но они могут помогать реставрировать картины. Для того, чтобы при работе ИИ получить какой либо адекватный результат, эту систему необходимо обучить. Для этого необходимы миллионы образцов(а лучше десятки миллионов), к сожалению Рембрандт не написал столько картин. А вот для реставрации картин материалов для обучения возможно получить в достаточном количестве. Если все упростить, то снимок “Ночного Дозора”(плюс снимки в инфракрасном излучении и пр.)в высоком разрешении разбивается на миллион(или десятки миллионов) квадратиков, и нейронная сеть обучается на этой выборке изображений формируя представление о цветовой гамме, цветовой взаимосвязанности и пр.. Другими словами, ИИ система формирует(обучается) представление о манере письма художника для этой конкретной картины.

В статье в ARTnews четко описаны три источника для восстановления недостающих элементов картины “Ночной дозор”:

Первая проблема, с которой столкнулись реставраторы была в разнице размеров копии и оригинала. Она была решена с помощью систем цифрового масштабирования (вероятно без использования ИИ).

Вторая проблема была в том, что копиист писал в манере отличной от манеры Рембрандта и главное, что он не был Рембрандтом. Задача стояла в том, чтобы утраченные объекты на картине Рембрандта, но присутствующие на копии, привести в соответствие с манерой письма Рембрандта. Для этого копия Лунденса разбивалась на множество мелких элементов, а нейронная сеть обученная “манере” письма Рембрандта, приводила их в соответствие этой “манере”.

Никакого творчества, только статистика.

Но, к сожалению ИИ не Рембрандт, это хорошо видно на снимке ниже. Это сравнение, показывает использование технологий для участка картины художника, который мы можем использовать для сравнения. Как мы видим - отличия видны, даже при таком качестве снимка.

Как резюме: Сегодня ИИ технологии возможно использовать для реставрации картин, восстановления утраченных небольших(и главное второстепенных)элементов картин. Что будет в будущем – посмотрим.