Как с помощью нейросети улучшили исторические кадры высадки на Луну

Специалист по реставрации фотографий и фильмов YouTube-блогер DutchSteamMachine использовал искусственный интеллект для улучшения оригинального фильма «Аполлон», создав поразительно четкие и яркие видеоклипы о высадке человека на Луну. 

Один из клипов посвящен миссии «Аполлон-16», в ходе которой командир экипажа Джон Янг и пилот лунного модуля Чарльз Дьюк провели на Луне 71 час. Они совершили три поездки на «лунном ровере» общей протяженностью 26,9 километра. Качество оригинального видео улучшено с 12 кадров в секунду (FPS, frames per second) до 60 FPS.

Еще один ролик показывает посадку «Фалкона» — лунного модуля «Аполлона-15». Ландшафт спутника, запечатленный на видео, — это юго-восточная окраина Моря Дождей.

На следующем видео зафиксирован исторический момент — Нил Армстронг спускается с лунного модуля и ступает на поверхность земного спутника впервые в истории человечества.

Для создания роликов DutchSteamMachine использовал нейросеть DAIN (Depth-Aware video frame INterpolation). По словам блогера, ранее уже предпринимались попытки улучшить качество видео миссий «Аполлон», но лично его результаты этих работ не удовлетворяли. Он рассказал, как работал над видео сам. 

«Сначала я решил найти видео самого высокого качества, которое, к счастью, я нашел в виде видеофайлов с высоким битрейтом 720p. Таким образом, проблема качества была решена. Тем не менее, большинство снятых эпизодов все еще были очень нестабильными. Кадры ровера были сняты со скоростью 12, 6 или даже 1 кадр в секунду», — говорит DutchSteamMachine. 

Блогер выяснил, с какой частотой кадров отсняты ролики, используя открытые данные NASA, а также переговоры самих астронавтов, как в случае с кадрами миссии «Аполлон-16». 

«Я разбил исходный файл на отдельные кадры PNG, ввел их в нейросеть вместе с входной частотой кадров (1, 6, 12 или 24) и желаемой выходной частотой кадров по частоте интерполяции (2x, 4x, 8x). ИИ начал использовать мой графический процессор, просматривая два реальных последовательных кадра. Используя алгоритмы, он анализирует движения объектов на двух реальных кадрах и создает совершенно новые. С частотой интерполяции 5х он может визуализировать 5 „поддельных“ кадра из двух реальных», — отмечает блогер. 

Затем DutchSteamMachine использовал цветокоррекцию, поскольку исходные файлы часто имели синий или оранжевый оттенок. На следующем этапе отснятый материал синхронизировался со звуком. 

На канале блогера уже размещено почти три десятка роликов о миссиях «Аполлон», и DutchSteamMachine планирует продолжить работу по улучшению архивных съемок. 

Ранее подобную работу проводил российский блогер Денис Ширяев. Он улучшил до 60 FPS и 4К ролик о путешествии лунного ровера на поверхности земного спутника в рамках миссии «Аполлон-16».

Взгляните и на другое 4K-видео: многолюдная Тверская 1896 года в цвете;