Instant NeRF от NVIDIA использует искусственный интеллект для превращения 2D-фотографий в 3D-сцены

На GTC 2022 исследовательская группа NVIDIA представила впечатляющую технологию Instant NeRF, которая может превращать 2D-фотографии в 3D-сцены за считанные секунды. Для этого исследователи использовали возможности ИИ, в частности, через так называемые поля нейронного излучения. NeRF используют нейронные сети для реконструкции сцены из изображений, предсказывая цвет света, излучаемого в любом направлении. NVIDIA утверждает, что Instant NeRF является самой быстрой технологией в своем роде, позволяя в некоторых случаях мультипликативное ускорение более чем в 1000 раз, так что рендеринг в 1080p происходит всего за миллисекунды.

Как говорил главный научный сотрудник Томас Мюллер в докладе GDC 2022 под названием «Мгновенные примитивы нейронной графики», этот сложный эффект является результатом трех основных улучшений: реализации алгоритма рендеринга/обучения для конкретной задачи на графическом процессоре, который использует мелкозернистый графический процессор, возможности управления потоком намного быстрее, чем плотные тензоры, полностью объединенная реализация небольшой нейронной сети, которая работает быстрее, чем процедуры умножения матриц общего назначения и наконец, NVIDIA разработала метод, называемый кодированием хэш-сетки с несколькими разрешениями, который не зависит от задачи и обеспечивает лучший компромисс между скоростью и качеством, чем ранее существовавшая работа.