Un equipo de investigadores de Google ha ideado una técnología que puede combinar miles de fotos de turistas en representaciones 3D detalladas que te transportarán a diferentes sitios… incluso si las fotos originales utilizadas varían enormemente en términos de iluminación o incluyen otros elementos como personas o coches.
La tecnología se llama «NeRF in the Wild» o «NeRF-W» porque toma la tecnología Neural Radiance Fields (NeRF) de Google Brain y la aplica a «colecciones de fotos no estructuradas y no controladas» como las miles de fotos de turistas que se usaron para crear la demostración que ves a continuación:
Es básicamente una interpolación avanzada impulsada por una red neuronal que logra incluir información geométrica sobre la escena mientras elimina «oclusores transitorios» como personas o automóviles y suaviza los cambios en la iluminación.
“Si bien el NeRF [estándar] funciona bien en imágenes de sujetos estáticos capturados en entornos controlados, es incapaz de modelar muchos fenómenosdel mundo real en imágenes no controladas, como iluminación variable u oclusores transitorios”, se lee en el artículo de investigación completo. «En este trabajo, presentamos una serie de extensiones de NeRF para abordar estos problemas, lo que permite reconstrucciones precisas de colecciones de imágenes no estructuradas tomadas de Internet».
El resultado es bastante impresionantes si se tiene en cuenta cómo se creó y todos los elementos que se tuvieron que omitir o suavizar para que sucediera. A medida que la tecnología se desarrolle aún más, podría revolucionar la forma en que se crean las representaciones en 3D al permitir mucha más variación en las imágenes de origen que nunca antes.
Para obtener más información sobre esta tecnología, puedes visitar el github NeRF-W o descargue el artículo de investigación desde este enlace.
