Resumen I jornada técnica de HUME

El día 23 de noviembre de 2023 inauguramos una serie de jornadas online con las que pretendemos tender puentes entre investigadores, empresas e instituciones para conocer mejor qué tecnologías digitales están marcando el paso sobre la museografía contemporánea y el patrimonio y cómo pueden ser aplicadas de forma innovadora. Esta primera jornada se centró en las innovadoras tecnologías de escaneado 3D y su creciente impacto en el mundo de los museos y la preservación del patrimonio.

Aspectos destacados:

Innovación en captura de 3D: Se exploraron recientes tecnologías basadas en Inteligencia Artificial como NeRF y Gaussian Splats (GS), destacando su capacidad para transformar la forma en que capturamos y representamos objetos patrimoniales en tres dimensiones sin discretizar las superficies con mallas, utilizando en su lugar una serie de puntos dinámicos en el espacio que permiten registrar, por primera vez y de forma sencilla, elementos tan complejos como cristales, transparencias, pelo, etc.
NeRF: Este sistema de representación 3D apareció en 2020, pero no fue hasta 2023 cuando se optimizó para acelerar el tedioso proceso de entrenar el NeRF con algoritmos de Inteligencia Artificial para crear la visión 3D a partir de fotos. Aun así, NeRF siguió lastrado por los grandes recursos que se requieren para visualizar este formato, pero nos abrió los ojos frente a una nueva forma de representar los volúmenes, más parecida a una “foto analógica 3D” que a un típico resultado mallado.
Gaussian Splatting: Siguiendo la estela de NeRF, este nuevo proceso ofrece resultados parecidos, pero con un coste infinitamente menor, permitiendo su renderización en navegadores web, incluso a través de móviles. Los Gaussian Splats producen ficheros de splats con la extensión .PLY que pueden ser integrados de manera sencilla en motores de videojuegos como Unity o Unreal, y pueden ser modificados dentro de estos programas para añadirles movimiento, abriendo todo un abanico de nuevas oportunidades creativas.
Usos en Realidad Extendida y metaversos: Vimos que se está empezando a hacer uso de estas tecnologías para entornos de Realidad Virtual, abriendo nuevas posibilidades para la experiencia cultural, gracias a la aparición de plugins y proyectos específicos para Unreal y Unity que soportan NeRF y/o Gaussian Splatting.
Retos: Se comentó la necesidad de editores de Gaussian Splats para limpiar escaneados y añadir animación, y descubrimos, gracias a los aportes de los reunidos, que ya existen unos cuantos.

A continuación, os dejamos algunos enlaces que prometimos publicar para introducirnos en este fascinante mundo de la captura 3D NeRF y Gaussian:

LOS ORÍGENES

Getting Started with NVIDIA Instant NeRFs: La aplicación que permitió generar NeRFs de forma rápida en PCs gratuitamente.
NeRFs en Unity: Varios proyectos, como immersive-ngp o nerf-unity-plugin, permiten integrar NeRFs en Unity, pero al igual que ocurre en Unreal, el coste de computación es muy elevado.

APLICACIONES ONLINE PIONERAS

Polycam: Fue la empresa especialista en escaneados 3D pionera en ofrecer un servicio en la nube para crear GS a partir de fotos, que los usuarios pueden subir desde sus móviles.
LumaLabs.AI: LumaLabs fue una de las primeras empresas que lanzó una aplicación online para facilitar la subida de fotos y vídeos y crear NeRFs de forma remota. Aunque empezó con NeRFs, ha evolucionado rápidamente hacia la tecnología de Gaussian Splatting para facilitar la interactividad con los modelos en móviles. Sigue optimizando su algoritmo GS y permite “reentrenar” los modelos ya subidos para asimilar las mejoras. LumaLabs ofrece varios formatos de 3D: el formato NeRF tiene el nombre de “Luma field” con extensión .luma y está preparado solo para integrarse en Unreal, mientras que el formato GS es un estándar con extensión .PLY integrable tanto en Unity como en Unreal a través de plugins como XVERSE 3D-GS o 3D Gaussians Plugin (de pago), para Unreal 5.

EDITORES

Nerf Studio: Una aplicación de tipo estudio para editar NeRFs y generar vídeos a partir de ellos.
Editor de Gaussian Splats: Editor para refinar los resultados obtenidos y generar nuevos ficheros .PLY.

ANIMACIÓN

Los proyectos animatable-gaussians.github.io o buaacyw.github.io demuestran rápidos avances en la adición de animación a las figuras generadas como Gaussian Splats.

AVANCES EN FOTOGRAMETRÍA

No podemos olvidarnos de mencionar algunos recientes avances en fotogrametría tradicional, como son RealityCapture, una de las mejores aplicaciones para la obtención de objetos de malla de alta calidad, y Neuralangelo, tecnología de NVIDIA que simplifica enormemente el proceso tradicional con la adición de algoritmos de Inteligencia Artificial, que permiten resultados increíbles a partir de simples vídeos.

Queremos fomentar el debate y el intercambio de ideas sobre estos temas en nuestro hub. ¿Cómo ven la aplicación de estas tecnologías en sus propios entornos de trabajo? ¿Han tenido experiencias similares o proyectos en marcha en el ámbito de los museos?