La nueva magia de IA de Nvidia convierte fotos 2D en gráficos 3D

nvidia ha hecho otro intento de agregar profundidad a los gráficos poco profundos.

Después de convertir imágenes 2D en 3D escenas, modelosy vídeosla empresa ha centrado su atención en la edición.

El gigante de la GPU presentó hoy una nueva AI método que transforma fotos fijas en objetos 3D que los creadores pueden modificar con facilidad.

Saludos humanoides

Suscríbase a nuestro boletín ahora para recibir un resumen semanal de nuestras historias favoritas de IA en su bandeja de entrada.

Apodado 3D MoMa, la técnica podría dar estudios de juegos una forma sencilla de alterar imágenes y escenas. Esto generalmente se basa en la fotogrametría que consume mucho tiempo, que toma medidas de las fotos.

3D MoMa acelera la tarea a través de la representación inversa. Este proceso utiliza IA para estimar los atributos físicos de una escena, desde la geometría hasta la iluminación, mediante el análisis de imágenes fijas. Luego, las imágenes se reconstruyen en una forma 3D realista.

David Luebke, vicepresidente de investigación de gráficos de Nvidia, describe la técnica como «un santo grial que unifica la visión por computadora y los gráficos por computadora».

“Al formular cada pieza del problema de renderizado inverso como un componente diferenciable acelerado por GPU, la canalización de renderizado MoMa 3D de NVIDIA utiliza la maquinaria de la IA moderna y la potencia computacional bruta de las GPU de NVIDIA para producir rápidamente objetos 3D que los creadores pueden importar, editar, y extenderse sin limitación en las herramientas existentes”, dijo Lubeke.

3D MoMa genera objetos como mallas triangulares, un formato que es fácil de editar con herramientas ampliamente utilizadas. Los modelos se crean en una hora en una sola GPU NVIDIA Tensor Core.

Luego, los materiales se pueden superponer sobre las mallas como si fueran pieles. También se prevé la iluminación de la escena, lo que permite a los creadores modificar sus efectos sobre los objetos.

3D MoMa se presentó en la feria de esta semana Congreso de Visión por Computador y Reconocimiento de Patrones (CVPR) en Nueva Orleans. En homenaje al lugar de nacimiento del jazz, los investigadores de Nvidia utilizaron la técnica para representar visualmente el género musical.

El equipo recopiló primero cientos de imágenes de trompetas, trombones, saxofones, tambores y clarinetes. A continuación, 3D MoMa reconstruyó las imágenes en representaciones 3D.

Los instrumentos fueron entonces editados y dotados de nuevos materiales. La trompeta, por ejemplo, se transformó de plástico barato a oro lujoso.

Los instrumentos recién editados estaban listos para ser colocados en cualquier escena virtual. Nvidia los colocó en una caja de Cornell, que se usa para probar la calidad del renderizado.

La compañía dice que todos los instrumentos reaccionaron a la luz como lo harían en el mundo real, desde los instrumentos de metal que reflejaban brillantemente hasta las pieles de los tambores que absorbían la luz.

Finalmente, los objetos 3D se renderizaron en una escena animada.

3D MoMa sigue en desarrollo, pero Nvidia cree que podría permitir a los desarrolladores de juegos y otros diseñadores modificar rápidamente objetos 3D y luego agregarlos a cualquier escena virtual.

Eso también podría facilitar nuestra metamorfosis en formas de metaverso.

Puede leer el documento de estudio detrás de 3D MoMa aquí.