Saltar al contenido

Un nuevo conjunto de datos para una mejor realidad aumentada y mixta

Un nuevo conjunto de datos para una mejor realidad aumentada y mixta

Un nuevo conjunto de datos para una mejor realidad aumentada y mixta

OpenRooms crea escenas sintéticas fotorrealistas a partir de imágenes de entrada o escaneos con un control incomparable sobre la forma, los materiales y la iluminación. Crédito: Universidad de California – San Diego

Los informáticos de la Universidad de California en San Diego han publicado OpenRooms, un nuevo conjunto de herramientas de código abierto que permite a los usuarios manipular objetos, materiales, iluminación y otras propiedades en escenas interiores en 3D para avanzar en la realidad aumentada y la robótica.

«Este fue un esfuerzo tremendo que involucró a 11 estudiantes de doctorado y posgrado de mi grupo y personal en UC San Diego y Adobe», dijo Manmohan Chandraker, profesor del Departamento de Ingeniería y Ciencias de la Computación en UC San Diego. «Es un desarrollo importante con gran potencial para afectar tanto a la academia como a la industria en visión por computadora, gráficos, robótica y aprendizaje automático».

El conjunto de datos de OpenRooms y las actualizaciones relacionadas están disponibles públicamente en Este sitio web, con detalles técnicos descritos en un documento asociado presentado en CVPR 2021 en mayo.

Aplicaciones

OpenRooms permite a los usuarios personalizar escenas de manera realista según sus necesidades. Cuando una familia quiere imaginar una remodelación de la cocina, pueden cambiar los materiales de la encimera, la iluminación o casi cualquier cosa en la habitación.

«Con OpenRooms podemos calcular todo el conocimiento sobre las formas 3D, el material y la iluminación en la escena píxel a píxel», dice Chandaker. «La gente puede fotografiar una habitación e insertar y manipular objetos virtuales. Podrían mirar un sillón de cuero, luego cambiar el material por un sillón de tela y ver cuál se ve mejor».

OpenRooms puede incluso mostrar cómo se vería esa silla bajo la luz natural de una ventana durante el día o debajo de una lámpara por la noche. También puede ayudar a resolver problemas robóticos, como la mejor ruta a seguir en suelos con diferentes perfiles de fricción. Estas capacidades son de gran interés para la comunidad de simulación, ya que los datos anteriormente eran de propiedad exclusiva o no estaban disponibles con un fotorrealismo comparable.

«Estas herramientas están ahora disponibles de una manera realmente democrática», dijo Chandraker, «y proporcionan recursos accesibles para aplicaciones de robótica y realidad aumentada fotorrealistas».

Haz que la realidad aumentada sea más real

El equipo de Chandraker utiliza métodos computacionales para darle sentido al mundo visual. En particular, se centran en cómo las formas, los materiales y la iluminación trabajan juntos para crear imágenes.

«Esencialmente, queremos entender cómo se crea el mundo y cómo podemos responder a él», dijo. «Podemos agregar objetos a escenas existentes o conducir sin conductor, pero para hacer esas cosas necesitamos comprender los diferentes aspectos de una escena y cómo interactúan entre sí».

Esta comprensión profunda es fundamental para lograr el fotorrealismo en la realidad mixta. Insertar un objeto en una escena requiere considerar el sombreado de varias fuentes de luz, sombras proyectadas por otros objetos o interreflexiones de la escena circundante. El marco también debe manejar interacciones similares de largo alcance entre partes distantes de la escena para cambiar los materiales o la iluminación en escenas interiores complejas.

Hollywood resuelve estos problemas con plataformas basadas en mediciones, por ejemplo, fotografiando al actor Andy Serkis en un pórtico y convirtiendo estas imágenes en Gollum en la trilogía de El señor de los anillos. El laboratorio quiere lograr efectos similares sin sistemas costosos.

Caja de herramientas de código abierto

Para llegar allí, el grupo tuvo que encontrar formas creativas de representar formas, materiales e iluminación. Sin embargo, obtener esta información puede llevar mucho tiempo, muchos datos y ser costoso, especialmente en escenas interiores complejas con muebles y paredes que tienen diferentes formas y materiales y están iluminados por múltiples fuentes de luz como ventanas, plafones o lámparas.

“Tendría que medir la luz y las propiedades del material en cada punto de la habitación”, dice Chandaker. «Es factible, pero simplemente no escala».

OpenRooms utiliza datos sintéticos para representar estas imágenes, que es una forma precisa y económica de proporcionar geometría, materiales e iluminación de verdad del terreno. Los datos se pueden usar para entrenar poderosas redes neuronales profundas que aprecian estas propiedades en imágenes reales y permiten la inserción de objetos fotorrealistas y la manipulación de materiales.

Estas oportunidades fueron destacadas en una presentación oral CVPR 2020 por Zhengqin Li, un Ph.D. en el quinto año, demostrado. Estudiante asesorado por Chandaker y primer autor del artículo de OpenRooms. El software proporciona herramientas automatizadas que permiten a los usuarios capturar imágenes reales y convertirlas en contrapartes sintéticas fotorrealistas.

«Estamos creando un marco en el que los usuarios pueden utilizar sus teléfonos móviles o escáneres 3D para desarrollar conjuntos de datos que permitan sus propias aplicaciones de realidad aumentada», dijo Chandaker. «Puede usar escaneos o conjuntos de fotos».

Chandraker y su equipo estaban motivados en parte por la necesidad de crear una plataforma de dominio público. Las grandes empresas de tecnología tienen enormes recursos para crear datos de capacitación y otra propiedad intelectual, lo que dificulta que los pequeños jugadores se establezcan.

Esto quedó claro recientemente cuando una empresa lituana llamada Planner 5D demandó a Facebook y Princeton, alegando que habían utilizado ilegalmente sus datos de propiedad.

«Como puede imaginar, estos datos son realmente útiles para muchas aplicaciones», dijo Chandaker. «Pero el progreso en esta área se ha limitado a unos pocos grandes actores que son capaces de realizar este tipo de mediciones complejas o trabajar con activos costosos creados por artistas».


El nuevo enfoque del aprendizaje automático devuelve la vida a las fotos digitales


Más información:
Zhengqin Li et al., OpenRooms: un marco abierto de extremo a extremo para conjuntos de datos de escenas interiores fotorrealistas, arXiv: 2007.12868v2 [cs.CV] arxiv.org/abs/2007.12868

Proporcionado por la Universidad de California – San Diego


Cita: Un nuevo conjunto de datos para una mejor realidad aumentada y mixta (2021, 10 de septiembre), consultado el 10 de septiembre de 2021 desde https://techxplore.com/news/2021-09-dataset-augmented-reality.html

Este documento está sujeto a derechos de autor. Excepto en el caso de comercio justo con fines de investigación o estudio privado, no se puede reproducir ninguna parte sin permiso por escrito. El contenido se proporciona únicamente con fines informativos.



Source link