Tesis doctorales de la Escuela Internacional de Doctorado de la URJC desde el curso 2024/25
Machine Learning Methods for 3D Digitization of Garments and Avatar Interactions
Autor
CASADO ELVIRA, ANDRÉS
Director
CASAS GUIX, DAN
Codirector
COMINO TRINIDAD, MARC
Fecha de depósito
25-03-2025
Periodo de exposición pública
26 de marzo a 8 de abril de 2025
Fecha de defensa
Sin especificar
Modalidad
Presencial
Programa
Tecnologías de la información y las Comunicaciones (TICs)
Mención internacional
No
Resumen
Desde el momento en el que nacemos, la interacción con el entorno es esencial para nuestra supervivencia e integración en la sociedad. Percibimos y navegamos por nuestro mundo, cogemos objetos como juguetes o comida, nos vestimos, aprendemos a utilizar herramientas y nos comunicamos con nuestros semejantes. Como seres sociales, es una parte esencial de nuestra existencia, por lo que cualquier mundo virtual que pretenda ser realista e inmersivo debe modelar y reproducir correctamente la interacción humana natural.
Sin embargo, se trata de una tarea difícil, ya que la interacción humana es compleja y llena de matices. Los animadores pueden virtualizarla, pero los avatares animados se limitan a lo que se ha hecho manualmente, y las animaciones suelen estar llenas de decisiones artísticas. Otra forma de representar interacciones es capturarlas del mundo real, pero este proceso suele ser caro y, aunque puede producir muchos más resultados que la animación, sigue estando limitado a lo que existe en los datos. Las simulaciones físicas están menos restringidas a los datos, ya que se basan en formulaciones matemáticas, pero estas formulaciones son difíciles de implementar y suelen ser muy lentas de ejecutar, lo que las hace inadecuadas para aplicaciones en tiempo real.
Los recientes avances en el aprendizaje automático ofrecen un enfoque innovador para abordar problemas de gran complejidad, como la virtualización de los seres humanos y la interacción humana. En lugar de modelar e implementar el problema explícitamente, se introducen cantidades masivas de datos en un modelo que puede descubrir y reproducir automáticamente la complejidad y los matices del problema. Mediante el análisis de vastos conjuntos de datos, los modelos de aprendizaje automático pueden captar y reproducir automáticamente las sutilezas de estas interacciones, evitando las limitaciones de los métodos tradicionales. Esta tesis aprovecha esta perspectiva innovadora para explorar dos aspectos fundamentales de la interacción humana: la interacción entre los seres humanos y sus prendas de vestir, y la dinámica de las interacciones entre humanos.
En esta tesis tiene como objetivo mejorar la representación de humanos digitales, democratizar la digitalización de prendas, reducir la dependencia en simulaciones físicas complejas y, por último, reducir el tamaño de los conjuntos de datos requeridos. Para ello, se realizan dos propuestas.
En primer lugar, esta tesis presenta Pergamo, un método de aprendizaje automático para obtener un modelo de prendas 3D a partir de un vídeo monocular. La principal contribución de Pergamo es un innovador uso del rendering diferenciable para mejorar la reconstrucción de prendas y, así, crear un conjunto de datos más realista, que es utilizado para crear un modelo de predicción de físicas de una prenda.
En segundo lugar, se propone una estrategia de aumento de datos (data augmentation) para humanos digitales en contacto cercano, con el fin de explotar más las costosas capturas ya realizadas. Estos datos se utilizan posteriormente para crear un modelo generativo que, dado un avatar, es capaz de generar otros avatares interactuando con él.
A lo largo del desarrollo de esta tesis se realizó la siguiente publicación: Casado-Elvira, A., Trinidad, M.C. and Casas, D. (2022), PERGAMO: Personalized 3D Garments from Monocular Video on Computer Graphics Forum, 41: 293-304. (JCR Q2)
