Tesis doctorales de la Escuela Internacional de Doctorado de la URJC desde el curso 2024/25
Modeling 3D Hand Interactions for Accurate Contact and Manipulation
Autor
SORLI , SUZANNE
Director
CASAS GUIX, DAN
Fecha de depósito
17-12-2024
Periodo de exposición pública
18 de diciembre a 16 de enero de 2025
Fecha de defensa
Sin especificar
Programa
Tecnologías de la información y las Comunicaciones (TICs)
Mención internacional
No
Resumen
En los últimos años, la Realidad Aumentada (RA) y la Realidad Virtual (RV) han ganado popularidad y siguen creciendo en términos de interés y uso, centrándose especialmente en la interacción con el usuario. Estas tecnologías transforman la forma en que las personas se relacionan con los contenidos digitales y los entornos inmersivos, generando una atención considerable en sectores como el entretenimiento, la educación, la formación y la sanidad. La necesidad de interacciones naturales en RV y RA ha surgido para mejorar la inmersión, la accesibilidad y el realismo. El objetivo es redefinir la interacción persona-ordenador combinando a la perfección los mundos virtual y físico, ofreciendo distintos niveles de interacción, desde una sutil manipulación virtual hasta interacciones corporales completas en entornos simulados.
La RA y la RV se basan en dos importantes componentes tecnológicos que suelen abordarse de forma independiente: el seguimiento de la mano y las interacciones que implican escenarios mano-objeto y mano-mano. Los métodos existentes a menudo simplifican estos retos, lo que limita su impacto en el mundo real. Para la interacción mano-objeto, el enfoque más general consiste en utilizar la simulación física para que las manos y los objetos interactúen de acuerdo con las leyes de la mecánica de contacto. Sin embargo, las
diferencias de tamaño y morfología esquelética entre las representaciones de las manos en los simuladores y los dispositivos de seguimiento complican este proceso. La primera aportación de esta tesis es un modelo personalizado de mano blanda combinado con una estrategia de retargeting de poses, formulada como un problema de optimización, para conectar las representaciones de manos simuladas y del seguimiento. Este método integra las soluciones de seguimiento de la mano disponibles en el mercado con la simulación de la mano basada en la física sin necesidad de una representación común de la mano, pero permite la parametrización del modelo de la mano.
La interacción mano-objeto requiere el seguimiento de la mano en el mundo real para trasladar nuestros gestos a un escenario virtual. Este problema de realizar seguimiento de mano es un campo de investigación en auge con el potencial de proporcionar una interfaz natural para interactuar con entornos virtuales. Las soluciones habituales utilizan métodos de visión por ordenador, a menudo combinados con algoritmos de seguimiento basados en el aprendizaje, que pueden basarse en la profundidad o en imagenes RGB. Estos métodos proporcionan la morfología esquelética y la configuración de una mano que mejor se ajusta a la pose de la mano real del usuario, y algunos también estiman su silueta. Dada la ubicuidad de las cámaras RGB, la investigación se ha orientado hacia los métodos basados en imagenes RGB. A pesar de los avances recientes, el seguimiento 3D de dos manos que interactúan a partir de imágenes RGB sigue siendo un reto debido a problemas como la oclusión entre manos, la ambigüedad de profundidad, la segmentación de la mano y las colisiones. Además, los métodos basados en el aprendizaje automático se enfrentan a dificultades de entrenamiento debido a la dificultad de obtener datos de entrenamien to suficientes y de alta calidad, lo que complica aún más el desarrollo de sistemas de seguimiento de manos robustos.
Para hacer frente a estos desafíos, proponemos el primer sistema que simula interacciones entre dos manos físicamente correctas con siluetas de manos personalizadas y apariencias diversas que genera datos sintéticos precisos. Este sistema es un componente principal de un algoritmo de última generación para el seguimiento de dos manos interactuando a partir de imágenes RGB. Además, abordamos los errores de profundidad que impiden la detección precisa del contacto mano a mano durante el seguimiento de dos manos interactuando mediante el desarrollo de un método basado en datos de imagen, formulado como un problema de traslación de imagen a imagen. Para entrenar nuestro método, introducimos un nuevo procedimiento para anotar automáticamente los contactos densos de superficie en secuencias de interacción entre dos manos. En consecuencia, nuestro método estima los contactos en el espacio de la cámara durante las interacciones, lo que puede integrarse en cualquier dispositivo de seguimiento de dos manos.
