Captura sincronizada de la cinemática y las fuerzas de la mano
Para reconstruir lo que hace una mano con un modelo biomecánico se necesitan dos tipos de dato que rara vez se miden juntos: dónde están los dedos y cuánta fuerza hacen. Este proyecto construyó el sistema que los adquiere al mismo tiempo, con una cámara de profundidad y sensores de fuerza en las yemas, y los lleva a un modelo musculoesquelético de la mano. Con dos trayectorias de prueba se mostró que incluir las fuerzas mejora la reconstrucción cuando hay contacto.
Contexto
Los métodos de estimación de la pose de la mano basados en visión entregan posiciones. Los guantes instrumentados entregan ángulos, con problemas de calibración y deriva. Ninguno informa sobre las fuerzas de contacto ni sobre el estado interno de la mano, es decir, torques articulares y activaciones musculares. Un modelo biomecánico puede estimar ese estado si se le suministran ambas mediciones.
Sistema de adquisición
Cinemática. Una cámara estéreo OAK-D entrega color y profundidad. Sobre ella corre un modelo de detección basado en MediaPipe Hands que identifica 21 puntos de la mano y los ubica en tres dimensiones.
Puntos detectados sobre la imagen y su reconstrucción en tres dimensiones
Fuerzas. Sensores resistivos de fuerza en las yemas, leídos con un Arduino. Cada sensor se calibró con varios valores de la resistencia de referencia del divisor de voltaje para elegir el rango de trabajo.
Curvas de calibración de los sensores para cuatro resistencias de referencia
Sincronización. Las dos fuentes tienen frecuencias y latencias distintas. Un sistema de mensajería basado en ZeroMQ publica cada flujo con su marca de tiempo, y un servidor los almacena y los entrega alineados al modelo.
Arquitectura de publicadores y suscriptores para coordenadas y fuerzas
Reconstrucción
Los puntos medidos pasan por cinemática inversa para obtener ángulos articulares del modelo MyoHand de MyoSuite. Un filtro de Kalman unscented combina ángulos y fuerzas, y a partir del estado estimado se calculan los torques por dinámica inversa y las activaciones musculares por programación cuadrática.
Flujo de procesamiento, de los puntos y las fuerzas a posiciones, fuerzas y actuadores del modelo
Resultados
Con una trayectoria de referencia sintética se compararon cuatro condiciones, según si hay fuerzas externas y si estas se incluyen en el estado del filtro.
Fracción de cuadros por debajo de cada umbral de error en las cuatro condiciones
Sin fuerzas externas, incluirlas o no en el estado da el mismo resultado. Con fuerzas externas que no se incluyen en el estado, el filtro no corrige el error. Cuando se incluyen, la reconstrucción mejora de forma sustancial.
Con una trayectoria real, en la que la mano parte extendida y los dedos se abren lateralmente, y con una fuerza cercana a 5 N aplicada en las yemas, el resultado es consistente con el anterior.
Error con datos experimentales, sin y con fuerzas externas
Lo que falta
La evaluación se limita a dos trayectorias, por lo que no es comparable de forma cuantitativa con los trabajos que validan sobre grandes conjuntos de datos. En el ensayo experimental la fuerza externa es sintética, es decir, se aplica en la simulación y no proviene de un contacto medido. La cámara exige que la mano esté de frente y se mueva despacio.
Relación con Robiolab
Este proyecto extiende a la mano la línea de fusión de sensores vestibles del laboratorio y es la base experimental de la estimación con filtro de Kalman desarrollada en colaboración con el Politecnico di Milano. Su utilidad para el grupo es directa: una forma de medir qué hace una mano, y con qué fuerza, es el insumo que necesitan el control de prótesis, los guantes de rehabilitación y la teleoperación de manos robóticas.