Estimar el movimiento de la mano usando también las fuerzas de contacto
Casi todos los métodos para estimar el movimiento de la mano usan solo cinemática: dónde están los dedos. Cuando la mano toca algo, esa información es incompleta, porque el objeto empuja sobre los dedos y cambia el movimiento. Este trabajo añade las fuerzas de contacto al estado que se estima. Sobre un modelo musculoesquelético de la mano, un filtro de Kalman fusiona ángulos articulares y fuerzas en las yemas, y la estimación de la trayectoria mejora de forma clara cuando hay contacto.
Contexto
La tesis se desarrolló en el Politecnico di Milano en codirección con Robiolab, sobre el modelo MyoHand de MyoSuite, que simula la mano con sus huesos, articulaciones, músculos y tendones en el motor MuJoCo.
Reconstruir el movimiento de una mano real con un modelo de este tipo permite obtener cantidades que no se miden directamente, como los torques articulares y las activaciones musculares. Esa información es útil para rehabilitación, para el control de prótesis y para la teleoperación.
Método
Puntos de contacto. El modelo se modificó para incluir sitios de contacto en las falanges distales, en los que se pueden aplicar y medir fuerzas.
Sitio de contacto definido en la yema del pulgar del modelo
Estimador. Se compararon dos observadores basados en el filtro de Kalman unscented (UKF). El primero estima posiciones y velocidades articulares. El segundo amplía el estado con las fuerzas de contacto. Una extensión con restricciones mantiene las fuerzas estimadas dentro de límites físicos, es decir, no negativas y por debajo del máximo del sensor.
En cada paso, el estado estimado alimenta un cálculo de dinámica inversa que entrega los torques articulares, y una optimización cuadrática que encuentra las activaciones musculares que los producen.
Línea base. El filtro se comparó con el procedimiento de dinámica inversa aplicado directamente a los datos, sin estimación de estado.
Cuadros de la trayectoria de referencia usada en la validación
Validación con datos sintéticos
El error se midió como el máximo error por punto. Las gráficas muestran la fracción de cuadros que queda por debajo de cada umbral de error, de modo que una curva que sube antes es mejor.
Sin fuerzas externas, los dos observadores se comportan igual. Con fuerzas que crecen linealmente en las yemas, el observador con fuerzas en el estado mantiene todos los cuadros por debajo de unos 20° de error máximo, mientras que el observador puramente cinemático solo logra tener cerca del 20 % de los cuadros por debajo de 40°.
Observador cinemático (Obs1) y observador con fuerzas (Obs2), con fuerzas externas
La comparación con la dinámica inversa directa da un resultado similar.
Observador con fuerzas (Obs2) y dinámica inversa directa (IDP), con fuerzas externas
Validación con datos reales
La cinemática se capturó con cámaras estéreo de profundidad y el modelo de puntos de la mano de MediaPipe. Las fuerzas se midieron con sensores resistivos en las yemas, siguiendo un protocolo desarrollado en el laboratorio. Una etapa de cinemática inversa ajusta el modelo a los puntos medidos.
Puntos de la mano detectados durante una trayectoria real
Fuerza externa aplicada durante la validación
Error con datos reales y fuerza externa: filtro (UKF) y dinámica inversa directa (IDP)
Con datos reales y fuerza externa, el filtro también supera a la dinámica inversa directa, aunque la diferencia es menor que con datos sintéticos. Los errores, medidos en la posición de los puntos clave, están entre 15 y 35 mm.
Lo que falta
El sistema opera en tiempo real «blando»: procesa los datos a un ritmo útil, sin garantías de plazo. Un error de 15 a 35 mm en los puntos clave es considerable a la escala de una mano, y parte de él proviene de la estimación de profundidad de la cámara, que obliga a mover la mano despacio y a mantenerla de frente. Las fuerzas se miden solo en las yemas y en una dirección. La validación experimental se hizo con pocas trayectorias.
Relación con Robiolab
Este trabajo hace parte de una colaboración sobre biomecánica computacional de la mano, junto con el proyecto del laboratorio sobre medición de cinemática y fuerzas de la mano, del que toma el protocolo experimental. Extiende a la mano y al contacto la línea de fusión de sensores que el grupo inició con la estimación de la locomoción. La estimación de fuerzas de interacción es además una necesidad común a los dispositivos vestibles del laboratorio, en los que saber cuánta fuerza se ejerce sobre el cuerpo es tan importante como saber dónde está.