En este proyecto, desarrollé un Middleware que se utiliza para reconocer el esqueleto de una persona usando diferentes cámaras de captura de movimiento 3D (ya sea Kinect para Xbox One o Kinect Azure, ambas creadas por Microsoft) y puede enviar esta información a un juego de ejercicios de Unity en tiempo real. -tiempo.
Durante el semestre de otoño, mi objetivo era crear un middleware que pudiera comunicarse con Azure Kinect usando su SDK (kit de desarrollo de software) y enviar datos a un juego de Unity usando la vergüenza de comunicación UDP existente. Además, también pude agregar compatibilidad con versiones anteriores con Kinect One. Por razones técnicas, también me vi obligado a escribir toda la interfaz de usuario desde cero.
Durante el semestre de primavera, cambié el formato de transferencia de datos, de un sistema personalizado que era muy eficiente en datos a JSON, que nos permite decodificar y codificar datos fácilmente, lo que facilita agregar información adicional que se puede enviar en el futuro. Este cambio se realizó porque queríamos agregar la capacidad de enviar información sobre la frecuencia cardíaca que se iba a obtener de un reloj inteligente programable. Se pensó que este trabajo lo haría otro estudiante en prácticas, pero no se pudo haber terminado durante este semestre debido a problemas técnicos.
Además, agregué una función para el inicio de sesión del usuario, que permite la conexión a la base de datos, para obtener los parámetros de configuración del usuario y cargar los resultados de los ejercicios de juego. El middleware guarda estos resultados en la memoria del dispositivo y cuando el usuario finaliza el juego y cierra el software, todos los datos del usuario se envían al servidor donde se almacenan.
Además, agregué una función de superposición de esqueleto dentro de la pestaña de la cámara, esto permite a los usuarios visualizar los esqueletos detectados actualmente. Esto proporciona a los usuarios información en tiempo real sobre lo que detecta exactamente el dispositivo. Esta función es compatible tanto con Kinect One como con Azure.
También dediqué mucha atención a la arquitectura de software de toda la aplicación, mejorando la estructura y la eficiencia de codificación. El programa se ha dividido en muchas clases más pequeñas que tienen tareas muy precisas. Esto es muy importante porque mejora la legibilidad del código y permite un desarrollo y mantenimiento más sencillos.
La aplicación también ha sido localizada, lo que significa que está disponible tanto en inglés como en español. El sistema es bastante flexible, por lo que si fuera necesario agregar más idiomas en el futuro, será muy fácil.
LinkedIn
