El objetivo de mis prácticas era desarrollar una aplicación que permitiera la predicción de emociones a través de expresiones faciales. Esta aplicación estaba destinada a formar parte de un proyecto más amplio llamado Blexer (Blender Exergames), que consiste en un sistema que comprende varios juegos diseñados para ayudar a las personas en rehabilitación y fomentar una actividad física agradable. Los parámetros del juego pueden ser ajustados por el fisioterapeuta a distancia a través de una plataforma web, para lograr experiencias de juego personalizadas y mejorar la eficiencia de los ejercicios de rehabilitación. Ahora, el sistema se mejorará con algoritmos de inteligencia artificial, de modo que los ajustes se puedan realizar automáticamente. Por tanto, se necesitan diferentes datos de entrada, uno de los cuales es la información emocional.
El objetivo principal de la aplicación era evaluar si los individuos se sentirían alegres o frustrados mientras realizaban los ejercicios integrados en el juego. Para lograr esto, fue fundamental conectar la aplicación con el trabajo previo realizado por otros estudiantes, lo cual se logró mediante el uso del middleware K2UM. Este middleware facilitó la conexión entre los movimientos humanos capturados por una cámara de imagen de profundidad (Kinect) y las acciones dentro del juego necesarias para controlar el avatar en el juego.
Para llevar a cabo esta tarea, aproveché mis conocimientos previos de aprendizaje automático, que había adquirido durante los últimos dos años, ya no fue posible utilizar la API de la Kinect como previsto, debido a un cambio legislativo. Finalmente entrené un modelo convulocional sobre una base de datos grande de caras y lo integré en el middleware para aplicarlo a las caras que captura la Kinect de los jugadores durante el juego. Los detalles sobre esta implementación están descritas en mi informe.
LinkedIn
