Para el Laboratorio de Sistemas Electrónicos Digitales nos proponemos realizar un sistema de reconocimiento de imágenes estáticas mediante un microcontrolador de bajo coste: un PIC32MX320F128H a 80MHz con arquitectura MIPS M4K, que dispone de 128 kB de flash y 16 kB de RAM. Nuestra práctica se basará en realizar un sistema que procese unas imágenes de entrada, reconozca en ellos una mano realizando un gesto de un determinado set de gestos posibles, y lo traduzca como una letra, fonema o comando.
Las imágenes, capturadas con una cámara analógica, se trataran usando sólo dos niveles de color: o blanco o negro. Después de una serie de procesos de tratamiento de señal (filtrado, reescalado...) servirán de entrada a una red neuronal, cuya salida determinará el gesto representado en la imagen.
Imponemos una serie de limitaciones a nuestro sistema inicial; superarlas será parte de las posibles mejoras. Estas limitaciones son:
- fondo monocromático.
- iluminación adecuada (sin sombras).
- la mano estará en una posición prefijada relativa a la cámara.
Como objetivo alternativo el sistema podría detectar el movimiento de la mano en tiempo real para, por ejemplo, implementar un juego que permita dibujar con el dedo. Añadir esta funcionalidad o minijuego sería otra posible mejora.
El desarrollo de la práctica está subdividido en los siguientes hitos:
Hito 1:
Hito 1:
Objetivo 1-1:
-Configuración básica del microcontrolador PIC32
-Realización del hardware necesario
-Captura de fotogramas de vídeo y volcado a través de la UART
Tiempo estimado: 2 semanas
Objetivo 1-2:
-Implementación del procesamiento inicial de las imágenes (escalado, filtro de mediana...)
Tiempo estimado: 1 semana
Hito 2:
Hito 2:
Objetivo 2-1:
-Obtención de la base de datos necesaria para el entrenamiento de la red neuronal
-Entrenamiento de la red y evaluación del comportamiento en MATLAB bajo restricciones a aplicar en el microcontrolador
Tiempo estimado: 2 semanas
Objetivo 2-2/3-1 :
-Implementación de la red neuronal en el microcontrolador y evaluación de su comportamiento
Tiempo estimado: 2 semanas (en total entre el punto 2-2 y el 3-1)
Hito 3:
Objetivo 2-2/3-1:
-Implementación de la red neuronal en el microcontrolador y evaluación de su comportamiento
Tiempo estimado: 2 semanas
Objetivo 3-2:
Objetivo 3-2:
-Implementación de posibles mejoras u objetivo alternativo
