Automatic Ear Detection and Segmentation over Partially Occluded Profile Face Images

Abstract

Automated, non invasive ear detection in images and video is becoming increasingly required in several contexts, including nonivasive biometric identification, biomedical analysis, forensics, and many others. In biometric recognition systems, fast and robust ear detection is a crucial step within the recognition pipeline. Existing approaches to ear detection are susceptible to fail in the presence of typical everyday situations that prevent a crisp imaging of the ears, like partial occlusions, ear accessories, or uncontrolled camera and illumination conditions. Even more, most of the proposed solutions work efficiently only within a previously detected rectangular region of interest, which limits their applicability and lowers the accuracy of the overall detection. In this paper we evaluate the use of Convolutional Neural Networks (CNNs) together with Geometric Morphometrics (GM) for automatic ear detection in the presence of partial occlusions, and a Convex Hull algorithm for the ear area segmentation. A CNN was trained with a set of ear images landmarked by experts using GM to achieve high consistency. After training, the CNN is able to detect ears over profile faces, even in the presence of partial occlusions. We analyze the performance of the proposed ear detection and segmentation method over partially occluded ear images using the CVL Dataset.

La detección automática del pabellón auditivo en imágenes y video, es una funcionalidad crecientemente requerida en varios contextos. Entre ellos podemos citar: identificación biométrica no invasiva, análisis biomédicos, estudios forenses, entre otros. En los sistemas de reconocimiento biométrico, la detección rápida y confiable del pabellón auditivo es un paso fundamental dentro del procesamiento. Las aproximaciones existentes con respecto a esta detección no son robustas, siendo susceptibles a fallas en la presencia de oclusiones parciales, accesorios como aros o piercings, o condiciones desfavorables en la cámara o la iluminación. Además, gran parte de los sistemas biométricos de la actualidad asumen que el dato de entrada será la región de interés que contiene el pabellón auditivo, lo cual limita su uso y reduce la exactitud global de reconocimiento. En este trabajo se evalúa el uso de redes convolucionales (Convolutional Neural Networks o CNNs) junto con Morfometría Geométrica para la detección automática del pabellón auditivo y la segmentación de los píxeles correspondientes al mismo mediante el uso de un algoritmo de Convex Hull. Luego del entrenamiento, la red CNN puede detectar el pabellón auditivo sobre imágenes de rostro en vista lateral, inclusive en la presencia de oclusiones parciales. Se analiza la performance del método de detección y segmentación de orejas sobre imágenes con oclusiones parciales correspondientes al conjunto de datos CVL.