Adding a teaching "assistant": improving the quality of pseudo-labels for semi-supervised object detection

Abstract

This paper focuses on semi-supervised object detection (SS-OD) for its tolerance to small amounts of training samples, which is common in real-world applications. Pseudo-label-based approaches have been the mainstream for SS-OD. In this paper, we first show the impact of accurate pseudo-labeling and the challenge of producing such labels. In contrast to prior research that predominantly focused on refining the main model to enhance localization, this paper introduces a novel strategy, where a standalone “Teaching Assistant” or simply “Assistant” is involved in the popular Teacher/Student paradigm to improve the quality of pseudo-labels. This “Assistant” can be plugged into any existing Teacher/Student-based framework without having to fine-tune the original Teacher/Student model. We exploit two “Assistant” models, both of which center around the non-maximum suppression (NMS) method -- a popular technique used to select only the promising bounding boxes. The first “Assistant” model is referred to as the “pre-NMS” assistant that refines the candidate bounding box scores for a better set of inputs to the NMS process. The second “Assistant” model is referred to as the “post-NMS” assistant which takes advantage of SOTA segmentation models to improve the output from the NMS process. We thoroughly evaluate the performance of pre-NMS vs. post-NMS and the impact of improved pseudo-labels on the OD performance. Experimental results on the COCO dataset demonstrate that post-NMS is better than SOTA methods.

Este artículo se centra en la detección de objetos semisupervisada (SS-OD) por su tolerancia a pequeñas cantidades de muestras de entrenamiento, lo cual es común en aplicaciones del mundo real. Los enfoques basados en pseudoetiquetas han sido la corriente principal para SS-OD. En este artículo, primero mostramos el impacto del pseudoetiquetado y el desafío de producir dichas etiquetas. En contraste con investigaciones anteriores que se centraron en perfeccionar el modelo principal para mejorar la localización, este artículo presenta una estrategia novedosa, en la que un “Asistente de Profesor” independiente o simplemente un “Asistente” participa en el popular paradigma Profesor/Estudiante para mejorar la calidad de la enseñanza. pseudoetiquetas. Este “Asistente” se puede conectar a cualquier marco existente basado en Profesor/Estudiante sin tener que ajustar el modelo original de Profesor/Estudiante. Explotamos dos modelos “Asistentes”, los cuales se centran en el método de supresión no máxima (NMS), una técnica popular utilizada para seleccionar solo los cuadros delimitadores prometedores. El primer modelo “Asistente” se denomina asistente “pre-NMS” y refina las puntuaciones del cuadro delimitador candidato para obtener un mejor conjunto de entradas al proceso NMS. El segundo modelo “Asistente” se conoce como asistente “post-NMS” y aprovecha los modelos de segmentación SOTA para mejorar el resultado del proceso NMS. Evaluamos minuciosamente el rendimiento de pre-NMS frente a post-NMS y el impacto de las pseudoetiquetas mejoradas en el rendimiento de detección de objetos. Los resultados experimentales en el conjunto de datos COCO demuestran que el asistente post-NMS es mejor en comparación con los métodos SOTA.