Understanding and Coding DETR (DEtection TRansfomer)

By
Prof. Dr. rer.nat. Aldo von Wangenheim
Posted in: Featured, medium, Image Processing, Tutorial, tutorial-no-medium

The DEtection TRansformer (DETR) from Carion et al. (2020) was one of the first works to demonstrate that Transformers could also be used for vision tasks, reaching competitive results. DETR introduced a new paradigm for  object detection that handles it as a set prediction problem. DETR introduced object queries and freed OD of hand-designed mechanisms like anchors or non-maximum suppression (NMS). Object queries  were later applied to segmentation tasks and state-of-the-art models like Mask2Former (Cheng et al., 2022) and OneFormer (Jain et al., 2023). This article will expose the main mechanisms of the DETR implementation, and, in the end, you’ll be able to train the network on the COCO dataset without any external scripts but PyTorch methods (click on the text to go to the posting).

Medium posting by

Rafael Toledo
Tags:

About Prof. Dr. rer.nat. Aldo von Wangenheim

possui graduação em Ciências da Computação pela Universidade Federal de Santa Catarina (1989) e Doutorado Acadêmico (Dr. rer.nat.) em Ciências da Computação pela Universidade de Kaiserslautern (1996). Atualmente é professor Titular da Universidade Federal de Santa Catarina, onde é professor do Programa de Pós-graduação em Ciência da Computação e dos cursos de graduação em Ciências da Computação e Sistemas de Informação. Tem experiência nas áreas de Informática em Saúde, Processamento e Análise de Imagens e Engenharia Biomédica, com ênfase em Telemedicina, Telerradiologia, Sistemas de Auxílio ao Diagnóstico por Imagem e Processamento de Imagens Médicas, com foco nos seguintes temas: analise inteligente de imagens, DICOM, CBIR, informática médica, visão computacional e PACS. Coordena o Instituto Nacional de Ciência e Tecnologia para Convergência Digital - INCoD. Foi o criador e primeiro Coordenador do Núcleo de Telessaúde de Santa Catarina no âmbito do Programa Telessaúde Brasil do Ministério da Saúde e da OPAS - Organização Pan-Americana de Saúde e criador do Núcleo Santa Catarina da RUTE - Rede Universitária de Telemedicina.