Identificar um obstáculo é uma das tarefas mais importantes para um sistema de navegação visual. Para identificar a profundidade de objetos na cena são utilizadas técnicas de Visão Estéreo (com base nas informações do Mapa de Disparidade) e Fluxo Óptico para identificar movimento de objetos em quadros consecutivos.
Estamos trabalhando em um novo método combinando Visão Estéreo e Reconhecimento de Objetos com Redes Neurais Convolucionais para Identificação de Ameaças/Pontos de Interesse na navegação veicular autônoma.
Identificação&Segmentação de Objetos com Rede Neural + Mapas de Disparidade Estéreo + Fluxo Ótico mostrando o conjunto de vetores de deslocamento nos objetos:
Mais detalhes e informações em: Página do Artigo
Código fonte utilizado: GitHub
Identificação&Segmentação de Objetos com Rede Neural + Mapas de Disparidade Estéreo + Fluxo Ótico mostrando os vetores de deslocamento resultantes nos objetos:
Identificação&Segmentação de Objetos com Rede Neural + Mapas de Disparidade Estéreo + Fluxo Ótico mostrando resultados de análise dos valores e informações textuais nos objetos:
Nosso Processo
A figura abaixo mostra os resultados sucessivos na geração dos conteúdos dos videos acima: do video estereoscópico são geradas tanto a identificação e segmentação dos objetos de interesse quanto o mapa de disparidade/profundidade da cena. A partir daí são calculados tanto o fluxo ótico quanto as combinações de dados que aparecem no video.
@misc{rateke:2020.2,
author = {Rateke, Thiago and Wangenheim, Aldo von},
title = {Road obstacles positional and dynamic features extraction combining object detection, stereo disparity maps and optical flow data},
journal={Machine Vision and Applications},
year = {2020},
month={Sep},
day={25},
volume={31},
number={7},
pages={73},
issn={1432-1769},
doi={10.1007/s00138-020-01126-w},
url={https://doi.org/10.1007/s00138-020-01126-w}
}
Para a detecção de obstáculos é importante saber a distância do obstáculo em relação à fonte de captura. Deste modo, é utilizado o cálculo do Mapa de Disparidade (MD), que é a representação de profundidade da cena em tons de intensidade, onde quanto mais claro significa que está mais próximo das câmeras e quanto mais escuro significa que está mais distante. O cálculo do MD é permitido graças à visão estéreo.
Além da distância, outra característica importante a ser analisada em obstáculos é a sua movimentação. Para se obter essa informação de movimentação é utilizado o cálculo de Fluxo Ótico.
* Utilizamos, nos experimentos, imagens da base de casos fornecida pela KITTI.
Thiago Rateke is a Computer Vision Researcher with experience mainly focusing on visual perception for autonomous navigation. Finished his PhD degree at Federal University of Santa Catarina (UFSC) in 2020 with focuses on visual perception for Autonomous Navigation. Using approaches like: Stereo Vision, Optical Flow and Convolutional Neural Networks.