Detecção de Obstáculos

Identificar um obstáculo é uma das tarefas mais importantes para um sistema de navegação visual. Para identificar a profundidade de objetos na cena são utilizadas técnicas de Visão Estéreo (com base nas informações do Mapa de Disparidade) e Fluxo Óptico para identificar movimento de objetos em quadros consecutivos.

CNN + Mapa de Disparidade + Fluxo Ótico

Estamos trabalhando em um novo método combinando Visão Estéreo e Reconhecimento de Objetos com Redes Neurais Convolucionais para Identificação de Ameaças/Pontos de Interesse na navegação veicular autônoma.

Identificação&Segmentação de Objetos com Rede Neural + Mapas de Disparidade Estéreo + Fluxo Ótico mostrando o conjunto de vetores de deslocamento nos objetos:

Mais detalhes

Mais detalhes e informações em: Página do Artigo

Código Fonte

Código fonte utilizado: GitHub

Exemplo de resultado

Identificação&Segmentação de Objetos com Rede Neural + Mapas de Disparidade Estéreo + Fluxo Ótico mostrando os vetores de deslocamento resultantes nos objetos:

Identificação&Segmentação de Objetos com Rede Neural + Mapas de Disparidade Estéreo + Fluxo Ótico mostrando resultados de análise dos valores e informações textuais nos objetos:

Nosso Processo

A figura abaixo mostra os resultados sucessivos na geração dos conteúdos dos videos acima: do video estereoscópico são geradas tanto a identificação e segmentação dos objetos de interesse quanto o mapa de disparidade/profundidade da cena. A partir daí são calculados tanto o fluxo ótico quanto as combinações de dados que aparecem no video.

CnnVEofG02a

Citação

@misc{rateke:2020.2,
  author = {Rateke, Thiago and Wangenheim, Aldo von},
  title = {Road obstacles positional and dynamic features extraction combining object detection, stereo disparity maps and optical flow data},
  journal={Machine Vision and Applications},
  year = {2020},
  month={Sep},
  day={25},
  volume={31},
  number={7},
  pages={73},
  issn={1432-1769},
  doi={10.1007/s00138-020-01126-w},
  url={https://doi.org/10.1007/s00138-020-01126-w}
}

Distância dos Obstáculos

Para a detecção de obstáculos é importante saber a distância do obstáculo em relação à fonte de captura. Deste modo, é utilizado o cálculo do Mapa de Disparidade (MD), que é a representação de profundidade da cena em tons de intensidade, onde quanto mais claro significa que está mais próximo das câmeras e quanto mais escuro significa que está mais distante. O cálculo do MD é permitido graças à visão estéreo.

Videos Visão Estéreo

Movimentação dos Obstáculos

Além da distância, outra característica importante a ser analisada em obstáculos é a sua movimentação. Para se obter essa informação de movimentação é utilizado o cálculo de Fluxo Ótico.

Videos Optical Flow

* Utilizamos, nos experimentos, imagens da base de casos fornecida pela KITTI.

Sobre o Autor

Thiago Rateke is a Computer Vision Researcher with experience mainly focusing on visual perception for autonomous navigation. Finished his PhD degree at Federal University of Santa Catarina (UFSC) in 2020 with focuses on visual perception for Autonomous Navigation. Using approaches like: Stereo Vision, Optical Flow and Convolutional Neural Networks.