Deep Learning::Reconhecimento de Poses Humanas

O que é Estimativa de Poses Humanas?

Estimativa de Pose Humana (EPH), ou Human Pose Estimation, é definida como o problema da localização de juntas humanas, também conhecidas como pontos-chave ou keypoints, como por exemplo cotovelos, joelhos e outras articulações, em imagens ou vídeos. A estimativa de pose humana pode também ser definida como a busca por ou identificação de uma pose específica no âmbito do espaço de todas as poses articuladas possíveis a um esqueleto humano. Por isso essa técnica e muitas vezes também chamada pelo nome mais curto de Identificação de Pose.

 

EPH pode ser bi ou tridimensional:

  • 2D: Na estimativa ou reconhecimento de pose bidimensional o problema consiste em estimar as coordenadas XY de cada junta do esqueleto humano em uma imagem ou vídeo,
  • 3D: Na estimativa ou reconhecimento de pose tridimensional o objetivo é identificar as coordenadas x y e z de um espaço virtual inferido a partir de uma imagem, que pode ser uma imagem bidimensional ou, por exemplo, uma imagem estéreo.

A EPH possui muitas aplicações diferentes, como por exemplo:

  • Reconhecimento de ações para identificar o que uma pessoa está fazendo ou vai fazer, seja para geração automática de legendas em vídeos, seja, por exemplo para carros autônomos para a identificação da intenção de pedestres, prevenindo que um pedestre que está se dirigindo para Rua seja atropelado,
  • Animação, substituindo as caríssimas técnicas de captura de movimento ou MoCap, que exigem hardware muito caro e instalações especiais, para a geração de sequências de movimentos que podem ser depois associadas a personagens de computação gráfica para geração de filmes de animação,
  • Produção de Games, também são usadas na captura de movimentos para o registro de ações de personagens ou modelos de ações que mais tarde tem que ser repetidos pelos jogadores,
  • Jogo de Games, na captura de movimentos dos jogadores em frente a uma console de games, por exemplo em jogos de competição de dança ou de imitação de gestos ou ações de artes marciais,
  • Em medicina do esporte, analisando postura e movimentação de pessoas ao praticar determinados esportes,
  • Na narração automatizada de atividades esportivas, escrevendo automaticamente o que os jogadores, por exemplo de um time de futebol, estão fazendo,
  • Acompanhamento doméstico de atividades esportivas, através de uma console de games, provendo feedback e corrigindo sequências de Tai-Chi, Yoga e outras atividades de ginástica.

Material Compreensível sobre Estimativa de Poses Humanas

No Browser com TensorFlow.js

Usando PyTorch

TensorFlow

Torch

Usando OpenCV DNN diretamente

  1. Satya Mallick: Detecção de Poses usando VGG + novas camadas. Deep Learning based Human Pose Estimation using OpenCV
  2. Medium::New Datasets for 3D Human Pose Estimation

poses

Datasets de Poses

2D

3D

Artigos Científicos

  Baseado em parte em Awesome Human Pose Estimation

2D Pose estimation

 3D Pose estimation

 Geração de Pessoas

Observe que aqui há técnicas bastante diferentes como GANs que são usadas;;;

 Estimativa de Poses em Tempo Real

Sobre o Autor

possui graduação em Ciências da Computação pela Universidade Federal de Santa Catarina (1989) e Doutorado Acadêmico (Dr. rer.nat.) em Ciências da Computação pela Universidade de Kaiserslautern (1996). Atualmente é professor Titular da Universidade Federal de Santa Catarina, onde é professor do Programa de Pós-graduação em Ciência da Computação e dos cursos de graduação em Ciências da Computação e Sistemas de Informação. Tem experiência nas áreas de Informática em Saúde, Processamento e Análise de Imagens e Engenharia Biomédica, com ênfase em Telemedicina, Telerradiologia, Sistemas de Auxílio ao Diagnóstico por Imagem e Processamento de Imagens Médicas, com foco nos seguintes temas: analise inteligente de imagens, DICOM, CBIR, informática médica, visão computacional e PACS. Coordena o Instituto Nacional de Ciência e Tecnologia para Convergência Digital - INCoD. Foi o criador e primeiro Coordenador do Núcleo de Telessaúde de Santa Catarina no âmbito do Programa Telessaúde Brasil do Ministério da Saúde e da OPAS - Organização Pan-Americana de Saúde e criador do Núcleo Santa Catarina da RUTE - Rede Universitária de Telemedicina.