Contents

Visão Geral

JSEG [1][2] é um enfoque totalmente automatizado para segmentação de imagens a cores: Não aceita nenhum tipo de parametrização, tendo sido desenvolvido para segmentação não-supervisdionada, sem feedback de usuário, de objetos em seqüências de video codificado, como por exemplo, MPEG-4.

Assunções do algoritmo:

Cada região da imagem contém um padrão de cores distribuído de forma aproximadamente uniforme;
A informação de cor de uma imagem pode ser representada através de um um pequeno conjunto de faixas de cores;
As cores entre duas regiões vizinhas são distingüíveis.

The JSEG algorithm segments images of natural scenes properly, without manual parameter adjustment for each image and simplifies texture and color. Segmentation with this algorithm passes through two major stages,namely color space quantization (number reduction process of distinct colors in a give nimage), and hit rate regions with similar color regions merging, as secondary stage.

The essential idea of JSEG is to separate the segmentation process into two independently processed stages,:

Quantização Cromática.
Segmentação Espacial.

Quantização Cromática e Geração da Imagem-J

A distribuição de cores na imagem é analisada e quantificada. Pixels são agrupados em classes de cores customizadas para aquela imagem que objetivam diferenciar regiões na imagem. Isto é realizado exclusivamente no Domínio do Valor, sem considerar as posições dos pixels na imagem ou suas distribuições espaciais.

Para essa quantificação e a geração das classes são usados critérios de mínima degradação perceptiva (perceptual degradation) utilizando o algortimo de quantização peer group filtering (PGF), na variante proposta em [3], utilizando um mínimo de cores.

Para uma imagem g, o peer group P(n, d) associado a um pixel na posição i consiste dos n pixels em uma janela d x d centrada em i que estiverem mais próximos em intensidade a g(i). A vantagem de homogeineizar apenas os pixels de um peer group dentro da janela ao invés de simplesmente calcular a média ou mediana de toda a janela é que não se destroi bordas dentro destas janelas.

PGF é mais conhecido como uma técnica para eliminação de ruído em imagens, como no exemplo abaixo.

SomeImprovementsforImageFilteringusingPeerGroupTechniques.dvi

Figura 1. Imagem original (a) e com ruído (b). Em (d), (e) e (f) resultado da filtragem com três variantes de PGF [5].

Segundo os autores de JSEG, tipicamente serão necessárias 10 a 20 cores para descrever uma cena ao ar livre.

Cada cor é associada a uma classe. Cores de pixels então são substituídas por seus rótulos de classe de cor, criando-se um mapa de classes da imagem.

Figura 2. Exemplos de Mapas de Classes, cada um com 3 classes, {+, o, *}, e seu valor-J associado

Critérios para uma “boa” Segmentação no Contexto de J-SEG

Seja Z o conjunto de todos os pontos em um mapa de classes, tal que: (1) e seja m a média: (2)

Suponha que Z é classificado em C classes Z_i, i = 1,…,C. Seja m_i a média dos N_i pontos de dados da classe Z_i: (3)

Sejam:

(4)

(5)

S_T é a variância total dos pontos pertencentes a uma mesma classe.

Assim, J é definido como:

(6)

Assim, J passa a representar um critério de qualidade de uma distribuição de classes em uma imagem: Quanto maior J, melhor agrupados os rótulos de classes vão estar, como mostra a figura 2 acima. A motivação para a definição de J vem do discriminante linear multiclasse de Fisher, aqui usado para distribuições não-lineares arbitrárias. Diferentemente do objetivo do modelo de Fisher, porém, em J-SEG a definição de J assume que os rótulos de as classes são conhecidos, enquanto que o discriminante de Fisher objetiva rotular classes.

Recalculando J sobre cada região segmentada ao invés de sobre o mapa de classes da imagem inteira, pode-se definir o J médio como: (7)

onde Jk é o J calculado sobre uma região k, Mk é o número de pontos na região k, Né o número totral de pontos em um mapa de classes e a soma é realizada sobre o total de regiões no mapa de classes.

J-SEG propõe o J médio como o critério a ser minimizado.

Este critério envolve minimizar o custo associado com a partição da imagem em rótulos. O critério é aplicado a pequenas janelas no mapa de classes, usando [4], resultando na Imagem-J, uma imagem topográfica onde valores altos correpondem a prováveis limites entre regiões e valores baixos (“vales”) a prováveis centros de regiões.

Segmentação Espacial

Before performing the hit rate regions, the J-image – a class map for each windowed color region, whose positive and negative values represent the edges and textures of the processing image – must be created with pixel values used as a similarity algorithm for the hit rate region. These values are called „ J-values“ and are calculated from a window placed on the quantized image, where the J-value belongs. Therefore, the two-stage division is justified through the difficult analysis of the colors similarity whit all their distributions.

A region growing method is then used to segment the image based on the multi-scale J-images. For video sequences, a region tracking scheme is embedded into region growing and problems of motion estimation are avoided. The goal is to achieve consistent segmentation and tracking results, even for scenes with arbitrary non-rigid object motion. Experiments show the robustness of the JSEG algorithm on real images and video.

The decoupling of these features (color similarity and spatial distribution) allows tractable algorithms development for each of the two processing stages.