câmera digital

Processamento de Imagens
COS756 / COC603
aula 02 - câmeras digitais
Antonio Oliveira
Ricardo Marroquim
1/1
aula de hoje
câmera digitais
overview
modelo de câmera
capturando imagens
ruı́do
processamento ...
2/1
formando uma imagem
modelo pinhole
plano da
imagem
f
3/1
formando uma imagem
lentes
qual o motivo principal para usar lentes?
4/1
formando uma imagem
lentes
qual o motivo principal para usar lentes?
mais luz em menos tempo de exposição
4/1
formando uma imagem
lentes
qual o motivo principal para usar lentes?
mais luz em menos tempo de exposição
foco
ajusta posição do plano de imagem
4/1
formando uma imagem
câmera reflex
visor
prisma
obturador
filme
espelho
5/1
capturando intensidade de luz
sensores
CCD (charged-coupled device)
tecnologia mais madura
fácil de produzir e mais compacto
CMOS (complimentary metal oxide)
mais barato
maior custo para o design
http://www.whatdigitalcamera.com/techniques/
6/1
capturando intensidade de luz
sensores
array de photosite
somente uma parte é sensı́vel a luz (fotodiodo)
ou seja, não cobre toda célula (pode chegar a somente 30% da área)
o resto é utilizado para circuitos eletrônicos
tamanho de um photosite
∼5-8 microns2 para DLSR
∼2 microns2 para compact
podendo ser menor ainda para celulares
7/1
capturando intensidade de luz
sensores
camada de micro-lentes
convergir a luz para a parte sensı́vel da célula
8/1
capturando intensidade de luz
sensores
camada de micro-lentes
outra visão
9/1
capturando intensidade de luz
sensores
poço de potencial
fóton bate no sensor que gera elétrons
armazena quantidade de elétrons gerada
ADC
converte do sinal analógico para digital
10 / 1
ruı́do
corrente negra (ruı́do espontâneo)
atividade dos elétrons nos sensores mesmo sem receber luz
aumenta com a temperatura
possui um fator aleatório
11 / 1
ruı́do
corrente negra (ruı́do espontâneo)
atividade dos elétrons nos sensores mesmo sem receber luz
aumenta com a temperatura
possui um fator aleatório
tratando corrente negra
mecanismo geralmente utilizado pelas câmeras
bloqueia alguns sensores e realiza a média de seus valores
subtrai dos outros pixels
um dos motivos não se alcança a resolução de pixels
11 / 1
ruı́do
blooming (overflow)
poço de potencial enche e vaza para vizinhos
câmeras geralmente tratam isso com circuitos “ladrão”
12 / 1
ruı́do
blooming (overflow)
poço de potencial enche e vaza para vizinhos
câmeras geralmente tratam isso com circuitos “ladrão”
sinal-ruı́do
capacidade do poço
DSLR ∼ 100.000 elétrons
compact ∼ 10.000 elétrons
corrente negra ∼ 10 elétrons
relação sinal-ruı́do
DSLR → 10.000:1
compact → 1.000:1
olho humano
detecta um único fóton
mas sinal só é enviado ao cérebro quando passa de um limite mı́nimo
12 / 1
sensores
iso
em filmes, define a granularidade
digital, define o ganho
aumentando o ganho aumenta também o ruı́do espontâneo
fator ruı́do também depende do tamanho do sensor
sensores maiores absorvem mais luz por photosite
ou seja, menos ruı́do
13 / 1
sensores
comparando
Nikon D80
10.0 MP (efetivos)
10.8 MP (sensor)
23.6 x 15.8 mm, 3.72 cm2
Nikon Coolpix S8000
14.2 MP (efetivos)
14.8 MP (sensor)
6.18 x 4.55 mm, 0.28 cm2
http://www.cambridgeincolour.com/tutorials/
digital-camera-sensor-size.htm
14 / 1
cores
15 / 1
cores
sensores
são monocromáticos
detectam apenas intensidade de luz
como produzir uma foto colorida?
15 / 1
cores
3CCD
divide o raio em três fechos (RGB) direcionados para 3 CCDs
depois combina os três sensores para gerar um imagem RGB
16 / 1
cores
3CCD
melhor fidelidade das cores
é encontrado em algumas câmeras de vı́deo
por que não existem DSLR com 3CCD?
17 / 1
cores
3CCD
melhor fidelidade das cores
é encontrado em algumas câmeras de vı́deo
por que não existem DSLR com 3CCD?
problemas
custo
precisa de espaço fı́sico
17 / 1
cores
Foveon X3
três camadas de sensores
silicone absorve comprimentos de ondas em diferentes profundidades
mesma filosofia dos filmes antigos
18 / 1
cores
padrão de Bayer
ainda o mais comum (quase todas câmeras digitais)
cada sensor absorve um comprimento de onda
filtro com um padrão especı́fico
19 / 1
cores
http://www.cambridgeincolour.com/tutorials/camerasensors.htm
20 / 1
cores
padrão de Bayer
o que se pode observar por esta figura?
21 / 1
cores
padrão de Bayer
o que se pode observar por esta figura?
mais sensores G do que R e B
por que?
21 / 1
cores
demosaicing
interpolar valores dos sensores adjacentes
para cada posição, gerar um valor RGB
22 / 1
cores
demosaicing
interpolar valores dos sensores adjacentes
para cada posição, gerar um valor RGB
exemplo simples: interpolação bilinear
pixel vermelho
R=R
G = (G1 + G2 + G3 + G4) / 4
B = (B1 + B2 + B3 + B4) / 4
22 / 1
cores
demosaicing
interpolar valores dos sensores adjacentes
para cada posição, gerar um valor RGB
exemplo simples: interpolação bilinear
pixel vermelho
R=R
G = (G1 + G2 + G3 + G4) / 4
B = (B1 + B2 + B3 + B4) / 4
pixel azul de forma análoga
22 / 1
cores
demosaicing
interpolar valores dos sensores adjacentes
para cada posição, gerar um valor RGB
exemplo simples: interpolação bilinear
pixel vermelho
R=R
G = (G1 + G2 + G3 + G4) / 4
B = (B1 + B2 + B3 + B4) / 4
pixel azul de forma análoga
pixel verde
G=G
R = (R1 + R2) / 2
B = (B1 + B2) / 2
22 / 1
cores
demosaicing
uma solução um pouco melhor
“High-Quality Linear Interpolation for Demosaicing of
Bayer-Patterned Collor Images”
Henrique S. Malvar, Li-wei He, and Ross Cutler
Microsoft Research
ideia
utiliza o próprio canal do pixel quando for calcular os outros dois
ex. utiliza o canal R em um pixel R quando for calcular G
23 / 1
cores
Malvar et al.
ex. calculando G em um canal R
g (i, j) = gBL (i, j) + α∆R (i, j)
onde ∆R (i, j) é o gradiente de R em (i, j)
∆R (i, j) = r (i, j) −
1X
r (i + m, j + n)
4
(m, n) = {(0, 2), (0, 2), (2, 0), (2, 0)}
24 / 1
cores
Malvar et al.
interpolando R em pixels G e B
r (i, j) = rBL (i, j) + β∆G (i, j)
r (i, j) = rBL (i, j) + γ∆B (i, j)
com valores fixos para α = 12 ; β = 58 ; γ =
3
4
25 / 1
cores
bilinear
original
Malvar et al.
26 / 1
cores
demosaicing
isso explica porque as vezes aparecem cores na imagem final que não
existem na cena
27 / 1
cores
demosaicing
isso explica porque as vezes aparecem cores na imagem final que não
existem na cena
qual algoritmo de demosaicing utiliza a sua câmera digital?
27 / 1
cores
demosaicing
isso explica porque as vezes aparecem cores na imagem final que não
existem na cena
qual algoritmo de demosaicing utiliza a sua câmera digital?
difı́cil saber, geralmente é um segredo das fabricantes
27 / 1
cores
profundidade
quantos bits para representar em formato digital
geralmente 8 bits por canal (24 bits)
algumas DSLR 12-16 bits por canal
relacionado com a definição dos tons
28 / 1
cores
profundidade
quantos bits para representar em formato digital
geralmente 8 bits por canal (24 bits)
algumas DSLR 12-16 bits por canal
relacionado com a definição dos tons
dynamic range
não é relacionado com quantidade de bits
e sim com capacidade do sensor
capacidade do poço menos nı́vel de ruı́do
28 / 1
anti-aliasing
aliased
ideal
anti-aliased
http://www.cambridgeincolour.com/tutorials/image-interpolation.htm
29 / 1
pós-processamento
white-balance
ajuste da temperatura da cor
ufraw
JPG
compressão
30 / 1