[컴퓨터비전] 2. Cameras & Optics

Cameras & Optics

우리가 관심있는 딥러닝, CNN을 배우기에 앞서 컴퓨터 비전의 기본부터 배우는 시간이다. 다소 생뚱맞지만 여기서 등장하는 해상도, 노이즈, 필터 등의 개념이 추후에 다 활용되니 참고하자.

[ DSLR(Digital Single-Lens-Reflection) vs. Mirrorless camera ]

이번 시간에는 영상을 만드는 기기 즉 camera와 영상이 생성되는 원리에 대해서부터 알아보도록 한다.

Camera structure

카메라의 기본적인 원리는 사람의 눈을 거의 완벽하게 모사해뒀다고 할 수 있다.

• 조리개(aperture) - 홍채(iris) : 들어오는 빛의 양을 조절

• lens - lens : 빛을 모아 주는 역할

• Digital sensor - 망막(retina) : 상이 맺히는 구역

• supervisory ligaments : focus를 맞추기 위해 lens의 형태를 변형시킨다.
  카메라에서는 렌즈의 위치를 이동시킨다.

pinhole camera & lens

그럼 가장 간단한 카메라라고 할 수 있는  pinhole camera의 원리를 알아보자.

영상이라는 것은 태양광이 object에 반사된 광원을 이미지 형태로 저장한 것을 의미하는데, film이 그 광원을 측정하는 센서라고 하자. 

만약 film을 object와 수직하게 배치하고 광원을 측정한다면, object로부터 반사된 광원은 위 그림과 같이 film의 다양한 구역에 입력되게 된다. 위 그림을 보면 object의 top에서 반사된 광원과 middle부에서 반사된 광원이 겹치는 것을 확인할 수 있다. 이 때 두 광원이 겹치게 됨으로써 이 사진을 인화했을 때 마치 붕~뜬것과 같은 흐릿한 이미지를 얻게 된다.

그래서 이렇게 작은 구멍(pinhole)을 가진 Barrier을 하나 두면 광원이 pinhole(center of projection)을 지나면서 film에(Image Plane)에 정확히 1:1로 상이 맺힐 수 있다.
※ 당연히 pinhole과 film간의 거리(effective focal length)가 멀수록 상이 크게 맺힌다.

이 때 가정은 pinhole의 크기가 매우 작다는 것인데, pinhole이 크다면 당연히 투과되는 광원의 양이 많아지면서 처음 상황과 같이 여러 광원이 겹치면서 영상이 흐릿해진다. 

확실히 pinhole을 작게 할 수록 상이 선명해지지만, 너무 작아지면 

     ① 흡수하는 빛의 양이 너무 적어져서 노출을 오래 시켜야하고,
         (노출이 길면 object가 움직이면 안된다.)

     ② 회절하는 빛의 양이 많아지면서 오히려 더 흐릿해 지기도 한다.

그래서 고안된 것이 바로 렌즈(lens)이다.

pinhole을 썼을 때는 object의 빛이 hole을 지나면서 퍼지기 때문에 pinhole의 크기, 노출시간이 중요했는데, 렌즈를 쓰면 object에서 반사된 많은 광원을 한점으로 모아줄 수 있는 효과가 있다. 렌즈에 대해서 좀 더 자세히 알아보자.

렌즈는 형태에 따라서 굴절량이 다르기 때문에 광원을 한점(Focal point)로 모으기 위한 거리(Focal length)가 다르다. 즉,  focal length는 렌즈의 스펙 대표하게 된다. 

그리고 평행한 빛과 평행하지 않은 빛들이 한 점으로 모이는 곳에 상(image)가 맺히게 되며, 이 때 lens equation은 위와 같다.

그런데 object가 매우 가깝게 있다고 가정해보자. 그럼 어딘가 한점에 모이긴 하겠지만, 기존 film의 위치에는 광원이 겹치면서 상이 뿌옇게 맺힌다.(circle of confusion) 즉, 특정 거리에 있는 object만 선명하게 맺히 focus된다.

이런 문제를 해결하기 위해 카메라는 lens↔sensor 사이의 거리를 조절하는 장치가 포함되어 있어 상이 선명하게 맺히는 위치로 렌즈를 이동시킬 수 있다. (DSLR을 사용할 때 한 손으로 렌즈를 잡고 회전시키며 초첨을 맞추는 것이 이 원리이다.)

Zoom & Field of View, Depth of Field

다음은 카메라의 중요한 기능중 하나인 zoom 기능에 대해서 알아보자.

Zoom기능을 달리 표현하면 카메라에 담기는 상의 크기(Field of View)라 할 수 있으며, FoV는 렌즈의 굴절률과 직접적으로 관련이 있다. 

왜냐하면 렌즈의 곡률에 따라 focal length가 달라지기 때문에 상이 맺히는 위치와 크기가 달라지기 때문이다.

※ 우리가 흔히 말하는 300/100mm로 렌즈의 스펙을 읽는데, 이 때 300mm는 focal length를 의미한다.

그리고 시야각 FoV(Field of View)가 넓다는 것은 넓은 장면을 센서에 담을 수 있단 뜻이며,  반대로 시야각이 좁다는 것은 zoom을 많이 당겨서 좁은 영역을 센서에 담은 것이다. 그리고 FoV(Field of View)는 sensor size에 의해 결정되며, 그 상을 얼마나 센서에 많이 담을수 있는지가 결정된다. FoV에 대해서 좀 더 알아보자.

왼쪽은 focal length가 긴 렌즈, 오른쪽은 focal length가 짧은 렌즈이다. 위 그림에서 확인할 수 있듯, focal length가 짧은 렌즈로 object를 찍기 위해서는 더 가까이서 찍어야 하고, 뒤에 위치한 object는 상대적으로 더 작게 영상에 담긴다.

그래서 focal length가 짧은 스마트폰 전면 카메라로 인물사진을 찍으면 좌측과 같이 가까이에 있는 코는 크고 멀리있는 눈, 귀는 작게 나오는 이상한 사진이 나오게 된다. 

이번에 소개할 정의는 Depth of Field이다. Depth of Field는 초첨이 맞는 범위를 의미한다.

DoF는 조리개에 의해 결정된다. 실제로 우리 눈이 초첨을 맞추기 위해 홍채를 조절해서 동공의 size를 조절하는 것과 정확히 같은 원리다.

조리개가 많이 열려있으면 큰 circle of confusion을 유발하면서 DoF가 작아지는 반면,

조리개가 조금 열려있으면 거리에 차이가 있더라도 circle of confusion이 작기 때문에 DoF가 넓어진다고 할 수 있다. 

다음은 노출시간(Exposure)과 셔터속도(Shutter speed)에 대해서 알아보자. 

노출시간이 짧게 하면 찰나의 순간을 찍을 순 있지만, 흡수하는 빛의 양이 줄어들기 때문에 어둡거나 알아보기 어려운 사진을 찍게 된다.

반면 노출시간이 길면 오랜시간 흡수된 빛을 흡수할 수 있지만, 노출되는 시간동안 object가 조금이라도 움직였을 때 흐릿한 이미지를 찍게 될 수 있다. 

그리고 카메라에는 감도(ISO)를 설정할 수 있는데, 빛에 얼마나 민감하게 반응할지를 설정하는 기능이다. 2배 민감하다는 이야기는 빛을 반만 노출시켜도 정확하게 사진을 찍을수 있음을 의미한다. 그럼 ISO는 높을 수록 좋을까?

ISO가 너무 높으면 적은 빛으로도 사진을 찍을 순 있지만,(야간) 빛에 굉장히 민감하게 반응하기 때문에 빛의 작은 흔들림에도 반응함으로써 noise를 유발하게 된다.

※ 예전에는 film 마다 ISO가 spec으로 주어졌는데 digital 카메라에는 기계적으로 조정이 가능하다.

이렇게 노출시간에 영향을 주는 3가지의 상관관계를 Exposure Triangle로 표현하며, (조리개/셔터속도/ISO) 이 3가지들을 잘 설정해야 좋은 사진을 찍을 수 있다.

이번에는 photodiode의 배열로 구성된 sensor에 대해서 알아보자. 

카메라 센서의 종류에는 CCD(charge-coupled device)와 CMOS(complementary metal axide semiconductor)가 있는데,

CCD는 과거 high end 카메라에 적용됐었고, CMOS는 요즘 왠만한 모든 카메라에 적용되어 있는 센서이다.

그리고 이 센서의 사이즈가 사실 카메라의 가격을 결정하는 첫번째 요소이다. (두번째가 렌즈)

그리고 센서가 크다는 것은 앞서 배운 FoV가 넓다는 것을 의미하고, 넓은 상을 담아야 한다는 것은 렌즈와 센서간의 거리(focal length)도 멀어지게 된다. 즉 카메라 렌즈의 부피가 커지게 된다.

마지막으로 렌즈에서 발생할 수 있는 몇가지 문제를 소개한다.

사실 고유의 파장을 가지고 있는 광원은 같은 렌즈를 지나가더라도 굴절량이 조금씩은 다르다. 그래서 발생하는 것이 Chromatic Aberration(색조차)이다.

색에 따라 굴절되는 양이 다르다는 것은 색에 따라 focal length가 다르다는 의미이며, 그러다 보니 물체의 위치에 따라 색조가 달라보이거나 광원이 겹치면서 blur 현상이 발생하기도 한다. ※ 참고로 렌즈 대신 거울을 쓰면 색조차이는 없다. (~ 반사망원경)

그리고 렌즈에서 발생할 수 있는 또 다른 문제로 렌즈 외곽의 품질이 좋지 않아 발생할 수 있는 Radial Distortion 이 있다.