ROVI-POLAR · WHITE PAPER

편광 카메라 백서

편광 카메라가 무엇을 보는지, 센서는 어떻게 만들어졌는지, 편광으로 투명 · 반사 물체의 표면 기울기와 깊이를 어떻게 읽는지를 그림과 실제 촬영 영상으로 설명합니다.

1. 요약

빛에는 밝기와 색 말고도 진동하는 방향(편광)이라는 정보가 있습니다. 사람 눈과 일반 카메라는 이 정보를 버리지만, 편광 카메라는 화소마다 네 방향의 편광 필터를 달아 한 번의 촬영으로 이것을 함께 기록합니다. 빛이 표면에서 반사되면 편광 상태가 표면의 기울기와 재질에 따라 달라지므로, 편광을 읽으면 투명하거나 반짝여서 다른 3D 센서가 놓치는 물체의 모양을 알 수 있습니다.

RGB 카메라편광 카메라
기록하는 것밝기 · 색밝기 · 색 + 편광의 세기(DoLP)와 방향(AoLP)
화소 위 필터컬러 필터컬러 필터 + 0° · 45° · 90° · 135° 편광 필터
투명 · 광택 물체배경이 비치거나 번쩍임만 보임표면에서 반사된 빛의 편광으로 윤곽 · 기울기가 드러남
반사그대로 찍힘편광 성분을 빼서 반사를 줄인 영상도 얻음
해상도화소 그대로4 × 4 화소가 한 단위 (5 MP 센서 → 612 × 512 정합 영상)

한 줄로: RGB는 "어떻게 보이는가"를, 편광은 "표면이 어느 쪽으로 기울어 있는가"를 알려 줍니다. ROVI-Polar는 이것으로 투명 플라스틱 부품의 깊이와 6D 자세를 복원하는 것을 목표로 개발 중입니다.

2. 투명 · 반사 물체가 어려운 이유

산업 현장의 3D 센서는 대부분 빛을 쏘고 돌아온 빛으로 거리를 잽니다. 투명하거나 거울처럼 반짝이는 표면에서는 이 전제가 깨집니다.

방식투명 · 광택 표면에서 생기는 일
ToF (빛의 왕복 시간)빛이 투명체를 지나 뒤의 배경까지 가거나, 광택면에서 다른 방향으로 튀어 깊이가 비거나 엉뚱한 값
액티브 스테레오 · 구조광투사한 무늬가 투명체에 맺히지 않거나 반사로 일그러져 대응점을 찾지 못함
RGB 한 장으로 깊이 추정(AI)투명체 너머의 배경을 물체로 착각 — 투명 영역 깊이 정확도 δ1 0.547 (참고)
6D 자세 추정 모델깊이가 깨지면 함께 실패 — 공개 모델도 투명 · 유리 물체에서는 동작하지 않는다고 명시

그래서 투명 플라스틱 부품처럼 깊이가 깨지는 물체는 기존 3D 비전 파이프라인으로 집기 어렵습니다. 편광은 이런 표면에서 오히려 신호가 강해지는 정보입니다.

3. 편광이란

빛은 진행 방향과 수직으로 진동하는 파동입니다. 햇빛이나 조명의 빛은 진동 방향이 제각각인 무편광입니다. 편광 필터를 지나면 한 방향으로만 진동하는 직선 편광이 됩니다.

빛이 매끄러운 표면에서 반사될 때도 편광이 생깁니다. 표면과 나란한 방향으로 진동하는 성분이 더 많이 반사되어, 반사된 빛은 부분 편광이 됩니다. 얼마나 편광되는지(세기)와 어느 방향으로 편광되는지(방향)는 표면을 바라보는 각도와 표면이 기울어진 방향, 재질의 굴절률로 정해집니다 — 이것이 Fresnel 식입니다.

자연광 — 진동 방향이 제각각 (무편광) 편광 필터 한 방향으로만 진동 (직선 편광) 투명 · 광택 표면 반사된 빛은 표면과 나란한 방향(⊙, 그림 면에 수직)으로 더 많이 진동 → 부분 편광 표면의 기울기에 따라 → 편광의 세기(DoLP)와 방향(AoLP)이 달라짐
무편광 빛 → 편광 필터 → 직선 편광(위). 표면에서 반사된 빛은 표면과 나란한 방향(⊙)으로 더 많이 진동하는 부분 편광이 되고, 그 세기와 방향은 표면의 기울기에 따라 달라집니다(아래).

4. 편광 카메라의 구조

편광 카메라(ROVI-Polar에 쓰는 Sony IMX264MYR, Polarsens)는 화소 바로 위에 아주 가는 금속 격자 편광 필터를 만들어 넣은 센서입니다. 이웃한 2 × 2 화소에 0° · 45° · 90° · 135° 네 방향 필터가 하나씩 있고, 컬러 센서는 그 2 × 2 묶음마다 R · G · G · B 컬러 필터가 덮여 있어 4 × 4 화소가 한 계산 단위가 됩니다.

90° 45° 135° 0° 90° 45° 135° 0° 90° 45° 135° 0° 90° 45° 135° 0° 4 × 4 화소 = 1 계산 단위 2 × 2 화소마다 0° · 45° · 90° · 135° 편광 필터 2 × 2 블록마다 R · G · G · B 컬러 필터 네 방향 밝기로 계산 S0 = 밝기 · S1 = I0 − I90 · S2 = I45 − I135 DoLP = √(S1² + S2²) / S0 · AoLP = ½ atan2(S2, S1) RGB 컬러 영상 DoLP 편광도 0–1 AoLP 편광각 0–180°
편광 컬러 센서의 화소 배치 — 2 × 2 화소마다 네 방향 편광 필터(화살표 = 빛이 통과하는 방향), 2 × 2 묶음마다 컬러 필터. 네 방향의 밝기로 Stokes 값을 계산해 RGB · DoLP · AoLP를 얻습니다.

네 방향 화소의 밝기 I0 · I45 · I90 · I135로 다음 값을 계산합니다.

값계산뜻
S0(I0 + I45 + I90 + I135) / 2전체 밝기 — 일반 영상
S1, S2I0 − I90, I45 − I135편광의 가로 · 대각 성분
DoLP (편광도)√(S1² + S2²) / S00이면 무편광, 1이면 완전한 직선 편광
AoLP (편광각)½ · atan2(S2, S1)편광의 방향, 0–180°
I_min (반사 억제)(S0 − √(S1² + S2²)) / 2편광된 성분(대부분 반사광)을 뺀 밝기

5. 편광으로 표면의 기울기 읽기

투명 플라스틱(굴절률 약 1.5)에서 반사된 빛의 편광도(DoLP)는 표면을 바라보는 각도 θ에 따라 정해진 곡선을 따릅니다.

0° 30° 60° 90° 0.5 1.0 편광도 DoLP 표면을 바라보는 각도 θ (표면 법선 기준) 브루스터 각 ≈ 56° 정반사 (표면에서 반사된 빛) 확산 (내부를 지나 나온 빛) 표면 법선 θ DoLP를 재면 → 각도 θ를 거꾸로 구함, AoLP는 → 기울어진 방향
투명 플라스틱(굴절률 1.5)의 각도별 편광도 — 주황: 표면에서 정반사된 빛(브루스터 각 약 56°에서 최대), 파랑: 재질 내부를 지나 나온 빛. 오른쪽처럼 표면이 기울수록 바라보는 각도 θ가 커지고 DoLP가 바뀝니다.
  1. DoLP → 기울기 각도(천정각): 측정한 DoLP를 곡선에 대입해 표면이 카메라 쪽에서 얼마나 기울었는지(θ)를 거꾸로 구합니다. 정반사 곡선은 브루스터 각을 기준으로 두 해가 있어, 주변 정보로 하나를 고릅니다.
  2. AoLP → 기울어진 방향(방위각): 편광의 방향이 표면이 기울어진 방향을 알려 줍니다(180° 모호성은 주변 정보로 해소).
  3. 법선 → 깊이: 화소마다 구한 표면 방향(법선)을 이어 붙이면(적분) 상대적인 깊이가 됩니다.
  4. 굴절률: 대상 재질의 굴절률이 곡선을 정합니다 — PMMA(아크릴) 1.49, PET 1.57, PC 1.58, PS 1.59. 투명 플라스틱은 대부분 이 범위에 있습니다.

ROVI-Polar가 참고하는 PolarDepth(ICML 2026)는 RGB 한 장으로 얻은 전체 깊이에, 편광에서 물리적으로 해석한 굴절률 · 천정각 · 방위각 → 법선 → 깊이를 투명 영역에서 결합합니다. 논문은 투명 영역 깊이 정확도 δ1을 RGB 단독 모델의 0.547에서 0.859로 높였다고 보고했습니다(참고). 편광을 단순히 영상 채널로 덧붙이는 방식은 0.556에 그쳐, 물리량으로 해석하는 것이 핵심임을 보여 줍니다(참고).

6. 실제 촬영 영상

FLOYD가 편광 카메라(16 mm 렌즈, 약 1 m)로 투명 휴대폰 케이스를 손에 들고 움직이며 녹화한 원시 12-bit 영상을 네 가지로 처리했습니다(실제 속도).

편광 카메라 실제 촬영(2026년 10월) — 왼쪽 위 RGB, 오른쪽 위 DoLP(편광도, 밝을수록 강함), 왼쪽 아래 AoLP(편광 방향을 색으로, DoLP가 클수록 진하게), 오른쪽 아래 I_min(편광 성분을 뺀 영상)
화면보이는 것
RGB투명 케이스는 배경이 비쳐 윤곽이 흐림
DoLP케이스의 테두리 · 곡면에서 반사광이 강하게 편광되어 윤곽이 밝은 선으로 드러남
AoLP표면이 기울어진 방향에 따라 색이 바뀜 — 곡면을 따라 색이 연속으로 변하는 것이 표면 방향 정보
I_min편광된 반사광을 뺀 영상 — 광택 반사가 줄어든 밝기
어두운 곳(영상 가장자리, 그늘)에서 DoLP · AoLP가 모래처럼 보이는 것은 빛이 적어 편광 계산이 불안정하기 때문입니다. 실제 처리에서는 밝기가 충분한 곳만 씁니다. LCD 모니터처럼 빛 자체가 편광된 광원도 DoLP가 높게 나와, 촬영 환경에서 피하거나 걸러 냅니다.

7. ROVI-Polar 처리 흐름

편광 원시 영상 12-bit · 5 MP 한 번 촬영 4방향 분리 0 · 45 · 90 · 135° Stokes 계산 RGB · DoLP · AoLP 612 × 512 화소 단위 정합 법선 · 깊이 굴절률 · 각도 해석 투명 영역 마스크 6D 자세 ROVI-3D + ICP CAD 기반 편광을 "또 하나의 영상 채널"이 아니라 물리량으로 해석 — 복원한 깊이를 기존 6D 자세 엔진에 그대로 공급
ROVI-Polar 처리 흐름 — 편광 원시 영상 → 네 방향 분리 · Stokes → RGB · DoLP · AoLP → 법선 · 깊이 복원 → 6D 자세
  1. 획득: 편광 카메라 한 대로 원시 12-bit 영상을 한 번에 찍습니다.
  2. 편광 계산: 네 방향으로 나눠 Stokes 값을 구하고, 화소 정합된 RGB · DoLP · AoLP · I_min을 만듭니다.
  3. 법선 · 깊이 복원: 편광을 굴절률 · 천정각 · 방위각으로 해석해 법선을 구하고, RGB 기반 깊이와 결합해 투명 영역의 깊이를 복원합니다. 투명 영역 마스크도 함께 냅니다.
  4. 6D 자세: 복원한 깊이 · 마스크 · RGB와 부품 CAD로 AI ToolBox의 기존 6D 자세 엔진(ROVI-3D + ICP)이 위치와 방향을 계산합니다 — 데이터 규약과 엔진을 그대로 재사용합니다.

목표 성능

항목값구분
6D 자세 오차≤ 5 mm / ≤ 3° @ 1 m목표
투명 영역 깊이 δ1≥ 0.75목표
처리 속도≥ 5 fps (깊이 단독 ≥ 20 fps)목표
투명 영역 깊이 δ1 (논문)0.859 — RGB 단독 깊이 모델 0.547참고
깊이 추론 시간 (논문)25 ms참고

8. 장점과 한계

장점

장점이유
투명 · 광택 표면에 강함다른 3D 센서를 방해하는 반사가 편광 카메라에는 오히려 신호
카메라 한 대 · 한 번의 촬영RGB와 편광이 화소 단위로 정합 — 여러 센서를 맞추는 보정이 필요 없음
수동 센서무늬나 레이저를 쏘지 않음 — 다른 센서 · 사람과 간섭이 없음
반사 억제 영상편광 성분을 빼서 유리 · 비닐 너머를 더 잘 봄
일반 산업용 카메라와 같은 형태같은 크기 · 렌즈(C-mount) · 인터페이스(GigE)

한계

한계내용대응
해상도 · 빛의 양4 × 4 화소가 한 단위, 편광 필터로 들어오는 빛이 줄어 노출이 길어짐렌즈 배율 선택, 확산 조명
재질 가정굴절률 범위(약 1.3–1.6)의 투명체 기준 — 금속은 편광 거동이 다름금속 반사체는 별도 모델(향후)
편광이 약한 재질 · 각도정면에서 본 표면, 거친 표면은 편광이 약함투명 영역 마스크로 영향을 좁힘, 조명 배치
응력 복굴절사출 성형한 PC · PET 부품은 내부 응력이 투과광의 편광을 바꿈실측으로 영향 범위 확인, 반사 성분 중심 해석
조명의 편광LCD 모니터 · 편광 조명 · 강한 직사광은 결과를 흐림무편광 확산 조명, 촬영 가이드
개발 단계깊이 복원 · 자세 통합은 개발 중로드맵 (10장)

9. 어디에 쓰나

선택 가이드

◎ 최적 · ○ 가능 · △ 제한적 · ✕ 부적합

과제편광ToF · 구조광RGB이유
투명 플라스틱 · 유리 부품의 자세 · 피킹◎△△투명체 표면의 반사 편광으로 기울기를 읽음 (ROVI-Polar)
유리 · 비닐 너머 판독○✕△반사 억제 영상
광택면 흠집 · 찍힘○△○표면 방향이 바뀌는 곳이 AoLP에서 드러남
투명 부품의 응력 확인○✕✕응력 복굴절이 편광을 바꿈
불투명 · 무광 물체의 3D△◎○이 경우는 ToF · 구조광이 더 정확
색 · 글자 검사△✕◎색은 RGB의 영역

FLOYD의 적용

ROVI-Polar는 사출 성형 투명 플라스틱 부품(PC · PMMA · PET)의 피킹을 첫 대상으로 개발하고, 이후 투명 · 반사체 검사로 넓힐 계획입니다.

10. 카메라와 ROVI-Polar

LUCID Triton 5.0 MP 편광 카메라

항목내용 (사양)
모델Triton TRI050S1-QC (편광 컬러)
센서Sony IMX264MYR (Polarsens) · 2/3" · 글로벌 셔터
해상도 · 화소2448 × 2048 (5.0 MP) · 3.45 µm
편광 필터0° · 45° · 90° · 135° (2 × 2 화소 단위), 컬러는 2 × 2 묶음 단위
속도 · 비트최대 24 fps · 12-bit
인터페이스GigE Vision · PoE 또는 12–24 V
렌즈 · 크기C-mount · 29 × 29 × 45 mm

ROVI-Polar

항목내용
카메라LUCID Triton TRI050S1-QC (편광 컬러 · 5 MP)
렌즈 · 거리16 mm C-mount · 작업 거리 1 m (시야 528 × 442 mm)
처리NVIDIA GPU PC (RTX 4080급)
출력RGB · DoLP · AoLP · 반사 억제 영상 → 깊이 · 투명 영역 마스크 → 6D 자세
성숙도로드맵 — 편광 카메라 수집 · 처리 도구 완료, 실카메라 녹화 시작. 편광 깊이 복원 · 자세 통합 개발 중 (2026)

적용 검토 요청은 floyd.kr 문의에서 받습니다.

11. 용어

용어뜻
편광빛이 진동하는 방향. 무편광 = 제각각, 직선 편광 = 한 방향
DoLPDegree of Linear Polarization, 편광도. 0(무편광) – 1(완전 편광)
AoLPAngle of Linear Polarization, 편광각. 편광의 방향 0–180°
Stokes 값 (S0 · S1 · S2)네 방향 밝기로 계산하는 편광 상태의 표현
I_min편광 성분을 뺀 밝기 — 반사가 줄어든 영상
굴절률 (η)재질 안에서 빛이 느려지는 정도. 투명 플라스틱 약 1.5
브루스터 각반사광이 완전히 편광되는 각도. 굴절률 1.5에서 약 56°
천정각 · 방위각표면 법선이 카메라 축에서 기운 각도 · 기운 방향
법선표면에 수직인 방향
응력 복굴절재질 내부의 응력 때문에 빛의 편광이 바뀌는 현상
δ1깊이 정확도 지표. 정답과 25 % 이내로 맞은 화소의 비율
6D 자세물체의 위치(3) + 방향(3)