편광 카메라 백서
편광 카메라가 무엇을 보는지, 센서는 어떻게 만들어졌는지, 편광으로 투명 · 반사 물체의 표면 기울기와 깊이를 어떻게 읽는지를 그림과 실제 촬영 영상으로 설명합니다.
1. 요약
빛에는 밝기와 색 말고도 진동하는 방향(편광)이라는 정보가 있습니다. 사람 눈과 일반 카메라는 이 정보를 버리지만, 편광 카메라는 화소마다 네 방향의 편광 필터를 달아 한 번의 촬영으로 이것을 함께 기록합니다. 빛이 표면에서 반사되면 편광 상태가 표면의 기울기와 재질에 따라 달라지므로, 편광을 읽으면 투명하거나 반짝여서 다른 3D 센서가 놓치는 물체의 모양을 알 수 있습니다.
| RGB 카메라 | 편광 카메라 | |
|---|---|---|
| 기록하는 것 | 밝기 · 색 | 밝기 · 색 + 편광의 세기(DoLP)와 방향(AoLP) |
| 화소 위 필터 | 컬러 필터 | 컬러 필터 + 0° · 45° · 90° · 135° 편광 필터 |
| 투명 · 광택 물체 | 배경이 비치거나 번쩍임만 보임 | 표면에서 반사된 빛의 편광으로 윤곽 · 기울기가 드러남 |
| 반사 | 그대로 찍힘 | 편광 성분을 빼서 반사를 줄인 영상도 얻음 |
| 해상도 | 화소 그대로 | 4 × 4 화소가 한 단위 (5 MP 센서 → 612 × 512 정합 영상) |
한 줄로: RGB는 "어떻게 보이는가"를, 편광은 "표면이 어느 쪽으로 기울어 있는가"를 알려 줍니다. ROVI-Polar는 이것으로 투명 플라스틱 부품의 깊이와 6D 자세를 복원하는 것을 목표로 개발 중입니다.
2. 투명 · 반사 물체가 어려운 이유
산업 현장의 3D 센서는 대부분 빛을 쏘고 돌아온 빛으로 거리를 잽니다. 투명하거나 거울처럼 반짝이는 표면에서는 이 전제가 깨집니다.
| 방식 | 투명 · 광택 표면에서 생기는 일 |
|---|---|
| ToF (빛의 왕복 시간) | 빛이 투명체를 지나 뒤의 배경까지 가거나, 광택면에서 다른 방향으로 튀어 깊이가 비거나 엉뚱한 값 |
| 액티브 스테레오 · 구조광 | 투사한 무늬가 투명체에 맺히지 않거나 반사로 일그러져 대응점을 찾지 못함 |
| RGB 한 장으로 깊이 추정(AI) | 투명체 너머의 배경을 물체로 착각 — 투명 영역 깊이 정확도 δ1 0.547 (참고) |
| 6D 자세 추정 모델 | 깊이가 깨지면 함께 실패 — 공개 모델도 투명 · 유리 물체에서는 동작하지 않는다고 명시 |
그래서 투명 플라스틱 부품처럼 깊이가 깨지는 물체는 기존 3D 비전 파이프라인으로 집기 어렵습니다. 편광은 이런 표면에서 오히려 신호가 강해지는 정보입니다.
3. 편광이란
빛은 진행 방향과 수직으로 진동하는 파동입니다. 햇빛이나 조명의 빛은 진동 방향이 제각각인 무편광입니다. 편광 필터를 지나면 한 방향으로만 진동하는 직선 편광이 됩니다.
빛이 매끄러운 표면에서 반사될 때도 편광이 생깁니다. 표면과 나란한 방향으로 진동하는 성분이 더 많이 반사되어, 반사된 빛은 부분 편광이 됩니다. 얼마나 편광되는지(세기)와 어느 방향으로 편광되는지(방향)는 표면을 바라보는 각도와 표면이 기울어진 방향, 재질의 굴절률로 정해집니다 — 이것이 Fresnel 식입니다.
- 낚시용 · 운전용 편광 선글라스가 물이나 유리의 반사를 줄이는 것도 같은 원리입니다 — 반사광이 한 방향으로 편광되어 있기 때문입니다.
- 편광 카메라는 이 편광을 화소마다 재서 영상으로 만듭니다.
4. 편광 카메라의 구조
편광 카메라(ROVI-Polar에 쓰는 Sony IMX264MYR, Polarsens)는 화소 바로 위에 아주 가는 금속 격자 편광 필터를 만들어 넣은 센서입니다. 이웃한 2 × 2 화소에 0° · 45° · 90° · 135° 네 방향 필터가 하나씩 있고, 컬러 센서는 그 2 × 2 묶음마다 R · G · G · B 컬러 필터가 덮여 있어 4 × 4 화소가 한 계산 단위가 됩니다.
네 방향 화소의 밝기 I0 · I45 · I90 · I135로 다음 값을 계산합니다.
| 값 | 계산 | 뜻 |
|---|---|---|
| S0 | (I0 + I45 + I90 + I135) / 2 | 전체 밝기 — 일반 영상 |
| S1, S2 | I0 − I90, I45 − I135 | 편광의 가로 · 대각 성분 |
| DoLP (편광도) | √(S1² + S2²) / S0 | 0이면 무편광, 1이면 완전한 직선 편광 |
| AoLP (편광각) | ½ · atan2(S2, S1) | 편광의 방향, 0–180° |
| I_min (반사 억제) | (S0 − √(S1² + S2²)) / 2 | 편광된 성분(대부분 반사광)을 뺀 밝기 |
- 한 번의 촬영 · 화소 정합: 네 방향을 같은 순간에 같은 렌즈로 찍으므로, RGB · DoLP · AoLP가 화소 단위로 정확히 겹칩니다. 여러 대의 카메라를 맞추는 보정이 필요 없습니다.
- 해상도: 4 × 4 화소를 한 단위로 쓰면 5 MP(2448 × 2048) 센서에서 612 × 512의 완전 정합 영상이 나옵니다. 보간으로 1224 × 1024 영상도 만들 수 있습니다.
- 원시 12-bit 저장: 카메라 안에서 DoLP · AoLP를 8-bit로 계산해 주는 기능도 있지만, ROVI-Polar는 정밀도를 위해 원시 12-bit 영상을 받아 PC에서 직접 계산합니다.
5. 편광으로 표면의 기울기 읽기
투명 플라스틱(굴절률 약 1.5)에서 반사된 빛의 편광도(DoLP)는 표면을 바라보는 각도 θ에 따라 정해진 곡선을 따릅니다.
- DoLP → 기울기 각도(천정각): 측정한 DoLP를 곡선에 대입해 표면이 카메라 쪽에서 얼마나 기울었는지(θ)를 거꾸로 구합니다. 정반사 곡선은 브루스터 각을 기준으로 두 해가 있어, 주변 정보로 하나를 고릅니다.
- AoLP → 기울어진 방향(방위각): 편광의 방향이 표면이 기울어진 방향을 알려 줍니다(180° 모호성은 주변 정보로 해소).
- 법선 → 깊이: 화소마다 구한 표면 방향(법선)을 이어 붙이면(적분) 상대적인 깊이가 됩니다.
- 굴절률: 대상 재질의 굴절률이 곡선을 정합니다 — PMMA(아크릴) 1.49, PET 1.57, PC 1.58, PS 1.59. 투명 플라스틱은 대부분 이 범위에 있습니다.
ROVI-Polar가 참고하는 PolarDepth(ICML 2026)는 RGB 한 장으로 얻은 전체 깊이에, 편광에서 물리적으로 해석한 굴절률 · 천정각 · 방위각 → 법선 → 깊이를 투명 영역에서 결합합니다. 논문은 투명 영역 깊이 정확도 δ1을 RGB 단독 모델의 0.547에서 0.859로 높였다고 보고했습니다(참고). 편광을 단순히 영상 채널로 덧붙이는 방식은 0.556에 그쳐, 물리량으로 해석하는 것이 핵심임을 보여 줍니다(참고).
6. 실제 촬영 영상
FLOYD가 편광 카메라(16 mm 렌즈, 약 1 m)로 투명 휴대폰 케이스를 손에 들고 움직이며 녹화한 원시 12-bit 영상을 네 가지로 처리했습니다(실제 속도).
| 화면 | 보이는 것 |
|---|---|
| RGB | 투명 케이스는 배경이 비쳐 윤곽이 흐림 |
| DoLP | 케이스의 테두리 · 곡면에서 반사광이 강하게 편광되어 윤곽이 밝은 선으로 드러남 |
| AoLP | 표면이 기울어진 방향에 따라 색이 바뀜 — 곡면을 따라 색이 연속으로 변하는 것이 표면 방향 정보 |
| I_min | 편광된 반사광을 뺀 영상 — 광택 반사가 줄어든 밝기 |
7. ROVI-Polar 처리 흐름
- 획득: 편광 카메라 한 대로 원시 12-bit 영상을 한 번에 찍습니다.
- 편광 계산: 네 방향으로 나눠 Stokes 값을 구하고, 화소 정합된 RGB · DoLP · AoLP · I_min을 만듭니다.
- 법선 · 깊이 복원: 편광을 굴절률 · 천정각 · 방위각으로 해석해 법선을 구하고, RGB 기반 깊이와 결합해 투명 영역의 깊이를 복원합니다. 투명 영역 마스크도 함께 냅니다.
- 6D 자세: 복원한 깊이 · 마스크 · RGB와 부품 CAD로 AI ToolBox의 기존 6D 자세 엔진(ROVI-3D + ICP)이 위치와 방향을 계산합니다 — 데이터 규약과 엔진을 그대로 재사용합니다.
목표 성능
| 항목 | 값 | 구분 |
|---|---|---|
| 6D 자세 오차 | ≤ 5 mm / ≤ 3° @ 1 m | 목표 |
| 투명 영역 깊이 δ1 | ≥ 0.75 | 목표 |
| 처리 속도 | ≥ 5 fps (깊이 단독 ≥ 20 fps) | 목표 |
| 투명 영역 깊이 δ1 (논문) | 0.859 — RGB 단독 깊이 모델 0.547 | 참고 |
| 깊이 추론 시간 (논문) | 25 ms | 참고 |
8. 장점과 한계
장점
| 장점 | 이유 |
|---|---|
| 투명 · 광택 표면에 강함 | 다른 3D 센서를 방해하는 반사가 편광 카메라에는 오히려 신호 |
| 카메라 한 대 · 한 번의 촬영 | RGB와 편광이 화소 단위로 정합 — 여러 센서를 맞추는 보정이 필요 없음 |
| 수동 센서 | 무늬나 레이저를 쏘지 않음 — 다른 센서 · 사람과 간섭이 없음 |
| 반사 억제 영상 | 편광 성분을 빼서 유리 · 비닐 너머를 더 잘 봄 |
| 일반 산업용 카메라와 같은 형태 | 같은 크기 · 렌즈(C-mount) · 인터페이스(GigE) |
한계
| 한계 | 내용 | 대응 |
|---|---|---|
| 해상도 · 빛의 양 | 4 × 4 화소가 한 단위, 편광 필터로 들어오는 빛이 줄어 노출이 길어짐 | 렌즈 배율 선택, 확산 조명 |
| 재질 가정 | 굴절률 범위(약 1.3–1.6)의 투명체 기준 — 금속은 편광 거동이 다름 | 금속 반사체는 별도 모델(향후) |
| 편광이 약한 재질 · 각도 | 정면에서 본 표면, 거친 표면은 편광이 약함 | 투명 영역 마스크로 영향을 좁힘, 조명 배치 |
| 응력 복굴절 | 사출 성형한 PC · PET 부품은 내부 응력이 투과광의 편광을 바꿈 | 실측으로 영향 범위 확인, 반사 성분 중심 해석 |
| 조명의 편광 | LCD 모니터 · 편광 조명 · 강한 직사광은 결과를 흐림 | 무편광 확산 조명, 촬영 가이드 |
| 개발 단계 | 깊이 복원 · 자세 통합은 개발 중 | 로드맵 (10장) |
9. 어디에 쓰나
선택 가이드
◎ 최적 · ○ 가능 · △ 제한적 · ✕ 부적합
| 과제 | 편광 | ToF · 구조광 | RGB | 이유 |
|---|---|---|---|---|
| 투명 플라스틱 · 유리 부품의 자세 · 피킹 | ◎ | △ | △ | 투명체 표면의 반사 편광으로 기울기를 읽음 (ROVI-Polar) |
| 유리 · 비닐 너머 판독 | ○ | ✕ | △ | 반사 억제 영상 |
| 광택면 흠집 · 찍힘 | ○ | △ | ○ | 표면 방향이 바뀌는 곳이 AoLP에서 드러남 |
| 투명 부품의 응력 확인 | ○ | ✕ | ✕ | 응력 복굴절이 편광을 바꿈 |
| 불투명 · 무광 물체의 3D | △ | ◎ | ○ | 이 경우는 ToF · 구조광이 더 정확 |
| 색 · 글자 검사 | △ | ✕ | ◎ | 색은 RGB의 영역 |
FLOYD의 적용
ROVI-Polar는 사출 성형 투명 플라스틱 부품(PC · PMMA · PET)의 피킹을 첫 대상으로 개발하고, 이후 투명 · 반사체 검사로 넓힐 계획입니다.
10. 카메라와 ROVI-Polar
LUCID Triton 5.0 MP 편광 카메라
| 항목 | 내용 (사양) |
|---|---|
| 모델 | Triton TRI050S1-QC (편광 컬러) |
| 센서 | Sony IMX264MYR (Polarsens) · 2/3" · 글로벌 셔터 |
| 해상도 · 화소 | 2448 × 2048 (5.0 MP) · 3.45 µm |
| 편광 필터 | 0° · 45° · 90° · 135° (2 × 2 화소 단위), 컬러는 2 × 2 묶음 단위 |
| 속도 · 비트 | 최대 24 fps · 12-bit |
| 인터페이스 | GigE Vision · PoE 또는 12–24 V |
| 렌즈 · 크기 | C-mount · 29 × 29 × 45 mm |
ROVI-Polar
| 항목 | 내용 |
|---|---|
| 카메라 | LUCID Triton TRI050S1-QC (편광 컬러 · 5 MP) |
| 렌즈 · 거리 | 16 mm C-mount · 작업 거리 1 m (시야 528 × 442 mm) |
| 처리 | NVIDIA GPU PC (RTX 4080급) |
| 출력 | RGB · DoLP · AoLP · 반사 억제 영상 → 깊이 · 투명 영역 마스크 → 6D 자세 |
| 성숙도 | 로드맵 — 편광 카메라 수집 · 처리 도구 완료, 실카메라 녹화 시작. 편광 깊이 복원 · 자세 통합 개발 중 (2026) |
적용 검토 요청은 floyd.kr 문의에서 받습니다.
11. 용어
| 용어 | 뜻 |
|---|---|
| 편광 | 빛이 진동하는 방향. 무편광 = 제각각, 직선 편광 = 한 방향 |
| DoLP | Degree of Linear Polarization, 편광도. 0(무편광) – 1(완전 편광) |
| AoLP | Angle of Linear Polarization, 편광각. 편광의 방향 0–180° |
| Stokes 값 (S0 · S1 · S2) | 네 방향 밝기로 계산하는 편광 상태의 표현 |
| I_min | 편광 성분을 뺀 밝기 — 반사가 줄어든 영상 |
| 굴절률 (η) | 재질 안에서 빛이 느려지는 정도. 투명 플라스틱 약 1.5 |
| 브루스터 각 | 반사광이 완전히 편광되는 각도. 굴절률 1.5에서 약 56° |
| 천정각 · 방위각 | 표면 법선이 카메라 축에서 기운 각도 · 기운 방향 |
| 법선 | 표면에 수직인 방향 |
| 응력 복굴절 | 재질 내부의 응력 때문에 빛의 편광이 바뀌는 현상 |
| δ1 | 깊이 정확도 지표. 정답과 25 % 이내로 맞은 화소의 비율 |
| 6D 자세 | 물체의 위치(3) + 방향(3) |