이벤트 카메라(EVS) 백서
이벤트 카메라(EVS)는 어떻게 만들어졌고 어떤 원리로 움직임을 보는지, 일반 RGB 카메라와 무엇이 다른지를 그림과 영상으로 설명합니다.
1. 요약
일반 카메라(RGB 카메라)는 정해진 간격으로 화면 전체를 찍는 센서입니다. 이벤트 카메라(EVS, Event-based Vision Sensor)는 밝기가 바뀐 픽셀만, 바뀐 순간에 신호를 내는 센서입니다. 그래서 EVS는 사진을 찍는 장치라기보다 움직임을 직접 출력하는 센서에 가깝습니다.
| RGB 카메라 | 이벤트 카메라 (EVS) | |
|---|---|---|
| 무엇을 내보내나 | 일정 간격(fps)마다 모든 픽셀의 밝기 = 장면의 상태 | 밝기가 바뀐 픽셀의 (x, y, 극성, 시각) = 장면의 변화 |
| 시간 해상도 | 1/fps (30 fps면 33 ms), 노출 동안 흐려짐 | µs 단위 시각, 10,000 fps 이상에 해당 (사양) |
| 다이내믹 레인지 | 약 60–70 dB | 120 dB 이상 (사양) |
| 데이터량 | 장면과 상관없이 일정 | 움직임에 비례, 멈춘 장면은 거의 0 |
| 잘하는 것 | 색 · 질감 · 정지한 물체 인식 | 빠른 움직임, 속도, 역광 · 저조도, 낮은 지연 |
| 못 하는 것 | 프레임 사이의 순간, 고속 움직임, 강한 역광 | 정지한 물체, 색 · 질감 |
한 줄로: EVS는 "언제 · 어디서 · 얼마나 빨리 움직였는가"를, RGB는 "무엇인가"를 잘 봅니다. 두 센서는 서로를 대체하기보다 보완합니다.
2. 프레임 카메라가 놓치는 것
영화가 그렇듯 프레임 카메라는 정지 사진을 빠르게 이어 붙여 움직임을 표현합니다. 이 방식에는 원리적인 한계가 세 가지 있습니다.
- 프레임 사이는 보지 못합니다. 30 fps 카메라는 33 ms마다 한 장을 찍고, 그 사이에 일어난 일은 기록하지 않습니다. 빠른 깜빡임 · 충돌 · 낙하는 두 장 사이에 끝나 버릴 수 있습니다.
- 노출 시간 동안 흐려집니다. 한 장을 찍는 동안 물체가 움직이면 모션 블러가 생깁니다. 노출을 줄이면 화면이 어두워지고 잡음이 늘어납니다.
- 바뀌지 않은 곳도 매번 다시 보냅니다. 장면의 대부분이 멈춰 있어도 모든 픽셀을 매 프레임 전송하고 처리합니다. 움직임을 찾으려면 이 많은 데이터에서 배경을 다시 걸러 내야 합니다.
여기에 더해, 한 번의 노출로 담을 수 있는 밝기 범위가 좁아 강한 역광에서는 밝은 쪽이 하얗게, 어두운 쪽이 까맣게 날아갑니다.
3. 이벤트 카메라의 원리
EVS의 각 픽셀은 자기 위치의 밝기를 로그(log) 값으로 계속 지켜봅니다. 그리고 마지막으로 이벤트를 낸 때의 값(기준값)과 지금 값의 차이가 정해진 임계값 C를 넘으면 그 순간 이벤트를 하나 냅니다.
- 기준값보다 C 이상 밝아지면 ON 이벤트, C 이상 어두워지면 OFF 이벤트입니다.
- 이벤트를 내면 기준값을 지금 값으로 바꾸고, 다시 다음 변화를 기다립니다.
- 밝기가 변하지 않으면 아무것도 내보내지 않습니다.
- 모든 픽셀이 이 일을 각자, 동시에(비동기) 합니다. 다른 픽셀이나 프레임 시계를 기다리지 않습니다.
이벤트 하나에 담긴 것
| 항목 | 뜻 |
|---|---|
| x, y | 픽셀 위치 |
| 극성 (polarity) | 밝아졌는지(ON, 1) · 어두워졌는지(OFF, 0) |
| 시각 (timestamp) | µs 단위. 이벤트마다 따로 찍힘 |
이벤트는 "어느 픽셀이 언제 얼마나 바뀌었는가"의 목록이라, 사람이 보려면 일정 시간 동안의 이벤트를 모아 그려야 합니다(누적 프레임, 시간 표면 — 7장).
왜 로그 밝기인가
로그 값의 차이는 밝기의 비율입니다. 그래서 같은 물체의 가장자리는 어두운 그늘에서도, 400배 밝은 햇빛 아래에서도 같은 크기의 변화로 보입니다. 이것이 EVS의 넓은 다이내믹 레인지(120 dB 이상)의 바탕입니다.
4. EVS 센서 구조
EVS 픽셀에는 빛을 받는 부분 뒤에 변화를 판단하는 회로가 함께 들어 있습니다. 프레임 카메라의 픽셀이 "빛을 모아 두었다가 읽히기를 기다리는" 구조라면, EVS 픽셀은 "스스로 판단해 바뀐 것만 알리는" 구조입니다.
| 단계 | 하는 일 |
|---|---|
| 포토다이오드 | 들어온 빛을 전류로 바꿈 |
| 로그 변환 (광수용기) | 전류를 로그 밝기 전압으로 — 아주 어두운 곳부터 직사광까지 한 번에 다룸 |
| 변화 검출 | 직전 이벤트 때 기억해 둔 값과 지금 값의 차이를 계속 계산 |
| 비교기 (ON / OFF) | 차이가 +C를 넘으면 ON, −C를 넘으면 OFF 이벤트를 내고 기준값을 리셋 |
| 비동기 읽기 | 이벤트를 낸 픽셀만 순서대로 읽어 위치 · 극성 · 시각을 붙여 내보냄 |
적층형 센서와 칩 안의 처리
ROVI-EVS에 쓰는 Sony IMX636은 빛을 받는 화소 칩과 이벤트를 판단 · 처리하는 로직 칩을 겹쳐 붙인 적층형 센서입니다. 판단 회로를 아래 칩으로 옮겨 화소를 작게(4.86 µm) 만들면서 1280 × 720 해상도를 얻었습니다. 로직 칩에는 이벤트를 정리하는 기능도 들어 있습니다.
| 칩 안의 기능 | 하는 일 |
|---|---|
| 이벤트율 제어 (ERC) | 초당 이벤트 수에 상한을 두어 갑자기 이벤트가 쏟아져도 전송 · 처리가 넘치지 않게 함 |
| 깜빡임 제거 (AFK) | 형광등 · LED 조명처럼 일정 주파수로 깜빡이는 빛이 만든 이벤트를 걸러 냄 |
| 잡음 필터 (STC) | 주변과 이어지지 않는 외톨이 이벤트(잡음)를 걸러 냄 |
5. 프레임과 이벤트, 무엇이 다른가
밝은 원판 위에서 검은 점이 1초에 5바퀴 도는 장면을 x · y · 시간 공간에 그려 보면 차이가 분명합니다.
| 비교 항목 | RGB 카메라 | 이벤트 카메라 (EVS) |
|---|---|---|
| 동작 방식 | 모든 픽셀이 같은 시각에 노출 → 한꺼번에 읽음 | 픽셀마다 따로, 변화가 생긴 순간 |
| 시간 해상도 | 1/fps — 30 fps면 33 ms | µs 단위 시각, 10,000 fps 이상에 해당 (사양) |
| 지연 | 노출 + 프레임 전송 대기 | 픽셀 지연 100 µs 이하 @ 1000 lx (사양) |
| 모션 블러 | 노출 시간 동안 생김 | 노출이 없어 생기지 않음 |
| 다이내믹 레인지 | 약 60–70 dB (HDR은 여러 번 노출) | 120 dB 이상 (사양) — 로그 응답 |
| 데이터량 | 1280 × 720 × 60 fps = 초당 약 5,500만 픽셀 값, 장면과 무관 | 정지에 가까운 실내 약 33만 이벤트/s, 보행자 장면 약 200만 이벤트/s (실측) |
| 정지한 장면 | 그대로 보임 | 이벤트 없음 → 비어 보임 |
| 색 · 질감 | 있음 | 없음 (밝기 변화만) |
| 센서 설정 | 노출 · 게인 · 화이트 밸런스 (자동화가 성숙) | 감도 · 칩 안 필터를 장면에 맞춰 설정 |
6. 모션 블러와 다이내믹 레인지
1초에 20바퀴 도는 선풍기 날개 앞에서, 오른쪽 절반에는 그늘보다 400배 밝은 햇빛이 든다고 해 보겠습니다.
- 모션 블러: RGB는 노출 시간을 줄이면 블러가 줄지만 그만큼 어두워집니다. EVS는 노출이라는 개념이 없어 빠른 물체도 가장자리가 그대로 남습니다.
- 다이내믹 레인지: RGB는 그늘에 노출을 맞추면 햇빛 쪽이 포화되고, 햇빛에 맞추면 그늘이 까맣게 됩니다. EVS는 밝기의 비율 변화를 보므로 두 영역을 동시에 봅니다.
- 배경: 움직이지 않는 벽 · 축은 EVS에 나타나지 않습니다. 움직이는 것만 남기 때문에 배경을 지우는 처리가 필요 없습니다.
7. 실제 촬영 영상
아래는 모두 FLOYD가 Triton2 EVS(6.5 mm 렌즈)로 직접 녹화한 영상입니다.
30 fps와 10,000 fps
이벤트를 0.1 ms 간격으로 모아 그리면 10,000 fps 영상처럼 볼 수 있습니다. 같은 장면을 30 fps 카메라로 찍었을 때(노출 33 ms)와 나란히 비교했습니다.
이벤트를 보는 두 가지 방법
| 보기 | 그리는 방법 | 좋은 점 |
|---|---|---|
| 누적 프레임 (이벤트 뷰) | 짧은 시간 동안의 이벤트를 점으로 찍음, 극성별 색 | 가장자리 모양이 잘 보임 |
| 시간 표면 | 픽셀마다 마지막 이벤트 시각을 밝기로 — 최근일수록 밝게 | 움직인 방향 · 흐름이 한눈에 보임 |
움직이는 대상 추적
EVS에서는 "이벤트가 모인 곳 = 움직인 곳"이라, 배경 모델이나 AI 인식 모델 없이도 움직이는 대상을 바로 찾을 수 있습니다. ROVI-EVS는 이렇게 찾은 대상에 ID를 붙이고 속도와 궤적을 계산합니다 — 갱신 100 Hz, 추적 처리 p95 3 ms (실측).
8. 장점과 한계
장점
| 장점 | 이유 | 수치 |
|---|---|---|
| 움직임 = 신호 | 멈춘 배경은 출력되지 않음 → 배경 제거가 필요 없음 | — |
| 높은 시간 해상도 · 낮은 지연 | 픽셀마다 변화 순간에 바로 출력 | 10,000 fps 이상에 해당 · 픽셀 지연 100 µs 이하 (사양) |
| 모션 블러 없음 | 노출 시간이 없음 | — |
| 넓은 다이내믹 레인지 | 로그 응답 — 밝기의 비율을 봄 | 120 dB 이상 · 최저 0.08 lx (사양) |
| 적은 데이터 · 적은 연산 | 바뀐 픽셀만 출력, 멈추면 거의 0 | 정지 실내 약 33만 이벤트/s (실측) |
| 프라이버시 | 출력에 색 · 질감이 없어 얼굴을 알아보기 어려움 | — |
한계
| 한계 | 내용 | 대응 |
|---|---|---|
| 정지한 물체가 안 보임 | 카메라와 대상이 모두 멈추면 이벤트가 없음 | 추적 소프트웨어가 잠시 멈춘 대상을 기억 · 정지 상태 확인은 RGB와 함께 |
| 색 · 질감이 없음 | "움직이는 무언가"는 알지만 사람 · 차량 · 물건의 구분은 어려움 | 종류 구분이 필요하면 RGB 카메라와 함께 구성 |
| 낮은 대비 | 임계값 C보다 작은 밝기 변화는 이벤트가 나오지 않음 — 배경과 비슷한 색의 대상, 먼 거리 | 렌즈 · 조명 · 설치 거리 조정 |
| 이벤트 폭주 | 깜빡이는 조명, 카메라 흔들림, 조명 켜고 끄기 때 모든 픽셀이 반응 | 칩 안의 깜빡임 제거 · 이벤트율 제어, 카메라 고정 |
| 해상도 · 가격 | 0.92 MP, 1/2.5" 센서 — 동급 RGB 카메라보다 비쌈 | 움직임 · 속도가 핵심인 곳에 투입 |
| 도구 · 경험 | RGB에 비해 AI 모델 · 공개 데이터 · 표준 도구가 적고, 장면별 설정 경험이 필요 | FLOYD 처리 소프트웨어 · 설정 지원 |
9. 어디에 쓰나
선택 가이드
◎ 최적 · ○ 가능 · △ 제한적 · ✕ 부적합
| 과제 | EVS | RGB | 함께 | 이유 |
|---|---|---|---|---|
| 출입 계수 · 동선 · 통과 속도 | ◎ | ○ | ◎ | 움직임만 보므로 배경 처리 없이 바로 |
| 고속 낙하물 · 회전체 · 진동 계측 | ◎ | △ | ○ | µs 시간 해상도, 블러 없음 (RGB는 고속 카메라 필요) |
| 역광 출입구 · 터널 · 야간 | ◎ | △ | ◎ | 120 dB 이상 다이내믹 레인지 |
| 대역폭 · 전력이 제한된 장기 감시 | ◎ | △ | ○ | 움직임이 없으면 데이터가 거의 0 |
| 프라이버시가 중요한 공간 | ◎ | △ | △ | 출력에 얼굴 · 질감이 없음 |
| 차량 · 사람 종류 구분 | △ | ◎ | ◎ | 종류 구분은 RGB, 움직임 · 속도는 EVS |
| 정지한 물체 · 재고 확인 | ✕ | ◎ | ○ | EVS는 멈춘 것을 보지 못함 |
| 색 · 글자 · 외관 검사 | ✕ | ◎ | △ | 색 · 질감은 RGB의 영역 |
함께 쓰는 구성: EVS가 움직임이 생긴 순간 · 위치 · 속도를 먼저 알려 주고, RGB는 그때 그 영역만 확인합니다. 두 센서의 약점이 서로 메워지고, RGB 쪽 연산도 줄어듭니다.
적용 예
카메라 공급사(LUCID) 자료에 실린 적용 분야입니다. 수치는 업체 자료 기준이며 조건에 따라 다릅니다.
| 분야 | 예 |
|---|---|
| 설비 · 공정 | 진동 주파수 비접촉 측정(1 Hz ~ kHz, 픽셀 단위), 케이블 · 실의 속도와 미끄러짐 감시, 고속 계수(초당 1,000개 이상), 라인 레이저 고속 3D 측정(10 kHz 이상) |
| 안전 · 공간 | 사람 계수 · 추적, 쓰러짐 감지, 안전 구역 침입 감지, 제스처 인식 |
| 교통 | 교통량 · 차량 추적, 터널 출입구처럼 밝기 차가 큰 장면 |
| 드론 · 로봇 | 고속 비행체 추적, 장애물 회피, LED 마커 측위 |
| 사람 · 시선 | kHz급 눈 추적, 운전자 모니터링(저조도) |
FLOYD는 움직이는 사람 · 차량 추적(ROVI-EVS 평가 키트)과 고속 낙하물 계수(의약품), 역광 · 저조도 환경의 이동체 추적을 우선 검토하고 있습니다.
10. Triton2 EVS와 ROVI-EVS
LUCID Triton2 EVS
| 항목 | 내용 (사양) |
|---|---|
| 모델 | TRT009S-EC (Sony IMX636, 1280 × 720, 0.9 MP) · TRT003S-EC (Sony IMX637, 640 × 512, 0.3 MP) |
| 화소 | 4.86 µm · 1/2.5" (IMX636) |
| 시간 해상도 | 10,000 fps 이상에 해당 |
| 다이내믹 레인지 | 120 dB 이상 |
| 최저 조도 | 0.08 lx |
| 인터페이스 | M12 2.5GigE · PoE |
| 보호 등급 | IP67 (먼지 · 물) |
| 렌즈 | C-mount |
ROVI-EVS
ROVI-EVS는 Triton2 EVS(TRT009S-EC)와 FLOYD 처리 소프트웨어를 묶은 평가 키트입니다. GPU 없이 CPU만으로 움직이는 대상을 찾아 ID · 박스 · 속도 · 궤적을 실시간으로 표시하고 CSV로 저장하며, 10,000 fps 슈퍼 슬로모션으로 빠른 순간을 다시 볼 수 있습니다.
| 항목 | 내용 |
|---|---|
| 갱신 주기 | 100 Hz (10 ms) (실측) |
| 추적 처리 시간 | p95 3 ms (실측) |
| 라이브 처리 상한 | 9.8 Mev/s · 손실 0 (실측) |
| 슈퍼 슬로모션 | 0.1 ms 간격, 10,000 fps에 해당 |
설치 · 사용법은 ROVI-EVS 사용자 매뉴얼에, 적용 검토 요청은 floyd.kr 문의에서 받습니다.
11. 용어
| 용어 | 뜻 |
|---|---|
| EVS · 이벤트 카메라 | Event-based Vision Sensor. 밝기가 바뀐 픽셀만 바뀐 순간에 출력하는 센서. DVS(Dynamic Vision Sensor), 뉴로모픽 카메라라고도 부름 |
| 이벤트 | 한 픽셀의 밝기 변화 하나 — (x, y, 극성, 시각) |
| 극성 | 밝아짐(ON) / 어두워짐(OFF) |
| 임계값 (C) | 이벤트를 내는 최소 로그 밝기 변화 — 작을수록 민감하고 잡음도 많아짐 |
| 이벤트율 | 초당 이벤트 수. ev/s, Mev/s(초당 백만 개) |
| 누적 프레임 | 짧은 시간 동안의 이벤트를 한 장에 모아 그린 화면 |
| 시간 표면 | 픽셀마다 마지막 이벤트 시각을 밝기로 나타낸 화면 |
| 다이내믹 레인지 | 한 장면에서 동시에 볼 수 있는 가장 어두운 곳과 가장 밝은 곳의 비. 20 dB = 10배, 120 dB = 100만 배 |
| fps에 해당 | 이벤트를 그 간격으로 모아 그렸을 때의 프레임 수. 10,000 fps에 해당 = 0.1 ms 간격 |
| ERC · AFK · STC | 칩 안의 이벤트율 제어 · 깜빡임 제거 · 잡음 필터 (4장) |