ROVI-EVS · WHITE PAPER

이벤트 카메라(EVS) 백서

이벤트 카메라(EVS)는 어떻게 만들어졌고 어떤 원리로 움직임을 보는지, 일반 RGB 카메라와 무엇이 다른지를 그림과 영상으로 설명합니다.

1. 요약

일반 카메라(RGB 카메라)는 정해진 간격으로 화면 전체를 찍는 센서입니다. 이벤트 카메라(EVS, Event-based Vision Sensor)는 밝기가 바뀐 픽셀만, 바뀐 순간에 신호를 내는 센서입니다. 그래서 EVS는 사진을 찍는 장치라기보다 움직임을 직접 출력하는 센서에 가깝습니다.

RGB 카메라이벤트 카메라 (EVS)
무엇을 내보내나일정 간격(fps)마다 모든 픽셀의 밝기 = 장면의 상태밝기가 바뀐 픽셀의 (x, y, 극성, 시각) = 장면의 변화
시간 해상도1/fps (30 fps면 33 ms), 노출 동안 흐려짐µs 단위 시각, 10,000 fps 이상에 해당 (사양)
다이내믹 레인지약 60–70 dB120 dB 이상 (사양)
데이터량장면과 상관없이 일정움직임에 비례, 멈춘 장면은 거의 0
잘하는 것색 · 질감 · 정지한 물체 인식빠른 움직임, 속도, 역광 · 저조도, 낮은 지연
못 하는 것프레임 사이의 순간, 고속 움직임, 강한 역광정지한 물체, 색 · 질감

한 줄로: EVS는 "언제 · 어디서 · 얼마나 빨리 움직였는가"를, RGB는 "무엇인가"를 잘 봅니다. 두 센서는 서로를 대체하기보다 보완합니다.

2. 프레임 카메라가 놓치는 것

영화가 그렇듯 프레임 카메라는 정지 사진을 빠르게 이어 붙여 움직임을 표현합니다. 이 방식에는 원리적인 한계가 세 가지 있습니다.

  1. 프레임 사이는 보지 못합니다. 30 fps 카메라는 33 ms마다 한 장을 찍고, 그 사이에 일어난 일은 기록하지 않습니다. 빠른 깜빡임 · 충돌 · 낙하는 두 장 사이에 끝나 버릴 수 있습니다.
  2. 노출 시간 동안 흐려집니다. 한 장을 찍는 동안 물체가 움직이면 모션 블러가 생깁니다. 노출을 줄이면 화면이 어두워지고 잡음이 늘어납니다.
  3. 바뀌지 않은 곳도 매번 다시 보냅니다. 장면의 대부분이 멈춰 있어도 모든 픽셀을 매 프레임 전송하고 처리합니다. 움직임을 찾으려면 이 많은 데이터에서 배경을 다시 걸러 내야 합니다.

여기에 더해, 한 번의 노출로 담을 수 있는 밝기 범위가 좁아 강한 역광에서는 밝은 쪽이 하얗게, 어두운 쪽이 까맣게 날아갑니다.

3. 이벤트 카메라의 원리

EVS의 각 픽셀은 자기 위치의 밝기를 로그(log) 값으로 계속 지켜봅니다. 그리고 마지막으로 이벤트를 낸 때의 값(기준값)과 지금 값의 차이가 정해진 임계값 C를 넘으면 그 순간 이벤트를 하나 냅니다.

log 밝기 시간 프레임 사이의 빠른 변화 → RGB는 놓침, EVS는 이벤트로 기록 변화 없음 → 이벤트 없음 (데이터 0) 기준값 ± C (임계값) ON 이벤트 (밝아짐) OFF 이벤트 (어두워짐) RGB 프레임 — 33 ms마다 한 번 (30 fps)
한 픽셀의 밝기 변화(흰 선)와 이벤트. 회색 점선은 기준값, 화살표는 기준값에서 C만큼 벗어날 때마다 나온 ON(주황) · OFF(파랑) 이벤트입니다. 회색 원은 30 fps RGB 카메라가 같은 픽셀을 찍는 시점입니다 — 두 프레임 사이의 짧은 깜빡임을 RGB는 놓치지만 EVS는 이벤트로 기록합니다.

이벤트 하나에 담긴 것

항목뜻
x, y픽셀 위치
극성 (polarity)밝아졌는지(ON, 1) · 어두워졌는지(OFF, 0)
시각 (timestamp)µs 단위. 이벤트마다 따로 찍힘

이벤트는 "어느 픽셀이 언제 얼마나 바뀌었는가"의 목록이라, 사람이 보려면 일정 시간 동안의 이벤트를 모아 그려야 합니다(누적 프레임, 시간 표면 — 7장).

왜 로그 밝기인가

로그 값의 차이는 밝기의 비율입니다. 그래서 같은 물체의 가장자리는 어두운 그늘에서도, 400배 밝은 햇빛 아래에서도 같은 크기의 변화로 보입니다. 이것이 EVS의 넓은 다이내믹 레인지(120 dB 이상)의 바탕입니다.

4. EVS 센서 구조

EVS 픽셀에는 빛을 받는 부분 뒤에 변화를 판단하는 회로가 함께 들어 있습니다. 프레임 카메라의 픽셀이 "빛을 모아 두었다가 읽히기를 기다리는" 구조라면, EVS 픽셀은 "스스로 판단해 바뀐 것만 알리는" 구조입니다.

픽셀 하나 (PIXEL) 빛 장면의 밝기 포토다이오드 빛 → 전류 로그 변환 전류 → log 밝기 넓은 밝기 범위 변화 검출 직전 이벤트 때 값과 지금 값의 차이 비교기 +C 넘음 → ON −C 넘음 → OFF 이벤트 (x, y, 극성, 시각) µs 단위 시각 이벤트를 내면 기준값을 지금 값으로 리셋 모든 픽셀이 각자 · 동시에 판단 1280 × 720 픽셀 (IMX636) 변화가 생긴 픽셀만 이벤트 출력 → 하나의 이벤트 스트림 비동기 읽기 · 시각 순서 · 2.5GigE
EVS 픽셀 구조 — 빛 → 포토다이오드 → 로그 변환 → 변화 검출 → 비교기 → 이벤트, 이벤트를 내면 기준값 리셋. 아래: 모든 픽셀이 각자 판단하고, 바뀐 픽셀의 이벤트만 하나의 스트림으로 나갑니다.
단계하는 일
포토다이오드들어온 빛을 전류로 바꿈
로그 변환 (광수용기)전류를 로그 밝기 전압으로 — 아주 어두운 곳부터 직사광까지 한 번에 다룸
변화 검출직전 이벤트 때 기억해 둔 값과 지금 값의 차이를 계속 계산
비교기 (ON / OFF)차이가 +C를 넘으면 ON, −C를 넘으면 OFF 이벤트를 내고 기준값을 리셋
비동기 읽기이벤트를 낸 픽셀만 순서대로 읽어 위치 · 극성 · 시각을 붙여 내보냄

적층형 센서와 칩 안의 처리

ROVI-EVS에 쓰는 Sony IMX636은 빛을 받는 화소 칩과 이벤트를 판단 · 처리하는 로직 칩을 겹쳐 붙인 적층형 센서입니다. 판단 회로를 아래 칩으로 옮겨 화소를 작게(4.86 µm) 만들면서 1280 × 720 해상도를 얻었습니다. 로직 칩에는 이벤트를 정리하는 기능도 들어 있습니다.

칩 안의 기능하는 일
이벤트율 제어 (ERC)초당 이벤트 수에 상한을 두어 갑자기 이벤트가 쏟아져도 전송 · 처리가 넘치지 않게 함
깜빡임 제거 (AFK)형광등 · LED 조명처럼 일정 주파수로 깜빡이는 빛이 만든 이벤트를 걸러 냄
잡음 필터 (STC)주변과 이어지지 않는 외톨이 이벤트(잡음)를 걸러 냄
이 기능들은 ROVI-EVS 평가 키트의 제어 창에서 켜고 끌 수 있습니다(사용자 매뉴얼 5장 "제어 창").

5. 프레임과 이벤트, 무엇이 다른가

밝은 원판 위에서 검은 점이 1초에 5바퀴 도는 장면을 x · y · 시간 공간에 그려 보면 차이가 분명합니다.

설명용 그림(실제 시간보다 10배 느리게). 왼쪽: 30 fps 프레임 카메라는 33 ms마다 얇은 단면을 찍고 그 사이는 비어 있습니다. 오른쪽: 이벤트 카메라는 점의 가장자리가 지나가는 픽셀마다 이벤트를 내어 끊김 없는 나선을 그립니다 — 앞쪽 가장자리는 어두워지므로 OFF(파랑), 뒤쪽은 밝아지므로 ON(주황).
비교 항목RGB 카메라이벤트 카메라 (EVS)
동작 방식모든 픽셀이 같은 시각에 노출 → 한꺼번에 읽음픽셀마다 따로, 변화가 생긴 순간
시간 해상도1/fps — 30 fps면 33 msµs 단위 시각, 10,000 fps 이상에 해당 (사양)
지연노출 + 프레임 전송 대기픽셀 지연 100 µs 이하 @ 1000 lx (사양)
모션 블러노출 시간 동안 생김노출이 없어 생기지 않음
다이내믹 레인지약 60–70 dB (HDR은 여러 번 노출)120 dB 이상 (사양) — 로그 응답
데이터량1280 × 720 × 60 fps = 초당 약 5,500만 픽셀 값, 장면과 무관정지에 가까운 실내 약 33만 이벤트/s, 보행자 장면 약 200만 이벤트/s (실측)
정지한 장면그대로 보임이벤트 없음 → 비어 보임
색 · 질감있음없음 (밝기 변화만)
센서 설정노출 · 게인 · 화이트 밸런스 (자동화가 성숙)감도 · 칩 안 필터를 장면에 맞춰 설정

6. 모션 블러와 다이내믹 레인지

1초에 20바퀴 도는 선풍기 날개 앞에서, 오른쪽 절반에는 그늘보다 400배 밝은 햇빛이 든다고 해 보겠습니다.

설명용 합성 영상(실제 시간보다 40배 느리게). 왼쪽: 30 fps · 노출 1/60 s RGB 카메라 — 한 번 노출하는 동안 날개가 1/3바퀴 돌아 원판처럼 흐려지고, 햇빛 쪽은 하얗게 포화되어 날개가 사라집니다. 오른쪽: 같은 장면의 이벤트(최근 0.3 ms) — 그늘과 햇빛 모두에서 날개 가장자리가 선명하고, 멈춰 있는 벽과 축에서는 이벤트가 나오지 않습니다.

7. 실제 촬영 영상

아래는 모두 FLOYD가 Triton2 EVS(6.5 mm 렌즈)로 직접 녹화한 영상입니다.

30 fps와 10,000 fps

이벤트를 0.1 ms 간격으로 모아 그리면 10,000 fps 영상처럼 볼 수 있습니다. 같은 장면을 30 fps 카메라로 찍었을 때(노출 33 ms)와 나란히 비교했습니다.

왼쪽: 30 fps 카메라로 찍었을 때(노출 33 ms) · 오른쪽: 같은 순간을 이벤트로 그린 10,000 fps 프레임

이벤트를 보는 두 가지 방법

보기그리는 방법좋은 점
누적 프레임 (이벤트 뷰)짧은 시간 동안의 이벤트를 점으로 찍음, 극성별 색가장자리 모양이 잘 보임
시간 표면픽셀마다 마지막 이벤트 시각을 밝기로 — 최근일수록 밝게움직인 방향 · 흐름이 한눈에 보임
이벤트 뷰(왼쪽)와 시간 표면(오른쪽) — 걷는 사람의 가장자리만 나타나고 배경은 비어 있습니다

움직이는 대상 추적

EVS에서는 "이벤트가 모인 곳 = 움직인 곳"이라, 배경 모델이나 AI 인식 모델 없이도 움직이는 대상을 바로 찾을 수 있습니다. ROVI-EVS는 이렇게 찾은 대상에 ID를 붙이고 속도와 궤적을 계산합니다 — 갱신 100 Hz, 추적 처리 p95 3 ms (실측).

ROVI-EVS 라이브 추적 — 박스 · ID · 속도(px/s) · 이동 궤적 · 움직임 화살표

8. 장점과 한계

장점

장점이유수치
움직임 = 신호멈춘 배경은 출력되지 않음 → 배경 제거가 필요 없음—
높은 시간 해상도 · 낮은 지연픽셀마다 변화 순간에 바로 출력10,000 fps 이상에 해당 · 픽셀 지연 100 µs 이하 (사양)
모션 블러 없음노출 시간이 없음—
넓은 다이내믹 레인지로그 응답 — 밝기의 비율을 봄120 dB 이상 · 최저 0.08 lx (사양)
적은 데이터 · 적은 연산바뀐 픽셀만 출력, 멈추면 거의 0정지 실내 약 33만 이벤트/s (실측)
프라이버시출력에 색 · 질감이 없어 얼굴을 알아보기 어려움—

한계

한계내용대응
정지한 물체가 안 보임카메라와 대상이 모두 멈추면 이벤트가 없음추적 소프트웨어가 잠시 멈춘 대상을 기억 · 정지 상태 확인은 RGB와 함께
색 · 질감이 없음"움직이는 무언가"는 알지만 사람 · 차량 · 물건의 구분은 어려움종류 구분이 필요하면 RGB 카메라와 함께 구성
낮은 대비임계값 C보다 작은 밝기 변화는 이벤트가 나오지 않음 — 배경과 비슷한 색의 대상, 먼 거리렌즈 · 조명 · 설치 거리 조정
이벤트 폭주깜빡이는 조명, 카메라 흔들림, 조명 켜고 끄기 때 모든 픽셀이 반응칩 안의 깜빡임 제거 · 이벤트율 제어, 카메라 고정
해상도 · 가격0.92 MP, 1/2.5" 센서 — 동급 RGB 카메라보다 비쌈움직임 · 속도가 핵심인 곳에 투입
도구 · 경험RGB에 비해 AI 모델 · 공개 데이터 · 표준 도구가 적고, 장면별 설정 경험이 필요FLOYD 처리 소프트웨어 · 설정 지원

9. 어디에 쓰나

선택 가이드

◎ 최적 · ○ 가능 · △ 제한적 · ✕ 부적합

과제EVSRGB함께이유
출입 계수 · 동선 · 통과 속도◎○◎움직임만 보므로 배경 처리 없이 바로
고속 낙하물 · 회전체 · 진동 계측◎△○µs 시간 해상도, 블러 없음 (RGB는 고속 카메라 필요)
역광 출입구 · 터널 · 야간◎△◎120 dB 이상 다이내믹 레인지
대역폭 · 전력이 제한된 장기 감시◎△○움직임이 없으면 데이터가 거의 0
프라이버시가 중요한 공간◎△△출력에 얼굴 · 질감이 없음
차량 · 사람 종류 구분△◎◎종류 구분은 RGB, 움직임 · 속도는 EVS
정지한 물체 · 재고 확인✕◎○EVS는 멈춘 것을 보지 못함
색 · 글자 · 외관 검사✕◎△색 · 질감은 RGB의 영역

함께 쓰는 구성: EVS가 움직임이 생긴 순간 · 위치 · 속도를 먼저 알려 주고, RGB는 그때 그 영역만 확인합니다. 두 센서의 약점이 서로 메워지고, RGB 쪽 연산도 줄어듭니다.

적용 예

카메라 공급사(LUCID) 자료에 실린 적용 분야입니다. 수치는 업체 자료 기준이며 조건에 따라 다릅니다.

분야예
설비 · 공정진동 주파수 비접촉 측정(1 Hz ~ kHz, 픽셀 단위), 케이블 · 실의 속도와 미끄러짐 감시, 고속 계수(초당 1,000개 이상), 라인 레이저 고속 3D 측정(10 kHz 이상)
안전 · 공간사람 계수 · 추적, 쓰러짐 감지, 안전 구역 침입 감지, 제스처 인식
교통교통량 · 차량 추적, 터널 출입구처럼 밝기 차가 큰 장면
드론 · 로봇고속 비행체 추적, 장애물 회피, LED 마커 측위
사람 · 시선kHz급 눈 추적, 운전자 모니터링(저조도)

FLOYD는 움직이는 사람 · 차량 추적(ROVI-EVS 평가 키트)과 고속 낙하물 계수(의약품), 역광 · 저조도 환경의 이동체 추적을 우선 검토하고 있습니다.

10. Triton2 EVS와 ROVI-EVS

LUCID Triton2 EVS

항목내용 (사양)
모델TRT009S-EC (Sony IMX636, 1280 × 720, 0.9 MP) · TRT003S-EC (Sony IMX637, 640 × 512, 0.3 MP)
화소4.86 µm · 1/2.5" (IMX636)
시간 해상도10,000 fps 이상에 해당
다이내믹 레인지120 dB 이상
최저 조도0.08 lx
인터페이스M12 2.5GigE · PoE
보호 등급IP67 (먼지 · 물)
렌즈C-mount

ROVI-EVS

ROVI-EVS는 Triton2 EVS(TRT009S-EC)와 FLOYD 처리 소프트웨어를 묶은 평가 키트입니다. GPU 없이 CPU만으로 움직이는 대상을 찾아 ID · 박스 · 속도 · 궤적을 실시간으로 표시하고 CSV로 저장하며, 10,000 fps 슈퍼 슬로모션으로 빠른 순간을 다시 볼 수 있습니다.

항목내용
갱신 주기100 Hz (10 ms) (실측)
추적 처리 시간p95 3 ms (실측)
라이브 처리 상한9.8 Mev/s · 손실 0 (실측)
슈퍼 슬로모션0.1 ms 간격, 10,000 fps에 해당

설치 · 사용법은 ROVI-EVS 사용자 매뉴얼에, 적용 검토 요청은 floyd.kr 문의에서 받습니다.

11. 용어

용어뜻
EVS · 이벤트 카메라Event-based Vision Sensor. 밝기가 바뀐 픽셀만 바뀐 순간에 출력하는 센서. DVS(Dynamic Vision Sensor), 뉴로모픽 카메라라고도 부름
이벤트한 픽셀의 밝기 변화 하나 — (x, y, 극성, 시각)
극성밝아짐(ON) / 어두워짐(OFF)
임계값 (C)이벤트를 내는 최소 로그 밝기 변화 — 작을수록 민감하고 잡음도 많아짐
이벤트율초당 이벤트 수. ev/s, Mev/s(초당 백만 개)
누적 프레임짧은 시간 동안의 이벤트를 한 장에 모아 그린 화면
시간 표면픽셀마다 마지막 이벤트 시각을 밝기로 나타낸 화면
다이내믹 레인지한 장면에서 동시에 볼 수 있는 가장 어두운 곳과 가장 밝은 곳의 비. 20 dB = 10배, 120 dB = 100만 배
fps에 해당이벤트를 그 간격으로 모아 그렸을 때의 프레임 수. 10,000 fps에 해당 = 0.1 ms 간격
ERC · AFK · STC칩 안의 이벤트율 제어 · 깜빡임 제거 · 잡음 필터 (4장)