ROVI-3D 백서
겹쳐 쌓인 부품의 6D 자세를 추정하고 집는 ROVI-3D의 아키텍처, 그리고 현장 촬영 없이 학습 데이터를 만드는 물리 기반 렌더링(PBR)을 그림과 영상으로 설명합니다.
1. 요약
ROVI-3D는 상자 안에 무작위로 겹쳐 쌓인 3차원 부품을 깊이 카메라로 보고, 각 부품의 6D 자세(위치 3 + 방향 3)를 추정해 로봇이 집게 하는 비전 시스템입니다. 핵심은 두 가지입니다.
| 핵심 | 내용 |
|---|---|
| 아키텍처 | 현장 장치(ROVI-3D Vision)가 실시간으로 검출 → 6D 자세 → 집기 결정을 하고, 학습 서버(ROVI.net)가 모델을 만들어 내려보냄 |
| PBR 학습 | 부품 CAD로 물리 기반 렌더링(PBR) 가상 영상을 자동 생성해 학습 — 수천 장에서 수십만 장까지, 겹침(가림) 상황까지 정답과 함께 |
ROVI-3D의 6D 자세 추정 모델은 글로벌 6D 자세 추정 벤치마크 BOP Challenge에서 상용화 기술 기준 TOP 10에 들었습니다(2023).
2. 왜 어려운가
빈 피킹(bin picking) — 상자에 아무렇게나 담긴 부품을 하나씩 집는 일 — 은 로봇 비전에서 가장 어려운 과제 중 하나입니다.
| 어려움 | 내용 |
|---|---|
| 겹침 · 교차 | 부품이 서로 가리고 기대어 있어 한 부품의 일부만 보임 |
| 무작위 자세 | 정해진 방향이 없어 6개 자유도를 모두 추정해야 함 |
| 재질 | 금속 · 광택면은 반사로 영상과 깊이가 흔들림 |
| 집는 순서 | 아래 부품을 먼저 집으면 위의 부품이 무너짐 — 순서도 판단해야 함 |
| 학습 데이터 | AI 학습에는 수많은 영상과 화소 단위 정답(마스크 · 6D 자세)이 필요한데, 사람이 이 정답을 만드는 것은 사실상 불가능하고 현장 촬영에도 시간과 비용이 큼 |
ROVI-3D는 앞의 네 가지를 아키텍처로, 마지막 문제를 PBR 합성 데이터로 풉니다.
3. ROVI-3D 아키텍처
ROVI-3D는 현장 장치와 학습 서버 두 부분으로 나뉩니다.
| 부분 | 하는 일 |
|---|---|
| ROVI-3D Vision (현장 장치) | ToF · RGB-D 카메라의 컬러 + 깊이로 부품을 검출하고 6D 자세를 추정, 집을 점과 순서를 정해 로봇에 전달. 고성능 소형 PC에서 실시간 |
| ROVI.net 서버 (학습) | 부품 CAD로 PBR 학습 영상을 자동 생성하고, 자세 모델과 집기 모델을 학습. PyTorch 등 일반 학습 프레임워크 사용 |
| 데이터 흐름 | 현장 장치 → 서버: 현장 데이터 올리기 / 서버 → 현장 장치: 학습된 모델 내려받기 |
| ROVIX 2.0 | 운용 화면 — 카메라 · 핸드아이 보정, NVIDIA Isaac · ROS · Unity 연동 |
추론과 학습의 흐름을 실제 영상으로 보면 다음과 같습니다.
4. 6D 자세 추정 — FFB6D-PBR
ROVI-3D의 자세 추정은 FFB6D(Full Flow Bidirectional 6D, He et al., CVPR 2021) 구조를 PBR 합성 데이터로 학습한 모델(FFB6D-PBR)입니다.
- 두 갈래 입력: 컬러 영상은 표면의 무늬 · 색(외관)을, 깊이로 만든 점구름은 모양(기하)을 담습니다.
- 층마다 양방향 융합: 보통은 두 정보를 마지막에 한 번 합치지만, FFB6D는 모든 층에서 외관 ↔ 기하 정보를 주고받습니다. 반사로 영상이 흔들리면 기하가, 깊이가 부족하면 외관이 보완합니다.
- 3D 키포인트 투표: 부품 표면의 정해 둔 키포인트 위치를 점마다 투표해 찾습니다. 일부가 가려져도 보이는 점들의 투표로 키포인트를 찾을 수 있어 겹친 부품에 강합니다.
- 최소제곱 맞춤: 찾은 3D 키포인트와 CAD 모델의 키포인트를 맞춰 6D 자세(R, t)를 계산합니다.
5. 집기 결정
자세를 알아도 어디를, 어떤 순서로 집을지가 남습니다.
- 집기 모델(심층 강화학습): 부품의 자세와 주변 상황에서 그리퍼가 안정적으로 잡을 수 있는 점과 방향을 고릅니다. 수많은 집기 시도에서 배우는 강화학습 모델로, 겹친 부품의 빈 피킹 처리 능력을 높입니다.
- 작업 순서: 겹치고 교차한 부품 가운데 위에 놓여 다른 부품을 건드리지 않는 것부터 — 로봇이 스스로 순서를 정합니다.
- 로봇 연동: 카메라 좌표의 자세를 핸드아이 보정으로 로봇 좌표로 바꿔 전달합니다.
6. 물리 기반 렌더링(PBR)이란
PBR(Physically Based Rendering)은 빛이 물체 표면에서 반사 · 흡수되는 방식을 물리 법칙에 맞게 계산해 영상을 만드는 방법입니다. 게임 · 영화의 사실적인 그래픽과 같은 기술이며, AI 학습에서는 실제 카메라로 찍은 것과 비슷한 영상을 만들어 준다는 점이 중요합니다.
| PBR의 요소 | 뜻 |
|---|---|
| 에너지 보존 | 반사광과 확산광을 더해도 들어온 빛보다 많을 수 없음 — 밝기가 물리적으로 맞음 |
| 미세면 반사 (GGX) | 거칠기(roughness)가 하이라이트의 크기와 선명도를 정함 |
| Fresnel 반사 | 비스듬히 볼수록 반사가 강해짐 — 금속은 반사광에 고유한 색, 플라스틱은 흰 반사 약 4 % |
| 금속도 (metallic) | 금속은 확산광 없이 반사만, 비금속은 표면 색의 확산광 + 흰 반사 |
| 그림자 · 상호 반사 | 광원 크기에 따른 부드러운 그림자, 물체끼리 비치는 빛 |

부품의 CAD 모델에 색 · 금속도 · 거칠기만 정해 주면, 금속 브래킷의 번쩍임이나 플라스틱 하우징의 부드러운 광택이 실제와 비슷하게 재현됩니다. 이것이 합성 영상으로 학습한 모델이 실제 카메라 영상에서도 동작하는 바탕입니다.
7. PBR로 학습 데이터 만들기
- 물리 시뮬레이션: CAD 부품을 가상 상자에 떨어뜨려 실제처럼 겹치고 기대어 쌓이게 합니다. 겹침(가림) 상황이 자동으로 만들어집니다.
- 도메인 무작위화: 조명의 위치 · 세기 · 색, 바닥 · 상자 색, 부품 재질, 카메라 위치, 부품 수를 장면마다 바꿉니다. 모델이 특정 환경에 길들지 않고 다양한 공간 · 위치를 배웁니다.
- PBR 렌더링: 반사 · 그림자까지 계산한 컬러 영상과 깊이 영상을 만듭니다.
- 자동 정답: 렌더러는 모든 부품의 위치를 알고 있으므로 깊이 · 물체 마스크 · 6D 자세 · 가려진 비율을 화소 단위로 정확하게 함께 저장합니다. 사람이 라벨링할 필요가 없습니다.
- 규모: 수천 장에서 수십만 장까지 환경에 맞게 자동으로 생성해 학습합니다.
| 현장 촬영 데이터 | PBR 합성 데이터 | |
|---|---|---|
| 준비 | 부품 · 설비 · 촬영 시간 필요 | CAD만 있으면 바로 |
| 정답 | 사람이 라벨링 — 6D 자세는 사실상 불가능 | 렌더러가 자동으로, 화소 단위로 정확 |
| 양 | 수백 ~ 수천 장 | 수천 ~ 수십만 장 |
| 다양성 | 촬영한 환경만 | 조명 · 재질 · 배치를 원하는 만큼 |
| 겹침 상황 | 우연히 생긴 만큼 | 물리 시뮬레이션으로 의도적으로 |
8. 시뮬레이션에서 현장으로
합성 데이터로 학습한 모델과 로봇 동작은 디지털 트윈에서 먼저 확인합니다. ROVI-3D와 AI ToolBox는 NVIDIA Isaac Sim · Unity · ROS와 연동되어, 시뮬레이션의 로봇 동작을 실제 로봇에 그대로 옮길 수 있습니다.
- 시뮬레이션과 현장의 차이(sim-to-real gap)를 줄이는 것이 핵심입니다. PBR 렌더링으로 영상의 차이를, 도메인 무작위화로 환경의 차이를, 핸드아이 보정으로 좌표의 차이를 줄입니다.
- 현장에서 결과가 약한 장면(특정 조명 · 재질 · 배치)이 나오면, 그 조건을 시뮬레이션에서 다시 만들어 데이터를 보강합니다.
9. 장점과 한계
장점
| 장점 | 이유 |
|---|---|
| 겹친 부품에 강함 | 키포인트 투표로 일부만 보여도 자세 추정, 겹침 상황을 학습 데이터로 미리 학습 |
| 현장 촬영 · 라벨링 최소화 | CAD로 PBR 데이터를 자동 생성 — 새 부품도 빠르게 |
| 외관 + 기하 | 컬러와 깊이를 층마다 융합 — 반사 · 무늬 없는 부품 모두 대응 |
| 집는 순서까지 | 집기 모델과 작업 순서 결정으로 무너짐 · 충돌을 줄임 |
| 시뮬레이션 연동 | Isaac · Unity · ROS — 디지털 트윈에서 먼저 검증 |
한계
| 한계 | 내용 | 대응 |
|---|---|---|
| CAD 필요 | 부품 3D 모델이 있어야 PBR 데이터를 만들 수 있음 | 3D 스캔으로 모델 확보 |
| 투명 · 강한 반사 부품 | 깊이 카메라 자체가 깊이를 잃음 | 편광 카메라 기반 ROVI-Polar(개발 중) |
| 시뮬레이션과 현장의 차이 | 재질 값 · 조명이 실제와 크게 다르면 성능 저하 | 도메인 무작위화, 현장 데이터 보강 |
| 연산 | 실시간 추론에 GPU 급 PC 필요 | 고성능 소형 PC · Jetson |
| 성숙도 | POC 단계 | 현장 POC 진행 중 (10장) |
10. 적용과 성숙도
| 항목 | 내용 |
|---|---|
| 적용 | 로봇 비전 가이드(VGR), AI 6D 자세 추정, AI 집기 · 3D 빈 피킹 |
| 성숙도 | POC — 개발 완료(2023) |
| POC 진행 | 명신(군산), LG이노텍(Startup TechBlaze) |
| 벤치마크 | BOP Challenge 6D 자세 추정 — 글로벌 상용화 기술 TOP 10 진입 (2023) |
2D 카메라 기반의 ROVI-2D/2.5D가 정해진 형태의 부품을 빠르고 저렴하게 다룬다면, ROVI-3D는 무작위로 겹친 3차원 부품을 맡습니다. 투명 부품은 ROVI-Polar가, 여러 비전을 한 플랫폼으로 묶는 것은 AI ToolBox가 맡습니다.
11. 구성
| 항목 | 내용 |
|---|---|
| 카메라 | ToF 또는 RGB-D 카메라 |
| 장치 | 고성능 소형 PC (High performance barebone PC) |
| UX | ROVIX 2.0 — 핸드아이 · 카메라 보정, NVIDIA Isaac · ROS · Unity 연동 |
| OS | Ubuntu 18.04 이상 / Windows |
| 학습 | ROVI.net 서버 — PBR 데이터 생성, 자세 · 집기 모델 학습 |
적용 검토 요청은 floyd.kr 문의에서 받습니다.
12. 용어
| 용어 | 뜻 |
|---|---|
| 6D 자세 | 물체의 위치(x, y, z) + 방향(회전 3축) |
| 빈 피킹 | 상자에 무작위로 담긴 부품을 하나씩 집는 작업 |
| RGB-D · ToF | 컬러와 깊이를 함께 주는 카메라 · 빛의 왕복 시간으로 깊이를 재는 카메라 |
| 점구름 | 깊이 영상을 3차원 점들의 모음으로 바꾼 것 |
| 키포인트 | 물체 표면에 정해 둔 기준점 — 이 점들의 위치로 자세를 계산 |
| PBR | 물리 기반 렌더링. 빛의 반사를 물리 법칙에 맞게 계산하는 영상 생성 방법 |
| 미세면 · 거칠기 | 표면을 이루는 아주 작은 면 · 그 면들이 얼마나 제각각인지 |
| 금속도 | 재질이 금속인지(1) 아닌지(0) — 반사와 확산의 비율을 정함 |
| 도메인 무작위화 | 합성 장면의 조명 · 재질 · 카메라 등을 무작위로 바꿔 모델이 다양한 환경을 배우게 하는 방법 |
| 디지털 트윈 | 실제 설비 · 로봇을 그대로 옮긴 가상 모델 |
| BOP Challenge | 6D 자세 추정 기술의 국제 벤치마크 |