ROVI-3D · WHITE PAPER

ROVI-3D 백서

겹쳐 쌓인 부품의 6D 자세를 추정하고 집는 ROVI-3D의 아키텍처, 그리고 현장 촬영 없이 학습 데이터를 만드는 물리 기반 렌더링(PBR)을 그림과 영상으로 설명합니다.

1. 요약

ROVI-3D는 상자 안에 무작위로 겹쳐 쌓인 3차원 부품을 깊이 카메라로 보고, 각 부품의 6D 자세(위치 3 + 방향 3)를 추정해 로봇이 집게 하는 비전 시스템입니다. 핵심은 두 가지입니다.

핵심내용
아키텍처현장 장치(ROVI-3D Vision)가 실시간으로 검출 → 6D 자세 → 집기 결정을 하고, 학습 서버(ROVI.net)가 모델을 만들어 내려보냄
PBR 학습부품 CAD로 물리 기반 렌더링(PBR) 가상 영상을 자동 생성해 학습 — 수천 장에서 수십만 장까지, 겹침(가림) 상황까지 정답과 함께

ROVI-3D의 6D 자세 추정 모델은 글로벌 6D 자세 추정 벤치마크 BOP Challenge에서 상용화 기술 기준 TOP 10에 들었습니다(2023).

2. 왜 어려운가

빈 피킹(bin picking) — 상자에 아무렇게나 담긴 부품을 하나씩 집는 일 — 은 로봇 비전에서 가장 어려운 과제 중 하나입니다.

어려움내용
겹침 · 교차부품이 서로 가리고 기대어 있어 한 부품의 일부만 보임
무작위 자세정해진 방향이 없어 6개 자유도를 모두 추정해야 함
재질금속 · 광택면은 반사로 영상과 깊이가 흔들림
집는 순서아래 부품을 먼저 집으면 위의 부품이 무너짐 — 순서도 판단해야 함
학습 데이터AI 학습에는 수많은 영상과 화소 단위 정답(마스크 · 6D 자세)이 필요한데, 사람이 이 정답을 만드는 것은 사실상 불가능하고 현장 촬영에도 시간과 비용이 큼

ROVI-3D는 앞의 네 가지를 아키텍처로, 마지막 문제를 PBR 합성 데이터로 풉니다.

3. ROVI-3D 아키텍처

ROVI-3D는 현장 장치와 학습 서버 두 부분으로 나뉩니다.

ROVI-3D Vision (현장 장치) ROVI.net 서버 (학습) ToF · RGB-D 카메라 컬러 + 깊이 물체 검출 대상 영역 찾기 6D 자세 추정 FFB6D-PBR 집기 결정 집는 점 · 순서 강화학습 모델 로봇 · 3D 빈 피킹 ROVIX 2.0 · 핸드아이 추론 (현장, 실시간) PBR 학습 이미지 CAD로 자동 생성 수천 → 수십만 장 자세 모델 학습 검출 · 6D 자세 집기 모델 학습 심층 강화학습 학습 프레임워크 · PyTorch 등 학습 (서버) 현장 데이터 올리기 학습된 모델 내려받기
ROVI-3D 아키텍처 — 주황: 현장에서 실시간으로 도는 추론(카메라 → 물체 검출 → 6D 자세 → 집기 결정 → 로봇), 파랑: ROVI.net 서버에서 PBR 영상으로 모델을 학습해 현장 장치로 내려보내는 흐름
부분하는 일
ROVI-3D Vision (현장 장치)ToF · RGB-D 카메라의 컬러 + 깊이로 부품을 검출하고 6D 자세를 추정, 집을 점과 순서를 정해 로봇에 전달. 고성능 소형 PC에서 실시간
ROVI.net 서버 (학습)부품 CAD로 PBR 학습 영상을 자동 생성하고, 자세 모델과 집기 모델을 학습. PyTorch 등 일반 학습 프레임워크 사용
데이터 흐름현장 장치 → 서버: 현장 데이터 올리기 / 서버 → 현장 장치: 학습된 모델 내려받기
ROVIX 2.0운용 화면 — 카메라 · 핸드아이 보정, NVIDIA Isaac · ROS · Unity 연동

추론과 학습의 흐름을 실제 영상으로 보면 다음과 같습니다.

ROVI-3D 처리 흐름 — 위(ROVI-3D, 추론): 컬러 영상 → 물체 검출 → 6D 자세 추정 → 3D 자세와 분할 결과. 아래(학습): 시뮬레이션 데이터 생성(Unity + NVIDIA Isaac) → 물체 학습 → 자세 추정 모델로

4. 6D 자세 추정 — FFB6D-PBR

ROVI-3D의 자세 추정은 FFB6D(Full Flow Bidirectional 6D, He et al., CVPR 2021) 구조를 PBR 합성 데이터로 학습한 모델(FFB6D-PBR)입니다.

컬러 영상 H × W × 3 깊이 → 점구름 N × 3 컬러 갈래 (CNN) 기하 갈래 (점 네트워크) 층마다 양방향 융합 — 외관 ↔ 기하 점마다 물체 구분 3D 키포인트 투표 최소제곱 맞춤 6D 자세 (R, t)
FFB6D-PBR 구조 — 컬러 영상은 CNN 갈래, 깊이로 만든 점구름은 점 네트워크 갈래로 처리하면서, 모든 층에서 두 갈래가 정보를 주고받습니다(양방향 융합). 합쳐진 특징으로 점마다 물체를 구분하고 3D 키포인트를 투표해 찾은 뒤, 최소제곱 맞춤으로 회전 R과 이동 t를 계산합니다.
  1. 두 갈래 입력: 컬러 영상은 표면의 무늬 · 색(외관)을, 깊이로 만든 점구름은 모양(기하)을 담습니다.
  2. 층마다 양방향 융합: 보통은 두 정보를 마지막에 한 번 합치지만, FFB6D는 모든 층에서 외관 ↔ 기하 정보를 주고받습니다. 반사로 영상이 흔들리면 기하가, 깊이가 부족하면 외관이 보완합니다.
  3. 3D 키포인트 투표: 부품 표면의 정해 둔 키포인트 위치를 점마다 투표해 찾습니다. 일부가 가려져도 보이는 점들의 투표로 키포인트를 찾을 수 있어 겹친 부품에 강합니다.
  4. 최소제곱 맞춤: 찾은 3D 키포인트와 CAD 모델의 키포인트를 맞춰 6D 자세(R, t)를 계산합니다.
BOP Challenge는 여러 공개 데이터셋에서 6D 자세 추정 기술을 같은 기준으로 비교하는 국제 벤치마크입니다. ROVI-3D는 상용화 기술 기준 TOP 10에 들었습니다(2023, 제출 결과).

5. 집기 결정

자세를 알아도 어디를, 어떤 순서로 집을지가 남습니다.

6. 물리 기반 렌더링(PBR)이란

PBR(Physically Based Rendering)은 빛이 물체 표면에서 반사 · 흡수되는 방식을 물리 법칙에 맞게 계산해 영상을 만드는 방법입니다. 게임 · 영화의 사실적인 그래픽과 같은 기술이며, AI 학습에서는 실제 카메라로 찍은 것과 비슷한 영상을 만들어 준다는 점이 중요합니다.

매끈한 표면 (거칠기 낮음) 미세면이 가지런해 반사가 한 방향으로 — 선명한 하이라이트 거친 표면 (거칠기 높음) 미세면이 제각각이라 반사가 퍼짐 — 흐린 하이라이트 ● 금속: 반사광에 금속의 색, 확산광 없음 ● 플라스틱: 반사광은 흰색(약 4 %), 나머지는 표면 색의 확산광 에너지 보존 — 반사광 + 확산광 ≤ 들어온 빛
미세면(microfacet) 모델 — 표면은 아주 작은 면들의 모임입니다. 매끈한 표면은 미세면이 가지런해 반사가 한 방향으로 모이고(왼쪽), 거친 표면은 미세면이 제각각이라 반사가 퍼집니다(오른쪽).
PBR의 요소뜻
에너지 보존반사광과 확산광을 더해도 들어온 빛보다 많을 수 없음 — 밝기가 물리적으로 맞음
미세면 반사 (GGX)거칠기(roughness)가 하이라이트의 크기와 선명도를 정함
Fresnel 반사비스듬히 볼수록 반사가 강해짐 — 금속은 반사광에 고유한 색, 플라스틱은 흰 반사 약 4 %
금속도 (metallic)금속은 확산광 없이 반사만, 비금속은 표면 색의 확산광 + 흰 반사
그림자 · 상호 반사광원 크기에 따른 부드러운 그림자, 물체끼리 비치는 빛
PBR 재질 표 — 뒤: 금속(금속도 1), 앞: 플라스틱(금속도 0), 왼쪽에서 오른쪽으로 거칠기 0.05 → 0.90. 같은 조명에서도 재질 값에 따라 하이라이트와 색이 달라집니다(이 백서를 위해 만든 간이 PBR 렌더러).
PBR 재질 표 — 뒤: 금속(금속도 1), 앞: 플라스틱(금속도 0), 왼쪽에서 오른쪽으로 거칠기 0.05 → 0.90. 같은 조명에서도 재질 값에 따라 하이라이트와 색이 달라집니다(이 백서를 위해 만든 간이 PBR 렌더러).

부품의 CAD 모델에 색 · 금속도 · 거칠기만 정해 주면, 금속 브래킷의 번쩍임이나 플라스틱 하우징의 부드러운 광택이 실제와 비슷하게 재현됩니다. 이것이 합성 영상으로 학습한 모델이 실제 카메라 영상에서도 동작하는 바탕입니다.

7. PBR로 학습 데이터 만들기

CAD 모델 부품 3D 모델 재질 (색 · 금속도 · 거칠기) 1 물리 시뮬레이션 상자에 떨어뜨려 쌓기 겹침 · 교차 자동 생성 2 무작위화 조명 · 재질 · 카메라 배경 · 물체 수 3 PBR 렌더링 반사 · 그림자 · 상호 반사 실제 카메라에 가까운 영상 4 자동 정답 깊이 · 마스크 · 6D 자세 가려진 비율까지 정확히 5 학습 수천 → 수십만 장 현장 촬영 없이 6 현장 결과가 부족한 장면을 알려 주면 그 조건으로 다시 생성
PBR 학습 데이터 생성 흐름 — CAD 모델 → 물리 시뮬레이션(상자에 떨어뜨려 쌓기) → 무작위화 → PBR 렌더링 → 자동 정답 → 학습. 현장 결과가 부족한 장면은 그 조건으로 다시 생성합니다.
  1. 물리 시뮬레이션: CAD 부품을 가상 상자에 떨어뜨려 실제처럼 겹치고 기대어 쌓이게 합니다. 겹침(가림) 상황이 자동으로 만들어집니다.
  2. 도메인 무작위화: 조명의 위치 · 세기 · 색, 바닥 · 상자 색, 부품 재질, 카메라 위치, 부품 수를 장면마다 바꿉니다. 모델이 특정 환경에 길들지 않고 다양한 공간 · 위치를 배웁니다.
  3. PBR 렌더링: 반사 · 그림자까지 계산한 컬러 영상과 깊이 영상을 만듭니다.
  4. 자동 정답: 렌더러는 모든 부품의 위치를 알고 있으므로 깊이 · 물체 마스크 · 6D 자세 · 가려진 비율을 화소 단위로 정확하게 함께 저장합니다. 사람이 라벨링할 필요가 없습니다.
  5. 규모: 수천 장에서 수십만 장까지 환경에 맞게 자동으로 생성해 학습합니다.
설명용 PBR 무작위화 — 장면마다 조명 · 색 · 재질 · 카메라 · 부품 배치가 바뀌고, 렌더링과 동시에 RGB · 깊이 · 물체 마스크 · 6D 자세 정답(상자와 좌표축)이 함께 나옵니다. 이 백서를 위해 만든 간이 PBR 렌더러로 16개 장면을 렌더링했습니다(실제 학습 데이터는 NVIDIA Isaac · Unity의 렌더러로 생성).
현장 촬영 데이터PBR 합성 데이터
준비부품 · 설비 · 촬영 시간 필요CAD만 있으면 바로
정답사람이 라벨링 — 6D 자세는 사실상 불가능렌더러가 자동으로, 화소 단위로 정확
양수백 ~ 수천 장수천 ~ 수십만 장
다양성촬영한 환경만조명 · 재질 · 배치를 원하는 만큼
겹침 상황우연히 생긴 만큼물리 시뮬레이션으로 의도적으로

8. 시뮬레이션에서 현장으로

합성 데이터로 학습한 모델과 로봇 동작은 디지털 트윈에서 먼저 확인합니다. ROVI-3D와 AI ToolBox는 NVIDIA Isaac Sim · Unity · ROS와 연동되어, 시뮬레이션의 로봇 동작을 실제 로봇에 그대로 옮길 수 있습니다.

디지털 트윈 — NVIDIA Isaac Sim의 로봇(왼쪽)과 같은 동작을 하는 실제 협동 로봇(오른쪽 아래). 시뮬레이션에서 동작 계획을 세우고 실시간으로 실제 로봇을 제어합니다(FLOYD 녹화).

9. 장점과 한계

장점

장점이유
겹친 부품에 강함키포인트 투표로 일부만 보여도 자세 추정, 겹침 상황을 학습 데이터로 미리 학습
현장 촬영 · 라벨링 최소화CAD로 PBR 데이터를 자동 생성 — 새 부품도 빠르게
외관 + 기하컬러와 깊이를 층마다 융합 — 반사 · 무늬 없는 부품 모두 대응
집는 순서까지집기 모델과 작업 순서 결정으로 무너짐 · 충돌을 줄임
시뮬레이션 연동Isaac · Unity · ROS — 디지털 트윈에서 먼저 검증

한계

한계내용대응
CAD 필요부품 3D 모델이 있어야 PBR 데이터를 만들 수 있음3D 스캔으로 모델 확보
투명 · 강한 반사 부품깊이 카메라 자체가 깊이를 잃음편광 카메라 기반 ROVI-Polar(개발 중)
시뮬레이션과 현장의 차이재질 값 · 조명이 실제와 크게 다르면 성능 저하도메인 무작위화, 현장 데이터 보강
연산실시간 추론에 GPU 급 PC 필요고성능 소형 PC · Jetson
성숙도POC 단계현장 POC 진행 중 (10장)

10. 적용과 성숙도

항목내용
적용로봇 비전 가이드(VGR), AI 6D 자세 추정, AI 집기 · 3D 빈 피킹
성숙도POC — 개발 완료(2023)
POC 진행명신(군산), LG이노텍(Startup TechBlaze)
벤치마크BOP Challenge 6D 자세 추정 — 글로벌 상용화 기술 TOP 10 진입 (2023)

2D 카메라 기반의 ROVI-2D/2.5D가 정해진 형태의 부품을 빠르고 저렴하게 다룬다면, ROVI-3D는 무작위로 겹친 3차원 부품을 맡습니다. 투명 부품은 ROVI-Polar가, 여러 비전을 한 플랫폼으로 묶는 것은 AI ToolBox가 맡습니다.

11. 구성

항목내용
카메라ToF 또는 RGB-D 카메라
장치고성능 소형 PC (High performance barebone PC)
UXROVIX 2.0 — 핸드아이 · 카메라 보정, NVIDIA Isaac · ROS · Unity 연동
OSUbuntu 18.04 이상 / Windows
학습ROVI.net 서버 — PBR 데이터 생성, 자세 · 집기 모델 학습

적용 검토 요청은 floyd.kr 문의에서 받습니다.

12. 용어

용어뜻
6D 자세물체의 위치(x, y, z) + 방향(회전 3축)
빈 피킹상자에 무작위로 담긴 부품을 하나씩 집는 작업
RGB-D · ToF컬러와 깊이를 함께 주는 카메라 · 빛의 왕복 시간으로 깊이를 재는 카메라
점구름깊이 영상을 3차원 점들의 모음으로 바꾼 것
키포인트물체 표면에 정해 둔 기준점 — 이 점들의 위치로 자세를 계산
PBR물리 기반 렌더링. 빛의 반사를 물리 법칙에 맞게 계산하는 영상 생성 방법
미세면 · 거칠기표면을 이루는 아주 작은 면 · 그 면들이 얼마나 제각각인지
금속도재질이 금속인지(1) 아닌지(0) — 반사와 확산의 비율을 정함
도메인 무작위화합성 장면의 조명 · 재질 · 카메라 등을 무작위로 바꿔 모델이 다양한 환경을 배우게 하는 방법
디지털 트윈실제 설비 · 로봇을 그대로 옮긴 가상 모델
BOP Challenge6D 자세 추정 기술의 국제 벤치마크