AI ToolBox 사용자 매뉴얼
AI ToolBox 현장 소프트웨어의 캘리브레이션 도구 — ToF + RGB 센서 정합, 로봇 핸드아이 캘리브레이션 — 사용법과 K9/K10 자동 도킹 개요 · 데모를 안내합니다.
1. 소개
AI ToolBox는 클라우드에서 학습하고 엣지에서 판단하는 3계층 비전 플랫폼입니다. 이 매뉴얼은 현장 소프트웨어(ROVIX)의 캘리브레이션 — 로봇과 비전의 좌표를 맞추는 일 — 에 쓰는 도구를 다룹니다.
| 도구 | 하는 일 | 장 |
|---|---|---|
| ToF + RGB 정합 (Helios Overlay Tool) | ToF 깊이 카메라와 RGB 카메라를 맞춰 월드 기준 컬러 포인트 클라우드를 만듦 | 4장 |
| 로봇 핸드아이 캘리브레이션 | 카메라와 로봇의 위치 관계를 계산 — 로봇 장착(Eye-in-Hand) · 고정(Eye-to-Hand) | 5장 |
AI ToolBox로 수행한 K9/K10 자동 도킹 개요와 데모 영상은 6장에 있습니다.
2. 구성과 요구 사양
| 항목 | 내용 |
|---|---|
| 3D 센서 | LUCID Helios2 (ToF) + RGB 카메라(Triton 등), PoE+ 스위치 또는 인젝터, GigE 연결 |
| 캘리브레이션 보드 | ChArUco 보드 (기본 12 × 9, 칸 30 mm) — 프로그램에서 인쇄용 파일을 만들 수 있음. 평평한 판에 붙여 사용 |
| 로봇 | 지금: 로봇 포즈 직접 입력(제조사 무관) · 다음: UR(RTDE), Doosan · Rainbow, ROS2 |
| PC | Ubuntu 22.04 이상 · Python 3.10 · 1920 × 1080 모니터 |
| 센서 드라이버 | LUCID Arena SDK (실제 센서 사용 시) |
3. 설치
FLOYD가 설치한 PC는 바로 쓸 수 있습니다. 새 PC에는 FLOYD 패키지를 풀고, 실제 센서를 쓸 때는 LUCID Arena SDK를 먼저 설치합니다. 처음 실행하면 실행 환경을 스스로 만듭니다.
bash 31_helios_tool.sh --sim # ToF + RGB 정합 — 시뮬레이션 (장비 없이 체험)
bash 31_helios_tool.sh # ToF + RGB 정합 — 실제 센서
bash 30_calibration_tool.sh # 로봇 핸드아이 캘리브레이션 (GUI)
--sim으로 장비 없이 전 과정을 먼저 연습해 볼 수 있습니다.4. ToF + RGB 정합
목표는 상자를 연 뒤 30분 안에 월드 기준 컬러 포인트 클라우드를 얻는 것입니다. 화면 왼쪽의 ① → ② → ③ 순서로 진행합니다.
① 연결
- Connect — Helios2와 RGB 카메라를 자동으로 찾습니다(여러 대면 시리얼 지정).
- Live ▶로 보드가 두 카메라 화면에 모두 보이는지 확인합니다. ToF 화면이 어두우면 노출 프리셋을 바꾸고 보드를 0.5–1.0 m에 둡니다.
② 교정
- 보드를 조금씩 옮기며(각도 · 거리를 바꿔) Capture pair를 5–8번 누릅니다. 등록에 실패(✗)하면 보드가 한쪽 화면 밖에 있거나 흐린 것입니다.
- Calibrate (①+②) — 재투영 오차가 신호등으로 나옵니다.
| 표시 | 재투영 오차 | 뜻 |
|---|---|---|
| ● OK | 1 px 이하 | 사용 가능 |
| △ 주의 | 2 px 이하 | 쌍을 더 모으면 좋아짐 |
| ✗ 재교정 | 2 px 초과 | 쌍을 더 모아 다시 교정 |
③ 월드 정합 · 확인
- 보드를 원하는 월드 원점 위치에 두고 Register world를 누릅니다(RMS 확인).
- Show overlay (world) — 물체 가장자리의 색 번짐이 2 px 이하인지, 보드 면이 월드 z = 0 평면에 평평하게 놓였는지 봅니다.
- 검정 · 빛을 흡수하는 재질에서 허상 깊이가 보이면 저신뢰 depth 마스킹을 켭니다.
- Export —
overlay_world.ply(포인트 클라우드)와chain.yaml(정합 결과)을 저장합니다.
유지보수
- 드리프트 점검: 다시 교정한 뒤 이전 chain과 비교를 누릅니다. 1 mm 또는 0.1° 넘게 달라졌으면 카메라 마운트를 점검합니다.
- 공장 교정값이 있는 센서도 주기적으로 이 도구로 교정해 서로 비교합니다. 차이가 크면 이 도구의 결과를 씁니다.
5. 로봇 핸드아이 캘리브레이션
카메라가 로봇 끝에 달렸는지(Eye-in-Hand), 작업대에 고정됐는지(Eye-to-Hand)를 고르고, 로봇을 여러 자세로 움직이며 보드를 찍어 카메라 ↔ 로봇의 위치 관계를 계산합니다. 7단계 마법사로 진행합니다.
| 단계 | 할 일 |
|---|---|
| ① 구성 선택 | Eye-in-Hand / Eye-to-Hand 선택, 세션 이름 |
| ② 장치 연결 | 센서 연결, 로봇 드라이버 선택 (직접 입력이면 연결 생략) |
| ③ 보드 설정 | ChArUco · 체커보드 종류와 치수 입력, 인쇄용 파일 만들기, 검출 확인. Eye-to-Hand는 보드를 로봇 플랜지에 장착 |
| ④ 자세 수집 | 로봇을 움직인 뒤 Collect current pose — 자세 값은 직접 입력하거나 CSV로. 화면의 커버리지 게이지가 찰 때까지 (권장 12자세 이상, 여러 방향으로 회전) |
| ⑤ 계산 | 계산 방식 5가지의 오차를 비교, 튀는 자세를 빼고 다시 계산. 1 mm 미만이면 색으로 표시 |
| ⑥ 검증 | 포인트 클라우드를 로봇 기준으로 겹쳐 보고 로봇 좌표축 확인. 이상하면 ④ · ⑤로 돌아감 |
| ⑦ 저장 | 세션 저장, YAML · JSON · ROS2 TF로 내보내기 |
내보내기 형식
| 형식 | 쓰는 곳 |
|---|---|
| YAML · JSON | 결과 보관, 다른 프로그램 연동 |
| ROS2 TF | ROS2 로봇 시스템 |
AIToolBox 규약 (cam_K.txt, 4 × 4 변환 행렬 txt) | AI ToolBox 자세 추정 · 도킹 등 |
명령으로 실행
robot-calib demo # 시뮬레이션으로 수집 → 계산 → 저장 전 과정 (장비 없이)
robot-calib demo --eye-to-hand # 고정 카메라 구성
robot-calib solve sessions/demo # 저장한 세션을 다시 계산
6. K9/K10 자동 도킹
AI ToolBox로 수행한 K9–K10 자동 도킹(자동 접속) 비전 솔루션의 Pre-POC입니다. 실제 장비에 넣기 전에 디지털 트윈(NVIDIA Isaac Sim)에서 도킹 성능 · 안전 · 연산 타당성을 검증합니다.
처리 흐름
검증 시나리오
정렬된 기본 위치, 위치 · 각도 오프셋(K9 좌우 ±25 cm 무작위 정차), 조명 변화와 센서 노이즈, 반사 · 무특징 표면, 도킹부 부분 가림, 프레임 지연 · 통신 예외, 충돌 위험 시 안전 중단 → 후퇴 → 재시도를 배치로 반복 실행했습니다. 계획에 없던 경사지 주차(yaw ±10°, pitch · roll ±5°)의 6자유도 추정도 추가로 검증했습니다.
결과 (시뮬레이션 실측)
| 지표 | 목표 | 결과 |
|---|---|---|
| 위치 정확도 | ±5 mm @ 3 m | 도킹점 오차 중앙값 2.4 mm · 평균 4.42 mm |
| 회전 정확도 | ±1° @ 3 m | 0.02° |
| 포즈 정확도 달성률 | ±5 mm 및 ±1° 동시 | 94.8 % |
| 원거리 검출률 | — | 100 % (192/192, 도킹부 일부 가림 조건) |
| 인식 속도 | 15 FPS 이상 | 충족 (캡처 약 12 ms) |
| 자동 삽입 | — | 폐루프 도킹에서 삽입 성공 |
데모 영상
상태 제어기 웹 UI 조작부터 도킹 완료까지 한 사이클입니다.
| 시각 | 조작 · 단계 |
|---|---|
| 3 s | 지터 체크 — K9을 고른 위치 주변에 무작위로 놓음 |
| 5 s | K9 위치 ↗ 우상 클릭 — K9 재배치 |
| 10 s | Run 클릭 → ① 접근 — K10이 K9 후면 도킹 지점까지 자율 이동 |
| 15 s | ② 비전 추론 — 접속구를 검출하고 자세 추정 |
| 18–39 s | ③ 정렬 · 전개 — yaw · 상하 · 슬라이드 3축을 맞추며 컨베이어 전개. 중간에 Lidar Sensor · RGB Camera 버튼으로 카메라 화면 전환 |
| 39 s | ④ 도킹 완료 — Dock 램프 녹색 |
상태 제어기 웹 UI 화면
| 영역 | 내용 |
|---|---|
| 맨 위 줄 | 도킹 잔차 X · Y · Z, Dock 램프, COMM · CONTROL · SUB UNIT 상태 램프, 모드 |
| SIMULATION | Run(전 과정) · Approach · Dock · Stop · Reset · Conveyor Home, 무한 반복 |
| K9 RESET POSITION | K9 정차 위치 9방향, 지터(고른 위치 주변 무작위) |
| MANUAL CONTROL | Yaw · Up · Slide ± — Manual ON일 때만 컨베이어가 움직임 |
| CAMERA | RGB Camera · Lidar Sensor 화면 전환 |
| CONVEYOR | Lock · Unlock, 현재 yaw · 상하 · 슬라이드 값 |
7. 문제 해결
| 증상 | 확인할 것 |
|---|---|
| ToF 화면이 어두워 보드가 안 보임 | 노출 프리셋 변경, 보드를 0.5–1.0 m로 |
| Capture pair가 ✗ | 보드가 두 카메라 화면 안에 모두 있는지, 움직여서 흐리지 않은지 |
| 재투영 오차 2 px 초과 | 각도 · 거리를 다양하게 해서 쌍을 더 모은 뒤 다시 교정 |
| 오버레이에서 색이 어긋남 | ② 교정을 다시, 카메라 마운트가 흔들리지 않는지 |
| 검정 물체 주변에 허상 점 | 저신뢰 depth 마스킹 켜기 |
| 핸드아이 오차가 큼 | 자세를 더 다양하게(회전 포함) 12개 이상, 튀는 자세 제외 후 재계산 |
| 재교정 결과가 이전과 많이 다름 | 1 mm · 0.1° 이상이면 마운트 점검 |
8. 문의
| 회사 | FLOYD Inc. |
| 메일 | floyd@floyd.kr |
| 전화 | 070-8676-7976 |
| 웹 | floyd.kr — 검토 요청 |
로봇 · 센서 조합 적용 검토는 검토 요청으로 보내 주시면 회신드리겠습니다.