AI TOOLBOX · USER MANUAL

AI ToolBox 사용자 매뉴얼

AI ToolBox 현장 소프트웨어의 캘리브레이션 도구 — ToF + RGB 센서 정합, 로봇 핸드아이 캘리브레이션 — 사용법과 K9/K10 자동 도킹 개요 · 데모를 안내합니다.

1. 소개

AI ToolBox는 클라우드에서 학습하고 엣지에서 판단하는 3계층 비전 플랫폼입니다. 이 매뉴얼은 현장 소프트웨어(ROVIX)의 캘리브레이션 — 로봇과 비전의 좌표를 맞추는 일 — 에 쓰는 도구를 다룹니다.

도구하는 일장
ToF + RGB 정합 (Helios Overlay Tool)ToF 깊이 카메라와 RGB 카메라를 맞춰 월드 기준 컬러 포인트 클라우드를 만듦4장
로봇 핸드아이 캘리브레이션카메라와 로봇의 위치 관계를 계산 — 로봇 장착(Eye-in-Hand) · 고정(Eye-to-Hand)5장

AI ToolBox로 수행한 K9/K10 자동 도킹 개요와 데모 영상은 6장에 있습니다.

미리보기: 두 도구는 시뮬레이션에서 전 과정을 검증했고, 실제 센서 · 로봇 검증을 진행하고 있습니다. 정식 버전에서 화면과 절차가 바뀔 수 있습니다.

2. 구성과 요구 사양

항목내용
3D 센서LUCID Helios2 (ToF) + RGB 카메라(Triton 등), PoE+ 스위치 또는 인젝터, GigE 연결
캘리브레이션 보드ChArUco 보드 (기본 12 × 9, 칸 30 mm) — 프로그램에서 인쇄용 파일을 만들 수 있음. 평평한 판에 붙여 사용
로봇지금: 로봇 포즈 직접 입력(제조사 무관) · 다음: UR(RTDE), Doosan · Rainbow, ROS2
PCUbuntu 22.04 이상 · Python 3.10 · 1920 × 1080 모니터
센서 드라이버LUCID Arena SDK (실제 센서 사용 시)

3. 설치

FLOYD가 설치한 PC는 바로 쓸 수 있습니다. 새 PC에는 FLOYD 패키지를 풀고, 실제 센서를 쓸 때는 LUCID Arena SDK를 먼저 설치합니다. 처음 실행하면 실행 환경을 스스로 만듭니다.

bash 31_helios_tool.sh --sim        # ToF + RGB 정합 — 시뮬레이션 (장비 없이 체험)
bash 31_helios_tool.sh              # ToF + RGB 정합 — 실제 센서
bash 30_calibration_tool.sh         # 로봇 핸드아이 캘리브레이션 (GUI)
--sim으로 장비 없이 전 과정을 먼저 연습해 볼 수 있습니다.

4. ToF + RGB 정합

목표는 상자를 연 뒤 30분 안에 월드 기준 컬러 포인트 클라우드를 얻는 것입니다. 화면 왼쪽의 ① → ② → ③ 순서로 진행합니다.

ToF + RGB 정합 3단계 — 연결 → 쌍 수집 → 교정 → 월드 정합 → 오버레이 확인 (시뮬레이션)

① 연결

  1. Connect — Helios2와 RGB 카메라를 자동으로 찾습니다(여러 대면 시리얼 지정).
  2. Live ▶로 보드가 두 카메라 화면에 모두 보이는지 확인합니다. ToF 화면이 어두우면 노출 프리셋을 바꾸고 보드를 0.5–1.0 m에 둡니다.

② 교정

  1. 보드를 조금씩 옮기며(각도 · 거리를 바꿔) Capture pair를 5–8번 누릅니다. 등록에 실패(✗)하면 보드가 한쪽 화면 밖에 있거나 흐린 것입니다.
  2. Calibrate (①+②) — 재투영 오차가 신호등으로 나옵니다.
표시재투영 오차뜻
● OK1 px 이하사용 가능
△ 주의2 px 이하쌍을 더 모으면 좋아짐
✗ 재교정2 px 초과쌍을 더 모아 다시 교정

③ 월드 정합 · 확인

  1. 보드를 원하는 월드 원점 위치에 두고 Register world를 누릅니다(RMS 확인).
  2. Show overlay (world) — 물체 가장자리의 색 번짐이 2 px 이하인지, 보드 면이 월드 z = 0 평면에 평평하게 놓였는지 봅니다.
  3. 검정 · 빛을 흡수하는 재질에서 허상 깊이가 보이면 저신뢰 depth 마스킹을 켭니다.
  4. Export — overlay_world.ply(포인트 클라우드)와 chain.yaml(정합 결과)을 저장합니다.

유지보수

5. 로봇 핸드아이 캘리브레이션

카메라가 로봇 끝에 달렸는지(Eye-in-Hand), 작업대에 고정됐는지(Eye-to-Hand)를 고르고, 로봇을 여러 자세로 움직이며 보드를 찍어 카메라 ↔ 로봇의 위치 관계를 계산합니다. 7단계 마법사로 진행합니다.

단계할 일
① 구성 선택Eye-in-Hand / Eye-to-Hand 선택, 세션 이름
② 장치 연결센서 연결, 로봇 드라이버 선택 (직접 입력이면 연결 생략)
③ 보드 설정ChArUco · 체커보드 종류와 치수 입력, 인쇄용 파일 만들기, 검출 확인. Eye-to-Hand는 보드를 로봇 플랜지에 장착
④ 자세 수집로봇을 움직인 뒤 Collect current pose — 자세 값은 직접 입력하거나 CSV로. 화면의 커버리지 게이지가 찰 때까지 (권장 12자세 이상, 여러 방향으로 회전)
⑤ 계산계산 방식 5가지의 오차를 비교, 튀는 자세를 빼고 다시 계산. 1 mm 미만이면 색으로 표시
⑥ 검증포인트 클라우드를 로봇 기준으로 겹쳐 보고 로봇 좌표축 확인. 이상하면 ④ · ⑤로 돌아감
⑦ 저장세션 저장, YAML · JSON · ROS2 TF로 내보내기

내보내기 형식

형식쓰는 곳
YAML · JSON결과 보관, 다른 프로그램 연동
ROS2 TFROS2 로봇 시스템
AIToolBox 규약 (cam_K.txt, 4 × 4 변환 행렬 txt)AI ToolBox 자세 추정 · 도킹 등

명령으로 실행

robot-calib demo                     # 시뮬레이션으로 수집 → 계산 → 저장 전 과정 (장비 없이)
robot-calib demo --eye-to-hand       # 고정 카메라 구성
robot-calib solve sessions/demo      # 저장한 세션을 다시 계산
시뮬레이션 검증에서 12자세 기준 정답 대비 약 0.9 mm · 0.04°로 복원했습니다. 실제 장비의 정확도는 센서 · 로봇 · 보드에 따라 다릅니다.

6. K9/K10 자동 도킹

AI ToolBox로 수행한 K9–K10 자동 도킹(자동 접속) 비전 솔루션의 Pre-POC입니다. 실제 장비에 넣기 전에 디지털 트윈(NVIDIA Isaac Sim)에서 도킹 성능 · 안전 · 연산 타당성을 검증합니다.

처리 흐름

폐루프 — 컨베이어 동작이 디지털 트윈에 반영되고 다시 촬영 명령 · 상태 디지털 트윈 K9 · K10 3D 모델(USD) Isaac Sim 물리 시뮬레이션 시나리오 자동 실행 시뮬레이션 PC 1 센서 ToF(깊이) · LiDAR + RGB 카메라 ToF · Stereo · LiDAR 후보 비교 후 선정 시뮬레이션 PC (가상 센서) 2 인지 접속구 검출 · 분할 ROVI Detection 추론 제어기 · Windows GPU 3 6D 자세 ROVI-3D 자세 추정 ICP 정밀 정합 · 신뢰도 필터 추론 제어기 · Windows GPU 4 상태기계 SEARCH → APPROACH → ALIGN → DOCK → VERIFY 기울기 · 잔차 · 통신 감시 → FAILSAFE 시뮬레이션 PC 5 도킹 K10 컨베이어 3축 정렬 · 전개 yaw · 상하 · 슬라이드 → 접속 시뮬레이션 PC 상태 제어기운용 화면 · Run / Stop · 상태 · 영상
처리 흐름 — 주황 점이 디지털 트윈 → 센서 → 인지 → 6D 자세 → 상태기계 → 도킹을 지나 다시 디지털 트윈으로 돌아오는 한 사이클을 보여 줍니다. 각 상자 아래 회색 글자는 그 단계가 도는 장치입니다.

검증 시나리오

정렬된 기본 위치, 위치 · 각도 오프셋(K9 좌우 ±25 cm 무작위 정차), 조명 변화와 센서 노이즈, 반사 · 무특징 표면, 도킹부 부분 가림, 프레임 지연 · 통신 예외, 충돌 위험 시 안전 중단 → 후퇴 → 재시도를 배치로 반복 실행했습니다. 계획에 없던 경사지 주차(yaw ±10°, pitch · roll ±5°)의 6자유도 추정도 추가로 검증했습니다.

결과 (시뮬레이션 실측)

지표목표결과
위치 정확도±5 mm @ 3 m도킹점 오차 중앙값 2.4 mm · 평균 4.42 mm
회전 정확도±1° @ 3 m0.02°
포즈 정확도 달성률±5 mm 및 ±1° 동시94.8 %
원거리 검출률—100 % (192/192, 도킹부 일부 가림 조건)
인식 속도15 FPS 이상충족 (캡처 약 12 ms)
자동 삽입—폐루프 도킹에서 삽입 성공
모든 수치는 Isaac Sim 시뮬레이션 실측값입니다. 1,000회 반복 삽입 시험과 수동 대비 속도 비교는 실장비 POC에서 진행합니다.

데모 영상

상태 제어기 웹 UI 조작부터 도킹 완료까지 한 사이클입니다.

대시보드 — 왼쪽 위 3D 뷰, 오른쪽 위 상태 제어기 웹 UI(원본 크기), 오른쪽 아래 운용 화면(HMI), 왼쪽 아래 LiDAR 뷰와 단계 자막
시각조작 · 단계
3 s지터 체크 — K9을 고른 위치 주변에 무작위로 놓음
5 sK9 위치 ↗ 우상 클릭 — K9 재배치
10 sRun 클릭 → ① 접근 — K10이 K9 후면 도킹 지점까지 자율 이동
15 s② 비전 추론 — 접속구를 검출하고 자세 추정
18–⁠39 s③ 정렬 · 전개 — yaw · 상하 · 슬라이드 3축을 맞추며 컨베이어 전개. 중간에 Lidar Sensor · RGB Camera 버튼으로 카메라 화면 전환
39 s④ 도킹 완료 — Dock 램프 녹색
3D 뷰 + 오른쪽 아래 상태 제어기 웹 UI (1080p)
상태 제어기 웹 UI만 — 버튼 조작과 상태 표시의 변화

상태 제어기 웹 UI 화면

영역내용
맨 위 줄도킹 잔차 X · Y · Z, Dock 램프, COMM · CONTROL · SUB UNIT 상태 램프, 모드
SIMULATIONRun(전 과정) · Approach · Dock · Stop · Reset · Conveyor Home, 무한 반복
K9 RESET POSITIONK9 정차 위치 9방향, 지터(고른 위치 주변 무작위)
MANUAL CONTROLYaw · Up · Slide ± — Manual ON일 때만 컨베이어가 움직임
CAMERARGB Camera · Lidar Sensor 화면 전환
CONVEYORLock · Unlock, 현재 yaw · 상하 · 슬라이드 값
영상의 차량과 배경은 시뮬레이션 모델이고, 화면 자막은 한국어입니다.

7. 문제 해결

증상확인할 것
ToF 화면이 어두워 보드가 안 보임노출 프리셋 변경, 보드를 0.5–1.0 m로
Capture pair가 ✗보드가 두 카메라 화면 안에 모두 있는지, 움직여서 흐리지 않은지
재투영 오차 2 px 초과각도 · 거리를 다양하게 해서 쌍을 더 모은 뒤 다시 교정
오버레이에서 색이 어긋남② 교정을 다시, 카메라 마운트가 흔들리지 않는지
검정 물체 주변에 허상 점저신뢰 depth 마스킹 켜기
핸드아이 오차가 큼자세를 더 다양하게(회전 포함) 12개 이상, 튀는 자세 제외 후 재계산
재교정 결과가 이전과 많이 다름1 mm · 0.1° 이상이면 마운트 점검

8. 문의

회사FLOYD Inc.
메일floyd@floyd.kr
전화070-8676-7976
웹floyd.kr — 검토 요청

로봇 · 센서 조합 적용 검토는 검토 요청으로 보내 주시면 회신드리겠습니다.