Isaac Capture는 로봇 학습용 데이터를 두 가지 경로로 수집합니다. Isaac Teleop에서는 조작자가 로봇을 움직이는 동안 로봇이 관측하고 실행한 내용을 기록합니다. Ego Pipeline에서는 사람이 본 영상을 기록한 후 후속 처리에 필요한 사람의 동작을 복원합니다. 두 경로는 장치와 데이터 유틸리티를 공유하지만 학습 단계에 넘기는 입력은 서로 다릅니다.
사람이 움직인 손이 어떻게 로봇의 시연 데이터가 될까요?
- 입력조작자 움직임 추적
장치 자세 + 타임스탬프장치가 손이나 컨트롤러의 움직임을 기록합니다.
- 처리로봇에 맞게 리타기팅
장치 좌표 → 로봇 명령로봇 관절과 동작 범위에 맞춰 움직임을 바꿉니다.
- 출력시연으로 저장
시점을 맞춘 관측과 행동학습에 쓰기 전 좌표계와 타임스탬프가 맞는지 봅니다.
리타기팅은 좌표와 움직임을 맞추는 단계
추적 장치는 손이나 컨트롤러의 위치·회전과 타임스탬프를 기록합니다. 리타기팅은 이 움직임을 로봇이 쓸 관절 목표나 팔 끝 목표로 바꿉니다. 손을 센서 기준으로 오른쪽으로 3cm 옮긴 경우를 생각해 보세요. 로봇 기준 어느 축이 오른쪽인지와, 해당 자세가 관절 범위 안에 있는지 먼저 확인해야 합니다.
영상과 행동을 같은 시점으로 묶기
학습에 쓸 한 샘플에는 예를 들어 image_time_s=1.200, state_time_s=1.199, command_time_s=1.200처럼 영상·상태·명령의 시점을 따로 기록할 수 있습니다. 이는 동기화를 보여주는 가상 예시입니다. 같은 인덱스라도 시간 기준이 다르면 그리퍼가 닫히기 전 영상에 닫힌 후의 상태를 연결할 수 있으므로, 기록을 재생해 영상과 실제 행동이 맞는지 확인합니다. Isaac Capture 공식 프로젝트
아키텍처와 데이터 흐름
| 구성 요소 | 입력·처리·출력 |
|---|---|
| 장치 플러그인 | 추적 장치에서 손, 손목, 헤드셋 자세 등의 스트림을 받습니다. 플러그인이 이 데이터를 런타임에 전달하므로 장치 연결 코드를 다시 작성하지 않고 리타기팅을 바꿀 수 있습니다. |
| 원격 조작과 리타기팅 | 로봇별 리타기터가 추적 샘플을 시뮬레이터 또는 실제 장비의 목표 명령으로 변환합니다. 관측값, 로봇 상태, 제어 인터페이스는 로봇 환경에서 제공합니다. |
| 기록과 재생 | 장치 스트림은 MCAP에 저장하고 재생할 수 있습니다. 환경 관측과 행동은 학습 워크플로에 맞게 별도로 기록합니다. 예를 들어 SO-101 연동에서는 LeRobot 에피소드 형식을 사용합니다. |
| 1인칭 영상 파이프라인 | 보정된 헤드마운트 영상을 손 복원과 선택적인 카메라 위치 추정에 사용합니다. 결과는 카메라 또는 월드 좌표계의 사람 손 동작 추정값이며, 검토 및 후속 리타기팅에 씁니다. |

NVIDIA 개요 그림의 아래쪽에는 장치·리타기팅·데이터 공통 기능이, 위쪽에는 원격 조작 및 1인칭 파이프라인이 배치되어 있습니다. 연동 항목을 보면 두 경로가 각각 어떤 로봇 개발 환경과 연결되는지 알 수 있습니다. 공식 그림 출처
Teleop 그림은 실시간 제어 경로를 확대해 보여줍니다. 장치 추적에서 리타기팅을 거쳐 로봇에 연결되는 흐름을 따라가면서 실시간 입력과 기록 재생 입력을 구분하면 됩니다. 공식 그림 출처
적용 예시
- 공식 SO-101 연동 가이드로 로봇을 보정하고 지원되는 조작 장치를 구성합니다. 짧고 반복 가능한 탁상 작업을 정합니다.
- 카메라 배치를 유지한 채 에피소드 몇 개를 수집합니다. 리타기팅 경로를 재현해야 한다면 조작자 스트림도 별도로 기록합니다.
- 에피소드 하나를 재생하고, 관측·명령이 동기화됐는지와 작업이 끝나는 시점을 확인한 뒤 수집 규모를 늘립니다.
검증할 항목
- 자세 좌표계와 회전 표현, 장치 샘플 누락, 그리퍼 명령의 방향을 점검합니다.
- 장치 기록과 학습 데이터셋을 각각 검토합니다. MCAP 재생이 성공하더라도 학습 데이터의 카메라와 행동이 맞춰졌는지 별도로 확인해야 합니다.
공식 자료와 이용 조건
저장소 기본 조건은 Apache-2.0입니다. EgoPost는 OpenMDW-1.1을 사용합니다. CloudXR과 선택적 의존성의 이용 조건은 별도입니다.