Replicator는 시뮬레이션 장면에서 라벨이 붙은 합성 데이터셋을 만듭니다. 캡처 사이에 바뀌는 요소, 장면을 렌더링할 카메라, 계산할 라벨과 저장 형식을 설정합니다.
카메라 화면에서 RGB와 라벨 파일이 나오는 과정
- 입력촬영 설정
카메라 프림 + 해상도렌더 프로덕트가 읽을 화면을 지정합니다.
- 처리채널별 데이터 읽기
어노테이터 → RGB · 깊이 · 라벨 ID같은 프레임에서 필요한 정보를 채널마다 읽습니다.
- 출력결과 묶어서 저장
라이터 또는 Python → 프레임 파일프레임 번호와 라벨 매핑을 함께 보관합니다.
렌더 프로덕트, 어노테이터, 라이터
/World/SensorCamera와 해상도 960 × 540를 묶어 렌더 프로덕트를 만듭니다. 여기에 RGB·카메라 평면 기준 깊이·의미 분할 어노테이터를 연결합니다. 어노테이터마다 같은 프레임을 다르게 읽습니다. 파일 기록은 라이터에 맡기거나, 이 심화 실습처럼 Python에서 직접 PNG·NumPy·JSON으로 저장할 수 있습니다.
장면 상태와 출력 파일 짝짓기
예를 들어 프레임 폴더 03/에서 rgb.png는 색, depth_m.npy는 각 픽셀의 깊이(m), semantic_ids.npy는 클래스 번호입니다. semantic_labels.json을 같이 읽어야 어떤 번호가 큐브인지 알 수 있습니다. 카메라·조명·물체의 위치를 바꿀 때는 설정과 프레임 번호도 함께 남깁니다. 그래야 마스크 면적이 줄어든 이유를 원래 장면과 대조할 수 있습니다. 12프레임 심화 실습 · Replicator 공식 캡처 예제
아키텍처
| 구성 요소 | 역할과 주고받는 데이터 |
|---|---|
| USD 스테이지와 의미 라벨 | 물체·재질·카메라는 스테이지에 있습니다. 의미 라벨은 물체를 주석 생성기에 쓰는 클래스로 연결합니다. 물리를 진행해 흩뿌리거나 떨어뜨린 에셋을 안정시킨 뒤 캡처할 수 있습니다. |
| 무작위화와 오케스트레이터 | 튜토리얼은 자세·배치의 직접 수정과 이벤트로 실행하는 그래프 무작위화를 함께 사용합니다. 오케스트레이터 스텝으로 변경된 장면을 캡처할 때를 정합니다. |
| 렌더 프로덕트와 주석 생성기 | 렌더 프로덕트가 카메라를 캡처 파이프라인에 연결합니다. 주석 생성기가 렌더 결과와 장면 메타데이터에서 RGB·박스·분할 같은 데이터를 얻습니다. |
| 기록기 | 기록기가 렌더 프로덕트에 연결돼 선택한 스트림을 지정 형식으로 저장합니다. 여러 카메라에서 같은 캡처 스텝의 시점을 얻을 수 있습니다. |
아래 공식 자료를 바탕으로 이 가이드에서 재구성한 그림입니다.
flowchart LR
stage["USD 장면과 의미 라벨"]
rand["자세·조명·재질 무작위화"]
render["카메라 렌더 프로덕트"]
anno["RGB와 주석 스트림"]
writer["데이터셋 기록기"]
qa["주석 시각화와 데이터 검증"]
rand --> stage
stage --> render
render --> anno
stage --> anno
anno --> writer
writer --> qa
공식 그림과 예시

장면 기반 튜토리얼의 창고 캡처 워크플로와 렌더링 결과. 그림 출처와 원문 설명

무작위화한 UR10 팔레타이징 장면에서 캡처한 데이터 예시. 그림 출처와 원문 설명
워크플로 예시
- 창고 장면 튜토리얼에서 지게차, 팔레트, 상자와 여러 카메라를 구성합니다. 클래스 라벨을 붙이고 작업에 맞는 카메라 범위 안에 물체를 배치합니다.
- 무작위화 시드를 정하고 자세·조명·재질을 바꿉니다. 배치한 물체가 안정될 때까지 물리를 진행한 뒤 캡처하고 RGB와 박스 라벨을 저장합니다.
- 대량 생성 전에 일부 영상에 라벨을 겹쳐 확인합니다. 학습과 평가 데이터가 지나치게 비슷해지지 않도록 장면 또는 구성 기준으로 분리합니다.
검증할 항목
- 라벨 누락, 완전 가림, 카메라 범위와 출력 형식을 확인합니다. 창고 예제의 KITTI 주석은 선택한 학습기에 따라 변환이 필요할 수 있습니다.
- 무작위화 시드와 캡처 시점을 기록합니다. 탐지기 배포 성능을 확인할 때 합성 검증 데이터와 실제 영상을 함께 평가합니다.
공개 범위와 라이선스
Replicator는 Omniverse/Isaac Sim 구성 요소로 배포됩니다. 확장, 렌더러, 에셋과 출력물의 조건은 배포판별로 확인합니다.
관련 가이드
Isaac Sim · SimReady · CDF Simulation · TAO Toolkit