Replicator

카메라와 어노테이터를 연결해 RGB·깊이·분할 값이 어떤 파일로 저장되는지 살펴봅니다.

Replicator는 시뮬레이션 장면에서 라벨이 붙은 합성 데이터셋을 만듭니다. 캡처 사이에 바뀌는 요소, 장면을 렌더링할 카메라, 계산할 라벨과 저장 형식을 설정합니다.

카메라 화면에서 RGB와 라벨 파일이 나오는 과정

데이터는 어떻게 흐를까요?
  1. 입력촬영 설정카메라 프림 + 해상도

    렌더 프로덕트가 읽을 화면을 지정합니다.

  2. 처리채널별 데이터 읽기어노테이터 → RGB · 깊이 · 라벨 ID

    같은 프레임에서 필요한 정보를 채널마다 읽습니다.

  3. 출력결과 묶어서 저장라이터 또는 Python → 프레임 파일

    프레임 번호와 라벨 매핑을 함께 보관합니다.

렌더 프로덕트, 어노테이터, 라이터

/World/SensorCamera와 해상도 960 × 540를 묶어 렌더 프로덕트를 만듭니다. 여기에 RGB·카메라 평면 기준 깊이·의미 분할 어노테이터를 연결합니다. 어노테이터마다 같은 프레임을 다르게 읽습니다. 파일 기록은 라이터에 맡기거나, 이 심화 실습처럼 Python에서 직접 PNG·NumPy·JSON으로 저장할 수 있습니다.

장면 상태와 출력 파일 짝짓기

예를 들어 프레임 폴더 03/에서 rgb.png는 색, depth_m.npy는 각 픽셀의 깊이(m), semantic_ids.npy는 클래스 번호입니다. semantic_labels.json을 같이 읽어야 어떤 번호가 큐브인지 알 수 있습니다. 카메라·조명·물체의 위치를 바꿀 때는 설정과 프레임 번호도 함께 남깁니다. 그래야 마스크 면적이 줄어든 이유를 원래 장면과 대조할 수 있습니다. 12프레임 심화 실습 · Replicator 공식 캡처 예제

아키텍처

구성 요소 역할과 주고받는 데이터
USD 스테이지와 의미 라벨 물체·재질·카메라는 스테이지에 있습니다. 의미 라벨은 물체를 주석 생성기에 쓰는 클래스로 연결합니다. 물리를 진행해 흩뿌리거나 떨어뜨린 에셋을 안정시킨 뒤 캡처할 수 있습니다.
무작위화와 오케스트레이터 튜토리얼은 자세·배치의 직접 수정과 이벤트로 실행하는 그래프 무작위화를 함께 사용합니다. 오케스트레이터 스텝으로 변경된 장면을 캡처할 때를 정합니다.
렌더 프로덕트와 주석 생성기 렌더 프로덕트가 카메라를 캡처 파이프라인에 연결합니다. 주석 생성기가 렌더 결과와 장면 메타데이터에서 RGB·박스·분할 같은 데이터를 얻습니다.
기록기 기록기가 렌더 프로덕트에 연결돼 선택한 스트림을 지정 형식으로 저장합니다. 여러 카메라에서 같은 캡처 스텝의 시점을 얻을 수 있습니다.

아래 공식 자료를 바탕으로 이 가이드에서 재구성한 그림입니다.

Mermaid
flowchart LR
    stage["USD 장면과 의미 라벨"]
    rand["자세·조명·재질 무작위화"]
    render["카메라 렌더 프로덕트"]
    anno["RGB와 주석 스트림"]
    writer["데이터셋 기록기"]
    qa["주석 시각화와 데이터 검증"]
    rand --> stage
    stage --> render
    render --> anno
    stage --> anno
    anno --> writer
    writer --> qa

공식 그림과 예시

장면 기반 튜토리얼의 창고 캡처 워크플로와 렌더링 결과.

장면 기반 튜토리얼의 창고 캡처 워크플로와 렌더링 결과. 그림 출처와 원문 설명

무작위화한 UR10 팔레타이징 장면에서 캡처한 데이터 예시.

무작위화한 UR10 팔레타이징 장면에서 캡처한 데이터 예시. 그림 출처와 원문 설명

워크플로 예시

  1. 창고 장면 튜토리얼에서 지게차, 팔레트, 상자와 여러 카메라를 구성합니다. 클래스 라벨을 붙이고 작업에 맞는 카메라 범위 안에 물체를 배치합니다.
  2. 무작위화 시드를 정하고 자세·조명·재질을 바꿉니다. 배치한 물체가 안정될 때까지 물리를 진행한 뒤 캡처하고 RGB와 박스 라벨을 저장합니다.
  3. 대량 생성 전에 일부 영상에 라벨을 겹쳐 확인합니다. 학습과 평가 데이터가 지나치게 비슷해지지 않도록 장면 또는 구성 기준으로 분리합니다.

검증할 항목

  • 라벨 누락, 완전 가림, 카메라 범위와 출력 형식을 확인합니다. 창고 예제의 KITTI 주석은 선택한 학습기에 따라 변환이 필요할 수 있습니다.
  • 무작위화 시드와 캡처 시점을 기록합니다. 탐지기 배포 성능을 확인할 때 합성 검증 데이터와 실제 영상을 함께 평가합니다.

공개 범위와 라이선스

Replicator는 Omniverse/Isaac Sim 구성 요소로 배포됩니다. 확장, 렌더러, 에셋과 출력물의 조건은 배포판별로 확인합니다.

Isaac Sim · SimReady · CDF Simulation · TAO Toolkit

공식 자료