홈

피지컬 AI 도구의 동작 원리

관심 분야를 골라 그림과 데이터 예시를 순서대로 읽고, 해당 실습으로 이어가세요.

가이드 48개

환경 설정

GPU와 드라이버를 확인한 뒤 GUI에서 장면을 열고 터미널에서 캡처를 실행하는 흐름을 익힙니다.

  1. NVIDIA Linux 머신 준비하기GPU·드라이버·CUDA를 확인하고, SSH로 접속하거나 컨테이너에 GPU를 연결합니다.
  2. Isaac Sim 설치와 첫 실행시뮬레이터를 설치하고 USD 장면을 열어 본 뒤, GUI와 CLI로 이어서 실습합니다.

물리·시뮬레이션

장면을 열고 큐브를 떨어뜨리는 원리부터 읽으세요. 접촉, 물리 엔진의 계산 결과, GPU 입자 시뮬레이션으로 이어집니다.

  1. Isaac SimUSD 장면을 열어 물리를 계산하고 RTX로 센서 데이터를 만드는 구조를 봅니다.
  2. Isaac Sim에서 큐브 떨어뜨리기같은 큐브를 두 번 떨어뜨려 강체와 충돌체가 각각 어떤 역할을 하는지 확인합니다.
  3. PhysX중력과 접촉이 강체를 어떻게 움직이고, 그 결과가 좌표로 어떻게 기록되는지 봅니다.
  4. SimReadyUSD 에셋에 어떤 물리 속성과 라벨이 있어야 시뮬레이션에 쓸 수 있는지 살펴봅니다.
  5. 눈으로 확인하는 물리충돌체를 바꾸면 물체가 멈추는 높이가 달라집니다. 마찰은 미끄러지는 거리, 반발계수는 튀어 오르는 높이를 바꿉니다.
  6. NewtonNewton이 한 스텝의 물리를 계산하는 과정과 PhysX 결과를 비교하는 법을 배웁니다.
  7. Newton으로 천과 케이블 움직여 보기XPBD·VBD 천과 케이블 비틀림을 Newton에서 계산하고, 저장된 상태를 Isaac Sim에서 재생합니다.
  8. WarpPython에서 준비한 입자 배열이 GPU 커널로 들어가고, 계산 결과를 뷰어와 검사 코드가 읽는 과정을 봅니다.
  9. Warp로 입자 충돌 계산하기GPU에서 입자 65,536개의 상호작용을 계산하고, 영상에는 네 개 중 하나를 표시합니다.

3D 에셋·합성 데이터

CAD를 장면으로 바꿔 촬영하는 흐름부터 읽으세요. 깊이로 점군을 만들고, 심화 촬영이나 사진 기반 복원으로 확장합니다.

  1. OpenUSD참조와 레이어를 합성해 Isaac Sim이 여는 장면이 어떻게 만들어지는지 살펴봅니다.
  2. 작업대 CAD → Isaac SimSTEP 파일을 OpenUSD로 변환한 뒤 작업대 치수와 충돌체를 확인합니다.
  3. Replicator카메라와 어노테이터를 연결해 RGB·깊이·분할 값이 어떤 파일로 저장되는지 살펴봅니다.
  4. CAD 작업대부터 카메라 데이터셋까지작업대를 Isaac Sim 장면으로 만들어 Replicator로 촬영하고, CPU에서 결과를 검사합니다.
  5. 작업대에서 센서 데이터까지CAD 작업대를 열고 Replicator에서 카메라 장면을 바꿉니다. RGB·깊이·라벨과 복원한 점군을 확인할 수 있습니다.
  6. 카메라 한 대에서 나온 세 가지 데이터12프레임의 RGB, 카메라 평면 기준 깊이, 의미 분할 마스크를 비교합니다.
  7. fVDB Reality Capture촬영 위치를 아는 사진에서 3D 장면을 복원하고, 새 시점을 렌더링하고 내보냅니다.

로봇 학습·제어

로봇 환경과 성공 판정부터 익힌 뒤 정책 실행, 경로 계획, 시연 수집·생성, 보행 학습 순으로 살펴봅니다.

  1. Isaac Lab여러 로봇 환경에서 관측·행동·보상이 어떻게 오가고 정책을 학습시키는지 설명합니다.
  2. 책상 주변에서 해 본 실험도망가는 알람, 카드를 인식하는 과자 서랍, 마우스까지 치우는 정리 규칙, 통로 폭을 비교하는 카트를 담았습니다.
  3. Isaac Lab-Arena로봇 평가에서 과제를 구성하고 모델을 실행한 뒤 에피소드의 성공 여부를 판정하는 과정을 봅니다.
  4. 로봇 파운데이션 모델 고르고 평가하기로봇이나 벤치마크에 맞는 체크포인트를 고르고, 정책을 한 번 실행해 결과를 확인합니다.
  5. GR00T가 큐브를 그릇에 놓기까지그리퍼가 큐브를 들고 옮긴 뒤 그릇 위에서 열리는 동작을 볼 수 있습니다.
  6. cuRobo같은 목표에서 장애물 배치에 따라 관절 경로가 어떻게 달라지는지 봅니다.
  7. 로봇은 어떻게 움직일까GR00T 집기 성공, cuRobo 장애물 우회 경로, AutoData 시연 재생, Newton에서 Microduck 보행 정책을 비교합니다.
  8. Isaac Capture사용자의 움직임을 로봇 명령으로 바꾸고 학습용 시연으로 기록하는 과정을 살펴봅니다.
  9. Video-to-Data사람의 작업 영상에서 로봇 학습에 쓸 만한 관측과 행동 쌍을 얻는 흐름을 설명합니다.
  10. AutoData기존 로봇 시연을 새 장면에 적용하고 성공한 시연을 학습 데이터로 남기는 과정을 살펴봅니다.
  11. Newton에서 걷는 MicroduckIsaac Lab에서 학습한 보행 정책으로 가상 로봇을 움직입니다.

자율주행

주행 장면 복원과 정책의 궤적 출력부터 읽으세요. 폐루프 주행을 평가한 뒤 보상 계산과 정책 갱신을 살펴봅니다.

  1. 운전자 시점으로 보는 네 도로 환경CARLA에서 도심·폭우·젖은 주택가·안개를 직접 촬영했습니다. 규칙 기반 Traffic Manager의 주행이며 AI 정책 성능을 평가한 영상은 아닙니다.
  2. NuRec주행 기록에서 새 카메라 시점으로 렌더링할 수 있는 장면을 만드는 과정을 살펴봅니다.
  3. Alpamayo2 Super 공식 추론 예제에서 카메라 영상과 자차 상태가 설명과 미래 궤적으로 바뀌는 과정을 봅니다.
  4. AlpaSim으로 자율주행 정책 평가하기NuRec으로 복원한 주행 장면에서 기준 정책을 실행합니다.
  5. AlpaGym설정 파일에서 고른 주행 장면이 폐루프 경험과 보상으로 이어져 정책을 갱신하는 과정을 봅니다.
  6. Cosmos RLAlpaGym에서 경험 수집 프로세스와 학습 프로세스가 주행 기록과 보상을 어떻게 주고받는지 봅니다.

3D 세계 생성·렌더링

세계 생성·3DGS 복원·절차적 기하 구조를 먼저 구분합니다. 이어 영상 생성, 데이터 정제와 모델 연결로 확장합니다.

  1. 3D 세계 생성·렌더링 도구 고르기탐색 가능한 3D 세계, 촬영한 Gaussian 장면, 절차적 기하 구조와 카메라 동작 기반 영상을 비교합니다.
  2. 글과 이미지로 만든 3D 공간 둘러보기WorldGen으로 로봇 실험실·숲길·확장된 거실을 생성했습니다. 3D 공간에서 카메라를 움직인 영상을 보고, 브라우저에서도 직접 둘러보세요.
  3. WorldGen 실험실에서 로봇 움직이기생성한 실험실에서 이동 로봇이 상자에 막힌 뒤 후진해 우회합니다. 회복 순서는 미리 정했고, 접촉과 움직임은 Isaac Sim 6.2의 PhysX가 실제 계산합니다.
  4. 정해 둔 경유점과 센서로 찾은 경로 비교추가 상자가 기존 경로를 막습니다. 실제 물리 거리 센서의 측정값으로 점유 격자와 A* 경로를 만들자, 같은 로봇이 반대편으로 우회합니다. Isaac Sim GUI를 1배속으로 녹화했습니다.
  5. 움직이는 장애물에 멈추고 다시 출발하기주행 중 차단벽이 닫혔다 열립니다. 이전 지도에는 관측이 남아 막히지만, 새 제어는 거리 관측으로 지도를 갱신하고 다시 출발합니다. 실제 Isaac Sim GUI를 1배속으로 녹화했습니다.
  6. 3DGS로 복원한 광장 둘러보기CARLA 촬영을 fVDB로 복원했습니다. 브라우저에서 직접 시점을 움직이거나 전체 모델의 카메라 이동 영상을 볼 수 있습니다.
  7. 새로 생성한 집 안 둘러보기Infinigen이 방·가구를 생성하고 카메라 경로를 정합니다. Blender Cycles로 렌더링한 절차적 생성 예제이며 신경망 월드 모델은 아닙니다.
  8. Cosmos Curator원본 영상을 짧은 구간으로 나누고 선별·주석해 학습 데이터를 만드는 과정을 봅니다.
  9. Cosmos 월드 모델영상과 장면 조건을 어떻게 입력하고, 영상 생성이나 추론에 어떻게 쓰는지 살펴봅니다.
  10. 월드 모델 생성과 주행 모델의 출력Cosmos의 카메라 조건 영상 생성에 이어 Alpamayo 예측 경로를 Isaac Sim에서 재생합니다. 직접 만든 장면으로 각각 실행한 모델 실험입니다.
  11. Cosmos Data Factory블루프린트가 선별·생성·평가 단계를 거쳐 데이터셋을 내보내는 과정을 살펴봅니다.
  12. Metropolis VSS영상 구간을 분석해 검색하고, 답변의 근거를 원본 영상에서 확인하는 방법을 살펴봅니다.
  13. NeMo Switchyard로 모델 요청 보내기영상 분석 앱의 요청이 모델 서버에 전달되는 과정을 살펴보고, 서비스를 연결할 때 확인할 항목을 알아봅니다.