시뮬론, 아이폰용 '현실 인식 렌더링' 출시: 물리 공간과 상호작용하는 뉴럴 에셋 배치

디베시 나이두(Divesh Naidoo)는 2026년 10월 29일 아이폰용 시뮬론(Simulon)의 신규 기능인 '현실 인식 렌더링(Reality-Aware Rendering)'을 공개했습니다. 나이두의 설명에 따르면 사용자는 스마트폰으로 뉴럴 에셋(neural assets)을 배치하고 장면을 연기할 수 있으며, 녹화를 멈추면 시뮬론이 사용자의 행동과 음성, 주변 장소를 읽어 에셋이 이에 반응하도록 테이크를 렌더링합니다.

이미지 출처: @diveshnaidoo via X

이 워크플로우는 녹화가 끝난 뒤 사용자의 행동과 음성, 주변 장소가 담긴 테이크를 읽고 결과를 렌더링합니다.

녹화 영상 분석과 환경 반응형 에셋 생성 메커니즘

현실 인식 렌더링은 스마트폰으로 뉴럴 에셋을 배치하고 장면을 연기한 뒤, 녹화가 끝나면 시뮬론이 테이크에 담긴 행동과 음성, 주변 장소를 읽는 방식으로 작동합니다.

나이두는 시뮬론이 녹화를 멈춘 뒤 기록된 테이크를 읽고 렌더링한다고 설명했습니다.

• 녹화 맥락 판독: 사용자가 한 행동과 말한 내용, 주변 장소를 함께 읽습니다.
• 에셋 반응: 녹화가 끝난 뒤 시뮬론이 테이크를 읽고, 배치된 뉴럴 에셋이 사용자의 행동과 음성, 주변 장소에 반응하도록 렌더링합니다.
• 새로운 퍼포먼스 재생성: 나이두의 설명에 따르면 최종 결과물은 녹화 영상의 복사본이 아니라, 녹화본에서 재생성한 새로운 장면의 퍼포먼스입니다.

녹화 후 렌더링 방식

공개된 워크플로우에서는 녹화를 멈춘 뒤 테이크 렌더링이 시작됩니다.

시뮬론은 녹화가 끝난 뒤 테이크를 렌더링하므로, 공개된 워크플로우는 실시간 재생이 아닌 녹화 기반 방식입니다.

• 녹화 후 처리: 녹화를 멈추면 시뮬론이 테이크를 읽고 최종 결과를 렌더링합니다.
• 재생성 결과: 나이두는 최종 결과물이 녹화 영상을 복사한 것이 아니라 녹화본에서 재생성한 새로운 장면의 퍼포먼스라고 설명했습니다.
• 실시간 방향: 실시간 작동 가능성을 묻는 질문에 나이두는 "This is where it’s going!"이라고 답했습니다. 현재 공개된 방식은 녹화가 끝난 뒤 렌더링합니다.

무료 배포 현황과 안드로이드 지원 계획

나이두는 시뮬론을 지금 무료로 사용해 볼 수 있다고 밝혔습니다.

나이두는 시뮬론을 무료로 사용해 볼 수 있으며 앱스토어에 출시됐다고 밝혔습니다. 현실 인식 렌더링은 현재 아이폰에서 이용할 수 있고, 안드로이드(Android) 지원은 곧 제공될 예정이라고 설명했습니다.

나이두는 렌더링된 결과를 녹화 영상의 복사본이 아니라 장면을 새로 연기한 것처럼 재생성된 퍼포먼스라고 설명했습니다.

출처

• Divesh Naidoo의 X 계정 (@diveshnaidoo): 2026-10-29 Reality-Aware Rendering 발표
• Apple App Store: Simulon iOS 앱 다운로드