움직이는 사진: NVIDIA 인스턴트 NeRF로 이미지를 3D 장면으로 변환하기
편집자 주: 이 게시물은 AI를 보다 쉽게 이해할 수 있도록 기술을 설명하는 AI 디코딩 시리즈 의 일부로, RTX PC 사용자를 위한 새로운 하드웨어, 소프트웨어, 도구 및 가속을 선보입니다.
바다의 수평선이 내려다보이는 절벽과 같은 매혹적인 파노라마를 바라보고 있다고 가정해 보세요. 2차원에서도 이 배경은 여전히 부인할 수 없는 매력과 매혹적인 품질을 지니고 있을 것입니다. 하지만 직접 그 안에 들어가지 않고도 3차원으로 동일한 원근감을 경험할 수 있다고 상상해 보세요.
NVIDIA RTX 기술 기반 AI는 이러한 상상을 현실로 만들어 줍니다. 인스턴트 NeRF 을 사용하여 크리에이터는 정지 이미지 컬렉션을 단 몇 초 만에 디지털 3D 장면 으로 변환합니다.
심플리 래디언트
Neural Radiance Field(NeRF)는 동일한 장면을 묘사하는 단순한 2차원 이미지에서 3차원 장면을 렌더링하는 새로운 접근 방식을 사용하는 정교한 인공 지능 모델입니다. 인간의 뇌 조직을 모방하도록 설계된 신경망을 통해 작동하며, 패턴 인식과 관련된 다양한 작업에 활용할 수 있습니다.
공간 포지셔닝과 3차원 볼륨 렌더링 기술을 모두 활용하여 NeRF는 여러 이미지에 묘사된 카메라의 시점을 기반으로 주어진 장면의 3차원 표현을 생성할 수 있습니다. 역사적으로 이 프로세스는 연산 요구량이 높고 렌더링 리소스와 처리 시간이 많이 소요되는 것으로 알려져 있습니다.
최근 NVIDIA의 인공 지능 연구에서 주목할 만한 발전이 이루어지면서 이러한 인식이 바뀌고 있습니다.
Instant NeRF 는 AI 가속 역 렌더링을 사용하여 실제 세계에서 빛이 어떻게 작용하는지를 근사화함으로써 NeRF를 한 단계 더 발전시켰습니다. 이를 통해 연구자들은 다양한 각도에서 촬영한 2D 이미지로 3D 장면을 구성할 수 있습니다. 이제 몇 초 만에 장면을 생성할 수 있으며, NeRF 모델을 오래 훈련할수록 3D 렌더링 결과물이 더욱 세밀해집니다.
엔비디아 연구원들은 2022년 시그라프 컴퓨터 그래픽 컨퍼런스에서 Instant-NGP 훈련 도구 세트의 일부로 4개의 신경 그래픽 프리미티브 또는 사전 훈련된 데이터 세트를 공개했습니다. 이 툴을 사용하면 누구나 자신의 데이터로 NeRF를 만들 수 있습니다. 연구진은 이 작업으로 최우수 논문상 를 수상했으며, 타임지는 Instant NeRF를 2022년 최고의 발명품 로 선정했습니다.
데스크톱 및 노트북 컴퓨터에서 볼 수 있는 NVIDIA RTX 및 GeForce RTX 그래픽 처리 장치(GPU)를 활용하는 Instant NeRF는 전체 이미지 생성 프로세스에 대한 접근성을 용이하게 합니다. 장면 렌더링에 필요한 시간은 데이터 세트 크기 및 시각적 미디어 소스의 혼합과 같은 요인에 따라 달라지지만, 인공지능 학습에 강력한 서버나 클라우드 인프라를 사용할 필요는 없습니다.
NVIDIA의 RTX 시리즈 워크스테이션 및 PC는 강력한 인공 지능 처리 기능을 제공하는 통합 텐서 코어를 사용하여 NeRF(신경 방사 필드) 렌더링에 필요한 집약적인 계산을 처리하도록 특별히 설계되었습니다.
준비, 설정, 실행
매혹적인 이미지를 통해 래디언스 필드의 원리를 이해할 수 있는 최첨단 기술인 인스턴트 NeRF를 활용하여 래디언스 필드에 대한 탐험을 시작하고 혁신적인 시각 경험에 빠져보세요.
개발자 및 기술 애호가는 소스 코드 베이스를 다운로드하여 컴파일할 수 있습니다. 기술 전문가가 아닌 사용자는 Instant-NGP 소프트웨어용 Windows 인스톨러를 GitHub 에서 다운로드할 수 있습니다.
이 설치 프로그램은 다양한 RTX GPU에 사용할 수 있지만, 최신 아키텍처인 GeForce RTX 40 시리즈 및 NVIDIA RTX Ada Generation GPU에서 가장 잘 작동합니다.
“인스턴트 NeRF 시작하기” 가이드는 “NeRF Fox"와 같은 프리미티브 중 하나를 로드하는 과정을 포함하여 사용자가 어떤 것이 가능한지 파악할 수 있도록 안내합니다. 위와 같은 자세한 지침과 동영상 연습에서는 좋은 입력 이미지를 캡처하고 코드베이스를 컴파일하는 팁(소스에서 빌드한 경우)을 포함하여 사용자 지정 데이터로 NeRF를 만드는 방법을 보여줍니다. 또한 이 가이드에서는 인스턴트 NeRF 그래픽 사용자 인터페이스 사용, 장면 파라미터 최적화 및 장면에서 애니메이션을 만드는 방법도 다룹니다.
NeRF 커뮤니티에서도 사용자가 시작하는 데 도움이 되는 많은 팁과 요령을 제공합니다. 예를 들어, 아래 라이브스트림과 이 기술 블로그 게시물 를 확인하세요.
쇼 앤 텔
디지털 아티스트들이 NVIDIA 인스턴트 NeRF로 아름다운 장면을 구성하고 새로운 스토리를 전달하고 있습니다. Instant NeRF 갤러리 에서는 모든 웹 브라우저에서 비디오 클립으로 볼 수 있는 가장 혁신적이고 생각을 자극하는 몇 가지 사례를 선보입니다.
다음은 몇 가지입니다:
Through the Looking Glass는 일상의 일부로 자신의 곡을 연주하는 피아니스트가 등장하는 매혹적인 작품입니다.시청자는 기존의 방식으로는 접근할 수 없는 반전된 현실로 통하는 포털 역할을 하는 거울을 바라봅니다. 문턱을 넘으면 시청자는 익숙하면서도 초현실적으로 보이는 다른 세계에 둘러싸여 있는 자신을 발견하게 됩니다. 프란 루센트의 명상은 또 다른 매혹적인 경험을 선사합니다. 루센트는 니코 산투치의 여러 방 중 하나에 들어서자마자 이곳을 NeRF로 바꿔야겠다고 생각했습니다. 그는 다이나믹 레인지와 연못에 비친 반사에 매료되어 미지의 여정을 떠났습니다. 이 매혹적인 장면을 포착하기 위해 루센트는 NeRF 기술을 사용하여
이미지에서 비디오, 현실로
인공 지능을 통해 2차원 이미지를 3차원 환경으로 변환하는 것은 인상적인 기술 혁신의 업적을 보여주며, 이 합성 영역 내에서 경험하고 탐색하는 것은 컴퓨터 그래픽의 진화에서 더욱 진화된 단계를 나타냅니다.
인스턴트 NeRF의 최신 버전을 통해 사용자는 정적 이미지에서 렌더링하여 장면의 동적 3D 표현을 만들 수 있습니다. 이 혁신적인 기능을 통해 사용자는 가상 환경 내에서 자유롭게 움직이며 경험에 완전히 몰입할 수 있어 전례 없는 수준의 인터랙티브한 경험을 할 수 있습니다. VR 기술의 발전으로 개인이 VR 헤드기어를 착용하고 새롭게 창조된 공간을 탐험할 수 있게 되면서 기존의 한계를 뛰어넘는 진정으로 매혹적이고 몰입감 넘치는 경험을 제공할 수 있게 되었습니다.
잠재적인 혜택은 거의 무한합니다.
매우 상세한 3D 모델을 제작하고 공유할 수 있는 기술의 발전으로 여러 직업군이 혜택을 받을 수 있습니다. 예를 들어 부동산 중개업자는 사진 몇 장만으로 부동산의 정확한 3D 표현을 생성할 수 있는 사진측량과 같은 최첨단 도구를 사용하여 업계에 혁신을 일으킬 수 있습니다. 가상 투어를 통해 이러한 모델을 제공함으로써 잠재적 구매자나 임차인에게 이전에는 얻을 수 없었던 수준의 몰입감을 제공할 수 있습니다.
인스턴트 NeRF에는 VR에서 장면을 쉽게 정리할 수 있는 기능이 포함되어 있어 그 어느 때보다 직관적으로 고품질의 NeRF를 제작할 수 있습니다. VR에서 인스턴트 NeRF 공간 탐색하기 에 대해 자세히 알아보세요.
인스턴트-NGP 애플리케이션을 다운로드하여 여정을 시작하고 해시태그 #InstantNeRF를 활용하여 다양한 소셜 플랫폼에서 자유롭게 작품을 선보이세요.
제너레이티브 AI는 게임, 화상 회의 및 모든 종류의 인터랙티브 경험을 혁신하고 있습니다. AI Decoded 뉴스레터 을 구독하여 새로운 소식과 다음 소식을 확인하세요.