Happy Oyster 모델 아키텍처

Happy Oyster는 AI 생성 분야에서 독특한 아키텍처 접근 방식을 제시합니다. 수동적인 비디오 시퀀스를 생성하는 대신, 실시간으로 대화형 3D 세계를 시뮬레이션합니다. 본 기술 분석에서는 알리바바의 발표와 광범위한 세계 모델 분야의 맥락적 분석을 바탕으로 알려진 아키텍처 특성을 살펴봅니다.

네이티브 멀티모달 아키텍처

알리바바는 Happy Oyster가 "멀티모달 이해 및 통합 오디오-비디오 생성"을 지원하는 "네이티브 멀티모달 아키텍처"를 기반으로 구축되었다고 설명합니다. 여기서 "네이티브(native)"라는 단어는 매우 중요합니다. 이는 각기 다른 모달리티를 개별 모델이 처리하고 이를 체인처럼 연결하는 파이프라인 방식과 Happy Oyster를 구분 짓는 요소입니다.

파이프라인 접근 방식에서는 다음과 같은 모델이 포함될 수 있습니다:

• 프롬프트를 해석하는 언어 모델
• 지오메트리를 생성하는 3D 생성 모델
• 시각적 결과물을 만드는 렌더링 모델
• 사운드를 생성하는 별도의 오디오 모델

반면, 네이티브 멀티모달 아키텍처는 이를 하나의 통합 모델 내에서 처리하며, 여기에는 다음과 같은 기술적 의미가 있습니다:

교차 모달 일관성(Cross-modal coherence). 오디오와 비디오가 동일한 모델에 의해 생성될 때, 동기화는 사후 처리가 아닌 본질적인 과정이 됩니다. 모델은 학습 과정에서 시각적 이벤트와 그에 대응하는 소리 사이의 관계를 학습합니다.

공유 표현(Shared representations). 통합된 아키텍처는 여러 모달리티에 걸친 내부 표현을 개발할 수 있습니다. 시각적 이벤트와 그에 대응하는 소리는 서로 다른 잠재 공간(latent space) 간에 매핑되는 것이 아니라, 하나의 공유된 잠재 공간을 사용하게 됩니다.

효율성. 각 출력 유형에 대해 별도의 모델 순방향 패스(forward pass)를 실행하는 것보다, 모달리티 전반에 걸쳐 계산을 공유하는 것이 더 효율적일 수 있습니다.

세계 진화 모델링(World evolution modeling)

Happy Oyster에서 아키텍처적으로 가장 독특한 측면은 알리바바가 언급한 "긴 시간 범위에 걸친 세계 진화 모델링"입니다. 이것이 바로 세계 모델을 일반적인 비디오 생성 모델과 구분 짓는 요소입니다.

프레임 예측에서 세계 시뮬레이션으로

전통적인 비디오 모델은 이전 프레임과 조건부 신호(텍스트 프롬프트, 이미지)를 바탕으로 다음 프레임을 예측합니다. 결과물은 미리 정해진 길이의 고정된 시퀀스입니다. 반면, 세계 진화 모델링은 세계 상태에 대한 지속적인 모델을 유지하며, 사용자의 행동에 따라 시간이 흐름에 따라 그 상태가 어떻게 변하는지를 시뮬레이션합니다.

이를 위해서는 다음이 필요합니다:

• 공간 기억(Spatial memory). 모델은 현재 보이지 않는 영역이라 하더라도 3D 환경 내에 무엇이 어디에 존재하는지를 추적해야 합니다. 사용자가 Wandering 모드에서 방향을 돌릴 때, 이전에 생성된 영역은 일관성을 유지해야 합니다.
• 시간적 일관성(Temporal consistency). 조명, 날씨, 물체의 위치와 같은 물리적 속성은 시간이 흐름에 따라 일관되게 변화해야 합니다. 5분 전에 시작된 일출은 자연스럽게 진행되어야 합니다.
• 행동 조건부 생성(Action-conditioned generation). 세계는 미리 정해진 궤적을 따르는 것이 아니라 사용자의 입력에 반응해야 합니다. 이를 위해서는 모델이 연출 명령(Directing 모드)이나 이동 입력(Wandering 모드)을 처리하고 적절한 세계 변화를 생성해야 합니다.

경쟁 방식과의 비교

HY-World 1.5는 과거 프레임에서 컨텍스트를 동적으로 재구성하여 기하학적 드리프트(geometric drift)를 방지하는 "메모리 재구성(Memory Reconstitution)" 메커니즘을 통해 유사한 문제를 해결합니다. 구글의 Genie 3는 24 FPS의 실시간 대화형 생성을 특징으로 합니다.

Happy Oyster가 장기적인 세계 일관성을 유지하기 위해 사용하는 구체적인 메커니즘은 공식 문서에서 자세히 다뤄지지 않았지만, 아키텍처적 과제는 해당 분야 공통의 문제입니다. 즉, 사용자가 장기간 상호작용하는 동안 공간적, 시간적 일관성을 유지하는 3D 환경을 생성하는 것입니다.

듀얼 모드 아키텍처

Directing 모드와 Wandering 모드는 완전히 별개의 아키텍처가 아니라, 동일한 기본 모델의 서로 다른 입출력 구성을 나타낼 가능성이 높습니다:

Directing 모드는 풍부한 연출 명령(조명 조정, 장면 수정, 서사적 방향 등) 스트림을 받아 그에 반응하는 세계 업데이트를 생성합니다. 사용자가 생성의 여러 측면을 능동적으로 제어하기 때문에 입력 대역폭이 높습니다.

Wandering 모드는 이동 및 탐색 입력을 받아 사용자가 이동함에 따라 새로운 환경 영역을 생성합니다. 입력은 더 단순하지만(이동 방향과 속도), 출력은 이전에 생성된 모든 것과 일관성을 유지해야 합니다.

두 모드 모두 핵심적인 세계 진화 모델링 및 멀티모달 생성 기능을 공유합니다. 이는 동일한 세계 시뮬레이션 및 렌더링 파이프라인을 유지하면서도 입력 처리를 유연하게 조정할 수 있는 아키텍처임을 시사합니다.

여전히 알려지지 않은 사항

다음과 같은 몇 가지 중요한 아키텍처 세부 사항은 공개되지 않았습니다:

• 파라미터 수 및 모델 규모
• 학습 데이터 구성 및 규모
• 추론 컴퓨팅 요구 사항 및 하드웨어 사양
• 해상도 및 프레임 속도 성능
• 최대 세션 지속 시간 및 세계 복잡성 제한

자매 모델인 Happy Horse는 8단계 디노이징을 사용하는 15B 파라미터 트랜스포머로 보고되었지만, Happy Oyster의 3D 세계 시뮬레이션 요구 사항은 다른 아키텍처와 규모를 필요로 할 수 있습니다.

기술 통합에 관심이 있는 개발자는 API 가이드에서 액세스 상태를 확인할 수 있습니다. 멀티모달 측면에 대한 자세한 내용은 Happy Oyster 멀티모달 아키텍처를 참조하십시오. Elser.ai와 같은 도구는 AI 생성 플랫폼 간의 기술적 역량을 비교하는 데 도움이 될 수 있습니다.

비공식 알림

본 웹사이트는 독립적인 정보 제공 및 비교 리소스이며, 공식 Happy Oyster 웹사이트나 서비스가 아닙니다.