Happy Oyster モデルアーキテクチャ

Happy Oysterは、AI生成分野において際立ったアーキテクチャアプローチを示しています。受動的なビデオシーケンスを生成するのではなく、インタラクティブな3Dワールドをリアルタイムでシミュレートします。本稿では、Alibabaの発表と、より広範なワールドモデル分野からの文脈的分析に基づき、そのアーキテクチャについて現在判明していることを考察します。

ネイティブマルチモーダルアーキテクチャ

Alibabaは、Happy Oysterを「マルチモーダル理解とオーディオ・ビデオの統合生成」をサポートする「ネイティブマルチモーダルアーキテクチャ」に基づいて構築されたと説明しています。「ネイティブ」という言葉は重要です。これは、個別のモデルが異なるモダリティを処理し、それらを連鎖させるパイプライン型アプローチとHappy Oysterを区別するものです。

パイプライン型アプローチでは、以下のような構成をとることがあります。

• プロンプトを解釈する言語モデル
• ジオメトリを生成する3D生成モデル
• ビジュアル出力をレンダリングするレンダリングモデル
• サウンドを生成する別のオーディオモデル

一方、ネイティブマルチモーダルアーキテクチャは、これらを統一されたモデル内で処理します。これにはいくつかの技術的な意味合いがあります。

クロスモーダルの一貫性。 オーディオとビデオが同一のモデルによって生成されるため、同期は事後的な調整ではなく本質的に実現されます。モデルは学習プロセスを通じて、視覚的なイベントとそれに対応する音の関係性を学習します。

共有表現。 統一されたアーキテクチャは、モダリティを横断する内部表現を発達させることができます。視覚的イベントとそれに対応する音は、別々の潜在空間間でマッピングされるのではなく、潜在空間を共有します。

効率性。 モダリティ間での計算の共有は、出力タイプごとに個別のモデルフォワードパスを実行するよりも効率的になる可能性があります。

ワールド進化モデリング

Happy Oysterにおいてアーキテクチャ上最も特徴的な側面は、Alibabaが呼ぶところの「長時間にわたるワールド進化モデリング」です。これこそが、ワールドモデルをビデオ生成モデルと隔てる要素です。

フレーム予測からワールドシミュレーションへ

従来のビデオモデルは、先行するフレームや条件付け信号（テキストプロンプト、画像）に基づいて次のフレームを予測します。出力はあらかじめ長さが決まった固定シーケンスです。一方、ワールド進化モデリングは、ワールドの状態を永続的に保持し、ユーザーのアクションに応答してその状態が時間とともにどのように変化するかをシミュレートします。

これには以下が必要です：

• 空間メモリ。 モデルは、現在表示されていない領域を含め、3D環境内のどこに何が存在するかを追跡しなければなりません。Wanderingモードでユーザーが振り返ったとき、過去に生成された領域に整合性が保たれている必要があります。
• 時間的一貫性。 照明、天候、物体の位置などの物理的特性は、時間の経過とともに一貫して変化しなければなりません。5分前に始まった日の出は、自然に進行する必要があります。
• アクション条件付き生成。 ワールドは単に事前に決定された軌道に従うのではなく、ユーザーの入力に応答しなければなりません。そのため、モデルは演出用のコマンド（Directingモード）や移動入力（Wanderingモード）を処理し、適切なワールド応答を生成する必要があります。

競合アプローチとの比較

HY-World 1.5は、「Memory Reconstitution（記憶再構築）」メカニズムを通じて同様の課題に取り組んでいます。これは、過去のフレームからコンテキストを動的に再構築することで、幾何学的なドリフト（ずれ）を防ぐものです。GoogleのGenie 3は、24 FPSでのリアルタイム・インタラクティブ生成を特徴としています。

Happy Oysterが長期的なワールドの一貫性を維持するための具体的なメカニズムは公式ドキュメントでは詳細に説明されていませんが、アーキテクチャ上の課題はカテゴリー全体で共通しています。それは、ユーザーが長時間にわたって操作を行う中で、空間的・時間的に一貫性を保った3D環境を生成することです。

デュアルモードアーキテクチャ

DirectingモードとWanderingモードは、全く別のアーキテクチャというよりは、おそらく同一の基盤モデルが持つ異なる入出力構成を体現したものです。

Directingモードは、演出用コマンドの豊富なストリーム（照明の調整、シーンの変更、物語の方向付けなど）を受け取り、それに応答してワールドを更新します。ユーザーが生成の複数の側面を積極的に制御するため、入力帯域幅は高くなります。

Wanderingモードは、移動や探索の入力を受け取り、ユーザーのナビゲーションに合わせて新しい環境領域を生成します。入力はシンプル（移動の方向と速度）ですが、出力はこれまでに生成されたすべてと整合性を保たなければなりません。

両モードは、中核となるワールド進化モデリングとマルチモーダル生成機能を共有しています。これは、同じワールドシミュレーションおよびレンダリングパイプラインを維持しつつ、入力処理を柔軟に適応させられるアーキテクチャであることを示唆しています。

未知の要素

以下のいくつかの重要なアーキテクチャ上の詳細は、一般公開されていません。

• パラメータ数とモデルサイズ
• 学習データの構成と規模
• 推論時の計算要件とハードウェア仕様
• 解像度とフレームレートの能力
• セッションの最大持続時間とワールドの複雑さの制限

姉妹モデルであるHappy Horseは8ステップのデノイジングを行う15BパラメータのTransformerであると報告されていますが、Happy Oysterの3Dワールドシミュレーション要件は、異なるアーキテクチャや規模を要求する可能性があります。

技術統合に関心のある開発者は、APIガイドでアクセス状況を確認できます。マルチモーダルな側面については、Happy Oyster マルチモーダルアーキテクチャを参照してください。Elser.aiのようなツールは、AI生成プラットフォーム間での技術的能力を比較するのに役立ちます。

非公式の注意書き

当サイトは独立した情報・比較リソースであり、Happy Oysterの公式サイトやサービスではありません。