بنية نموذج Happy Oyster

يمثل Happy Oyster نهجاً بنيوياً متميزاً في مجال التوليد بالذكاء الاصطناعي. فبدلاً من توليد تسلسلات فيديو سلبية، يقوم بمحاكاة عوالم ثلاثية الأبعاد تفاعلية في الوقت الفعلي. يستعرض هذا التحليل التقني ما هو معروف عن بنيته بناءً على إعلانات Alibaba والتحليل السياقي من مجال نماذج العالم الأوسع.

بنية متعددة الوسائط أصلية

تصف Alibaba نموذج Happy Oyster بأنه مبني على "بنية متعددة الوسائط أصلية" (native multimodal architecture) تدعم "الفهم متعدد الوسائط والتوليد المدمج للصوت والفيديو". كلمة "أصلية" هنا ذات أهمية كبيرة؛ فهي تميز Happy Oyster عن النهج القائم على خطوط المعالجة (pipeline-based) حيث تتعامل نماذج منفصلة مع وسائط مختلفة ويتم ربطها ببعضها البعض.

في نهج خط المعالجة، قد يكون لديك:

• نموذج لغوي يفسر المطالبة.
• نموذج توليد ثلاثي الأبعاد ينتج الهندسة.
• نموذج تصيير (rendering) ينتج المخرجات البصرية.
• نموذج صوتي منفصل لتوليد الصوت.

بدلاً من ذلك، تتعامل البنية الأصلية متعددة الوسائط مع هذه العناصر ضمن نموذج موحد، مما له العديد من الآثار التقنية:

التماسك عبر الوسائط. عندما يتم توليد الصوت والفيديو بواسطة نفس النموذج، يكون التزامن جوهرياً وليس لاحقاً. يتعلم النموذج العلاقة بين الأحداث البصرية وأصواتها أثناء التدريب.

تمثيلات مشتركة. يمكن لبنية موحدة تطوير تمثيلات داخلية تمتد عبر الوسائط؛ حيث يتشارك الحدث البصري وصوته المقابل في فضاء كامن (latent space) بدلاً من أن يتم تعيينهما بين فضاءات كامنة منفصلة.

الكفاءة. يمكن أن تكون الحوسبة المشتركة عبر الوسائط أكثر كفاءة من تشغيل تمريرات أمامية (forward passes) لنماذج منفصلة لكل نوع من المخرجات.

نمذجة تطور العالم

الجانب الأكثر تميزاً من الناحية البنيوية في Happy Oyster هو ما تسميه Alibaba "نمذجة تطور العالم على فترات زمنية طويلة". هذا هو ما يفصل "نموذج العالم" عن "نموذج توليد الفيديو".

من التنبؤ بالإطارات إلى محاكاة العالم

تتنبأ نماذج الفيديو التقليدية بالإطار التالي بناءً على الإطارات السابقة وإشارة التكييف (نص أو صورة). وتكون المخرجات عبارة عن تسلسل ثابت بطول محدد مسبقاً. أما نمذجة تطور العالم، فتحتفظ بنموذج مستمر لحالة العالم وتحاكي كيفية تغير تلك الحالة بمرور الوقت استجابةً لأفعال المستخدم.

يتطلب هذا:

• الذاكرة المكانية. يجب على النموذج تتبع ما يوجد ومكانه في البيئة ثلاثية الأبعاد، حتى بالنسبة للمناطق غير المرئية حالياً. عندما يلتفت المستخدم في "وضع التجوال" (Wandering mode)، يجب أن تكون المناطق التي تم توليدها مسبقاً متسقة.
• التماسك الزمني. يجب أن تتطور الخصائص الفيزيائية مثل الإضاءة والطقس ومواقع الكائنات بشكل متماسك بمرور الوقت. شروق الشمس الذي بدأ قبل خمس دقائق يجب أن يستمر بشكل طبيعي.
• التوليد المشروط بالأفعال. يجب أن يستجيب العالم لمدخلات المستخدم، لا أن يتبع فقط مساراً محدداً مسبقاً. يتطلب هذا من النموذج معالجة أوامر التوجيه (وضع الإخراج/Directing mode) أو مدخلات الحركة (وضع التجوال) وتوليد استجابات عالمية مناسبة.

المقارنة مع الأساليب المنافسة

يعالج نموذج HY-World 1.5 تحديات مماثلة من خلال آلية "إعادة تكوين الذاكرة" (Memory Reconstitution)، التي تعيد بناء السياق ديناميكياً من الإطارات السابقة لمنع الانحراف الهندسي. ويستخدم نموذج Genie 3 من Google ما يصفه بالتوليد التفاعلي في الوقت الفعلي بمعدل 24 إطاراً في الثانية.

لم يتم تفصيل آليات Happy Oyster الخاصة للحفاظ على اتساق العالم على المدى الطويل في الوثائق العامة، لكن التحدي البنيوي مشترك عبر هذه الفئة: توليد بيئات ثلاثية الأبعاد تظل متماسكة مكانياً وزمانياً بينما يتفاعل المستخدمون معها على فترات طويلة.

بنية مزدوجة الوضع

من المرجح أن يمثل وضعا "التوجيه" (Directing) و"التجوال" (Wandering) تكوينات إدخال وإخراج مختلفة لنفس النموذج الأساسي، بدلاً من كونهما بنيتين منفصلتين تماماً:

وضع التوجيه: يقبل تدفقاً غنياً من أوامر التوجيه (تعديلات الإضاءة، تعديلات المشهد، التوجيه السردي) ويولد تحديثات للعالم استجابةً لذلك. يكون نطاق الإدخال الترددي مرتفعاً لأن المستخدم يتحكم بنشاط في جوانب متعددة من التوليد.

وضع التجوال: يقبل مدخلات الحركة والاستكشاف، ويولد مناطق بيئية جديدة أثناء تنقل المستخدم. يكون الإدخال أبسط (اتجاه وسرعة الحركة) ولكن يجب أن تحافظ المخرجات على التماسك مع كل ما تم توليده سابقاً.

يشترك الوضعان في القدرات الأساسية لنمذجة تطور العالم والتوليد متعدد الوسائط، مما يشير إلى بنية مرنة يمكنها تكييف معالجة مدخلاتها مع الحفاظ على نفس محاكاة العالم وخط تصيير المخرجات.

ما يظل مجهولاً

لم يتم الكشف علنًا عن العديد من التفاصيل البنيوية المهمة:

• عدد المعلمات وحجم النموذج.
• تكوين بيانات التدريب وحجمها.
• متطلبات حوسبة الاستدلال ومواصفات الأجهزة.
• قدرات الدقة ومعدل الإطارات.
• الحد الأقصى لمدة الجلسة وحدود تعقيد العالم.

يُذكر أن النموذج الشقيق Happy Horse عبارة عن نموذج محولات بـ 15 مليار معلمة مع إزالة ضوضاء من 8 خطوات، لكن متطلبات محاكاة العالم ثلاثي الأبعاد في Happy Oyster قد تتطلب بنية ونطاقاً مختلفاً.

للمطورين المهتمين بالتكامل التقني، يتتبع دليل واجهة برمجة التطبيقات (API) حالة الوصول. وبالنسبة للجوانب متعددة الوسائط تحديداً، راجع بنية Happy Oyster متعددة الوسائط. يمكن لأدوات مثل Elser.ai المساعدة في مقارنة القدرات التقنية عبر منصات التوليد بالذكاء الاصطناعي.

تذكير غير رسمي

هذا الموقع هو مورد مستقل للمعلومات والمقارنة، وليس الموقع الرسمي أو الخدمة الخاصة بـ Happy Oyster.