Архитектура модели Happy Oyster

Happy Oyster представляет собой принципиально иной архитектурный подход в сфере генеративного ИИ. Вместо создания пассивных видеопоследовательностей она симулирует интерактивные 3D-миры в реальном времени. В этом техническом анализе рассматривается всё, что известно о её архитектуре на основе заявлений Alibaba и контекстного анализа в области мировых моделей (world models).

Нативная мультимодальная архитектура

Alibaba описывает Happy Oyster как модель, построенную на «нативной мультимодальной архитектуре», которая поддерживает «мультимодальное понимание и комбинированную аудио-видео генерацию». Слово «нативная» здесь крайне важно. Оно отличает Happy Oyster от конвейерных (pipeline) подходов, где отдельные модели отвечают за разные модальности и соединяются в цепочку.

При конвейерном подходе у вас могут быть:

• Языковая модель для интерпретации промпта
• Модель 3D-генерации для создания геометрии
• Модель рендеринга для создания визуального вывода
• Отдельная аудиомодель для генерации звука

Нативная мультимодальная архитектура обрабатывает всё это в рамках единой модели, что влечет за собой несколько технических преимуществ:

Кросс-модальная согласованность. Когда аудио и видео генерируются одной моделью, синхронизация происходит естественным образом, а не постфактум. Модель изучает взаимосвязь между визуальными событиями и их звуками в процессе обучения.

Общие представления. Единая архитектура способна формировать внутренние представления, охватывающие различные модальности. Визуальное событие и соответствующий ему звук делят одно латентное пространство, вместо того чтобы отображаться между отдельными латентными пространствами.

Эффективность. Совместные вычисления для разных модальностей могут быть эффективнее, чем запуск отдельных проходов модели для каждого типа вывода.

Моделирование эволюции мира (World Evolution Modeling)

Самым архитектурно отличительным аспектом Happy Oyster является то, что Alibaba называет «моделированием эволюции мира на длительных временных интервалах». Именно это отделяет мировую модель от модели генерации видео.

От предсказания кадра к симуляции мира

Традиционные видеомодели предсказывают следующий кадр на основе предыдущих кадров и управляющего сигнала (текстового промпта, изображения). Вывод представляет собой фиксированную последовательность заданной длины. Моделирование же эволюции мира поддерживает постоянную модель состояния мира и симулирует то, как это состояние меняется с течением времени в ответ на действия пользователя.

Это требует:

• Пространственной памяти. Модель должна отслеживать, что и где находится в 3D-окружении, даже для областей, которые в данный момент не видны. Когда пользователь в режиме Wandering (Прогулка) поворачивается, ранее сгенерированные области должны оставаться неизменными.
• Временной согласованности. Физические свойства, такие как освещение, погода и положение объектов, должны эволюционировать согласованно с течением времени. Рассвет, начавшийся пять минут назад, должен прогрессировать естественно.
• Генерации с учетом действий. Мир должен реагировать на ввод пользователя, а не просто следовать заранее определенной траектории. Это требует от модели обработки режиссерских команд (режим Directing) или команд движения (режим Wandering) и генерации адекватных реакций мира.

Сравнение с конкурирующими подходами

HY-World 1.5 решает схожие задачи с помощью механизма «реконструкции памяти» (Memory Reconstitution), который динамически восстанавливает контекст из прошлых кадров для предотвращения геометрического дрейфа. Google Genie 3 использует то, что они называют интерактивной генерацией в реальном времени при 24 FPS.

Конкретные механизмы Happy Oyster для поддержания долгосрочной согласованности мира подробно не описаны в открытой документации, но архитектурная задача является общей для всей категории: создание 3D-сред, которые остаются пространственно и временно согласованными по мере того, как пользователи взаимодействуют с ними в течение длительного времени.

Двухрежимная архитектура

Режимы Directing (Режиссура) и Wandering (Прогулка), вероятно, представляют собой разные конфигурации ввода-вывода одной и той же базовой модели, а не совершенно разные архитектуры:

Режим Directing принимает поток режиссерских команд (настройка освещения, изменение сцены, развитие сюжета) и генерирует обновления мира в ответ. Пропускная способность ввода высока, так как пользователь активно управляет многими аспектами генерации.

Режим Wandering принимает данные о движении и исследовании, генерируя новые участки окружения по мере навигации пользователя. Ввод здесь проще (направление и скорость движения), но вывод должен сохранять согласованность со всем, что было сгенерировано ранее.

Оба режима используют общие возможности моделирования эволюции мира и мультимодальной генерации, что предполагает гибкую архитектуру, способную адаптировать обработку ввода при сохранении единого конвейера симуляции мира и рендеринга.

Что остается неизвестным

Несколько важных архитектурных деталей не были раскрыты публично:

• Количество параметров и размер модели
• Состав и масштаб обучающих данных
• Требования к вычислительной мощности для инференса и характеристики оборудования
• Возможности разрешения и частоты кадров
• Максимальная длительность сессии и пределы сложности мира

Родственная модель Happy Horse, по сообщениям, является трансформером с 15 млрд параметров и 8-шаговым шумоподавлением, но требования Happy Oyster к симуляции 3D-мира могут потребовать другой архитектуры и масштаба.

Разработчикам, заинтересованным в технической интеграции, стоит следить за API guide, где отслеживается статус доступа. О мультимодальных аспектах подробнее см. Happy Oyster multimodal architecture. Такие инструменты, как Elser.ai, помогут сравнить технические возможности различных платформ генеративного ИИ.

Напоминание об отсутствии официального статуса

Этот сайт является независимым информационным ресурсом для сравнения и не является официальным сайтом или сервисом Happy Oyster.