Qué es y para qué sirve
Este modelo multimodal permite la generación de video y audio en tiempo real mediante la arquitectura Omni Causal AR. A diferencia de los sistemas tradicionales, PixVerse R2 mantiene un estado de mundo persistente que evoluciona de forma continua, permitiendo que las escenas se adapten a la entrada del usuario sin perder coherencia temporal. El sistema integra controles multimodales, incluyendo prompts de texto, referencias visuales, entradas de audio y acciones de control como WASD, que pueden modificarse durante la generación para alterar el estado del mundo en curso. La tecnología emplea una generación de fragmentos dinámicos que ajusta la duración de los segmentos según el tipo de control, optimizando la respuesta a acciones rápidas y la coherencia de eventos largos. Además, combina el entrenamiento con forzamiento de maestro y difusión para reducir la brecha entre el entrenamiento y la inferencia, mejorando la estabilidad en secuencias prolongadas. Al ser un modelo de código cerrado, su acceso se gestiona a través de la plataforma oficial de PixVerse, donde los usuarios pueden experimentar con sus capacidades de interacción en tiempo real.
