Afuera

Charlar

desactivar

Subtitulador Qwen3-Omni

Proporciona entrada de audio y devuelve subtítulos de texto enriquecido en tiempo real o en modo por lotes sin necesidad de indicaciones de entrada.

Tokens gratis de $1 para nuevos miembros

Text to Speech

Javascript

Python

                                        import OpenAI from 'openai';

const api = new OpenAI({
  baseURL: 'https://api.ai.cc/v1',
  apiKey: '',
});

const main = async () => {
  const response = await api.chat.completions.create({
    model: 'alibaba/qwen3-omni-30b-a3b-captioner',
    messages: [
      {
        role: 'user',
        content: [
          { 
            type: 'input_audio', 
            input_audio: { 
              data: 'https://cdn.ai.cc/eagle/files/elephant/cJUTeeQmpodIV1Q3MWDAL_vibevoice-output-7b98283fd3974f48ba90e91d2ee1f971.mp3'
            }
          }
        ]
      }
    ],
  });

  console.log(response.choices[0].message.content);
};

main();

                                        from openai import OpenAI

client = OpenAI(
    base_url="https://api.ai.cc/v1",
    api_key="",    
)

response = client.chat.completions.create(
    model="alibaba/qwen3-omni-30b-a3b-captioner",
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "input_audio",
                    "input_audio": {
                        "data": "https://cdn.aimlapi.com/eagle/files/elephant/cJUTeeQmpodIV1Q3MWDAL_vibevoice-output-7b98283fd3974f48ba90e91d2ee1f971.mp3"
                    }
                }
            ]
        },
    ],
)

print(response.choices[0].message.content)

Docs

Una API con más de 300 modelos de IA

Ahorre un 20% en costos y $1 en tokens gratis

Obtener clave API Explorar modelos

Subtitulador Qwen3-Omni

Detalle del producto

Presentamos Qwen3-Omni Captioner: una potente herramienta de IA multilingüe y omnimodal

Descubrir Subtitulador Qwen3-OmniEl modelo de base multilingüe omnimodal de vanguardia de Alibaba Cloud, nativo de extremo a extremo. Diseñado para redefinir la interacción con la IA, procesa de forma fluida diversas entradas, incluyendo... texto, imágenes, audio y vídeoEste innovador modelo ofrece respuestas de transmisión en tiempo real, tanto en texto natural como en voz, manteniendo un rendimiento excepcional en todas las modalidades sin degradación. Qwen3-Omni se posiciona como una solución líder de IA multimodal, con capacidades inigualables.

⚙️Análisis técnico profundo

Arquitectura pensador-hablador: Este diseño único separa de forma inteligente la generación de texto (la Pensador) de la síntesis de voz en tiempo real (la Hablador). Esto permite un procesamiento altamente especializado y eficiente para ambas tareas distintas.
Transmisión de latencia ultrabaja: El componente Talker predice secuencias de múltiples libros de códigos de forma autorregresiva. Su módulo Multi-Token Predictor (MTP) genera libros de códigos residuales para el fotograma de audio actual, que el renderizador Code2Wav sintetiza incrementalmente en una forma de onda. Este sofisticado proceso garantiza Salida de audio fluida y en tiempo real.
Codificador de audio AuT: Para potenciar las capacidades de audio del modelo, el codificador AuT se entrena meticulosamente en un amplio conjunto de datos 20 millones de horas de datos de audioEste amplio entrenamiento proporciona una extracción de características de audio excepcionalmente sólida y generalizable.
Arquitectura del Ministerio de Educación: Tanto el subsistema Pensador como el Hablador se basan en Mezcla de expertos (MoE) Modelos. Esta arquitectura facilita una alta concurrencia y una inferencia rápida al activar solo un subconjunto de parámetros por token, lo que genera una eficiencia superior.

📊Aspectos destacados del rendimiento

Qwen3-Omni se consolida como líder, logrando Resultados de vanguardia en 22 de 36 puntos de referencia de audio y audiovisualesSupera notablemente a modelos potentes de código cerrado, incluidos Gemini 2.5 Pro y GPT-4o-Transcribe, en diversas métricas de rendimiento.

Comprensión de textos: Demuestra un desempeño competitivo frente a los mejores modelos en MMLU, GPQA, razonamiento y tareas de código complejo.
Reconocimiento de audio (ASR): Logra un Tasa de error de palabras (WER) igual o superior a Seed-ASR y GPT-4o-Transcribe en numerosos conjuntos de datos.
Razonamiento multimodal: Demuestra un desempeño sólido en la respuesta a preguntas audiovisuales desafiantes y en la descripción integral de videos.
Generación de voz: Ofrece alta calidad síntesis de voz multilingüe, manteniendo una identidad de hablante consistente en 10 idiomas diferentes.
Latencia de transmisión: Cuenta con una impresionante Latencia ultrabaja del primer paquete de aproximadamente 211 ms, garantizando respuestas de voz casi instantáneas.
Subtítulos de audio: El modelo especialmente afinado destaca en la generación Subtítulos detallados y muy precisos para contenido de audio arbitrario.

Puntos de referencia de rendimiento de Qwen3-Omni

Puntos de referencia de rendimiento: como se presenta en la fuente original, esta imagen resalta la ventaja competitiva de Qwen3-Omni.

💡Capacidades clave

Arquitectura avanzada: Cuenta con un diseño Thinker-Talker basado en MoE, que integra el preentrenamiento Audio Transformer (AuT) y una innovadora síntesis de voz de múltiples libros de códigos para Salida de baja latencia y excepcionalmente alta fidelidad.
Razonamiento extenso: La variante del modelo de pensamiento especializado mejora significativamente las capacidades de razonamiento en todas las modalidades admitidas, lo que garantiza una comprensión más profunda de las entradas complejas.
Personalización: Ofrece sólidas opciones de personalización, lo que permite a los usuarios ajustar el comportamiento, el tono y el estilo de interacción del modelo a través de indicaciones intuitivas del sistema.
Subtitulador de audio de código abierto: El afinado Qwen3-Omni-30B-A3B-Subtitulador La variante proporciona descripciones de audio muy detalladas y con bajo nivel de alucinaciones, lo que hace que los subtítulos avanzados sean accesibles.
Interacción en tiempo real: Diseñado para tomar turnos naturales en conversaciones, admitiendo respuestas inmediatas de texto o voz para una experiencia de usuario fluida y atractiva.

🚀Diversos casos de uso

Desarrollo de chatbots multilingües avanzados capaces de comprender entradas tanto de audio como visuales.
Servicios de transcripción y traducción en tiempo real en una multitud de idiomas.
Análisis en profundidad de contenido de audio y video, incluido resumen automatizado y subtítulos detallados.
Creación de sofisticados sistemas multimodales de razonamiento y respuesta a preguntas.
Diseño de asistentes de voz intuitivos con comprensión del habla natural y una rica comprensión multimodal.
Permitiendo la generación de contenido multimedia interactivo y experiencias de navegación fluidas.

💻API e integración

Precios de API:

Aporte: $4.0005
Producción: $3.213

Integración API:

Se puede acceder fácilmente a Qwen3-Omni Captioner a través de la API de IA/ML. Para obtener documentación completa, guías de integración detalladas y más referencias de la API, visite Documentación oficial disponible aquí.

Ejemplo de código:

🆚Qwen3-Omni vs. Modelos líderes

frente a Gemini 2.5 Pro: Qwen3-Omni iguala o supera el rendimiento de Géminis en puntos de referencia de audio y vídeo y ofrece superioridad accesibilidad de código abiertoProporciona un rendimiento ASR comparable con significativamente menor latencia en la generación de voz en streaming.
vs Seed-ASR: Qwen3-Omni logra Tasas de error de palabras superiores o altamente comparables al tiempo que amplía sus capacidades a dominios multimodales más amplios más allá del simple procesamiento de audio.
frente a GPT-4o: Qwen3-Omni Se destaca particularmente en tareas de audio y video multimodales., todo ello manteniendo una sólida competencia en tareas tradicionales basadas en texto. Cuenta con Salida de audio en streaming de menor latencia, en gran parte debido a su códec de voz nativo de múltiples libros de códigos.

❓Preguntas frecuentes

1. ¿Qué hace que Qwen3-Omni Captioner sea un modelo de IA único?

Qwen3-Omni Captioner es único por su naturaleza como modelo de base omnimodal multilingüe de extremo a extremo. Admite diversas entradas como texto, imágenes, audio y vídeo, y proporciona Salidas de texto y voz en tiempo realSu innovadora arquitectura Thinker-Talker y diseño MoE garantizan un rendimiento excepcional y una latencia ultrabaja en todas las modalidades.

2. ¿Cómo logra Qwen3-Omni su salida de voz en tiempo real de latencia ultrabaja?

El modelo logra esto mediante su componente "Talker", que utiliza un Predictor Multi-Token (MTP) para predecir autorregresivamente secuencias de múltiples libros de códigos. Estos libros de códigos residuales son luego sintetizados incrementalmente en formas de onda por el renderizador Code2Wav, lo que permite... Transmisión de audio fluida, cuadro por cuadro, con un retraso mínimo.

3. ¿Cómo se compara el rendimiento de Qwen3-Omni con el de otros modelos de IA líderes?

Qwen3-Omni demuestra Resultados de vanguardia en 22 de 36 puntos de referencia de audio y audiovisualesA menudo supera o iguala modelos potentes de código cerrado como Gemini 2.5 Pro, Seed-ASR y GPT-4o, destacando especialmente en tareas multimodales, precisión de ASR y ofreciendo menor latencia de transmisión.

4. ¿Puedo personalizar las respuestas y el estilo de interacción de Qwen3-Omni?

Sí, Qwen3-Omni ofrece amplias opciones de personalización. Su comportamiento, incluyendo el tono y el estilo de interacción, es... totalmente configurable mediante indicaciones del sistemaEsto permite a los usuarios adaptar las respuestas del modelo a las necesidades específicas de la aplicación y las preferencias del usuario.

5. ¿Cuáles son las principales aplicaciones y casos de uso de Qwen3-Omni Captioner?

Qwen3-Omni Captioner es muy versátil, ideal para aplicaciones como Chatbots multilingües con comprensión multimodal, transcripción y traducción en tiempo real, análisis detallado de contenido de audio y video, respuesta avanzada a preguntas multimodales y asistentes de voz naturales., y generación de contenidos multimedia interactivos.

Patio de juegos de IA

Pruebe todos los modelos de API en el entorno de pruebas antes de integrarlos. Ofrecemos más de 300 modelos para integrar en su aplicación.

Pruébalo gratis

Una API
Más de 300 modelos de IA

Ahorre un 20% en costos