Afuera

Charlar

desactivar

LLaVa v1.6 - Mistral 7b

LLaVa-NeXT - Mistral 7B: Modelo de IA multimodal avanzado para tareas de imagen-texto, construido sobre Mistral-7B con 7 mil millones de parámetros.

Tokens gratis de $1 para nuevos miembros

Text to Speech

Javascript

Python

                                        const main = async () => {
  const result = await fetch('https://api.ai.cc/v1/chat/completions', {
    method: 'POST',
    headers: {
      Authorization: 'Bearer ',
      'Content-Type': 'application/json',
    },
    body: JSON.stringify({
      model: 'llava-hf/llava-v1.6-mistral-7b-hf',
      max_tokens: 1024,
      messages: [
        {
          role: 'user',
          content: [
            {
              type: 'text',
              text: 'What’s in this image?',
            },
            {
              role: 'user',
              type: 'image_url',
              image_url: {
                url: 'https://upload.wikimedia.org/wikipedia/commons/thumb/d/dd/Gfp-wisconsin-madison-the-nature-boardwalk.jpg/2560px-Gfp-wisconsin-madison-the-nature-boardwalk.jpg',
              },
            },
          ],
        },
      ],
    }),
  }).then((res) => res.json());

  const message = result.choices[0].message.content;
  console.log(\`Assistant: \${message}\`);
};

main();

                                        import os
from together import Together

client = Together(base_url="https://api.ai.cc/v1", api_key="")

def main():
  response = client.chat.completions.create(
      model="llava-hf/llava-v1.6-mistral-7b-hf",
      messages=[
          {
              "role": "user",
              "content": [
                  {
                      "type": "text",
                      "text": "What sort of animal is in this picture? What is its usual diet? What area is the animal native to? And isn’t there some AI model that’s related to the image?",
                  },
                  {
                      "type": "image_url",
                      "image_url": {
                          "url": "https://upload.wikimedia.org/wikipedia/commons/thumb/3/3a/LLama.jpg/444px-LLama.jpg?20050123205659",
                      },
                  },
              ],
          }
      ],
      max_tokens=1024,
  )

  print("Assistant: ", response.choices[0].message.content)

if __name__ == '__main__':
  main()

Docs

Una API con más de 300 modelos de IA

Ahorre un 20% en costos y $1 en tokens gratis

Obtener clave API Explorar modelos

LLaVa v1.6 - Mistral 7b

Detalle del producto

✨ LLaVA v1.6 - Mistral 7B: un avance de IA multimodal

Descubrir LLaVA v1.6 - Mistral 7B, un modelo de lenguaje multimodal avanzado de código abierto que integra a la perfección la comprensión de texto e imágenes. Desarrollado por Haotian Liu y lanzado en diciembre de 2023, este modelo, versión 1.6, está diseñado para redefinir la interacción humano-IA en diversas aplicaciones.

Nombre del modelo: LLaVA v1.6 - Mistral 7B
Revelador: Haotian Liu
Fecha de lanzamiento: Diciembre de 2023
Versión: 1.6
Tipo de modelo: Modelo de lenguaje multimodal (texto e imagen)

💡 Características y capacidades clave

LLaVA v1.6 - Mistral 7B se destaca por su diseño robusto y mejoras centradas en el usuario:

✅ Modelo de Fundación: Desarrollado por el altamente capaz Mistral-7B-Instruct-v0.2 modelo base.
✅ Entrada de imagen dinámica: Admite entradas de imágenes de alta resolución y se adapta dinámicamente para un contexto visual superior.
✅ Dominio de tareas multimodales: Maneja con destreza una amplia gama de tareas combinando texto y visión.
✅ Licencias mejoradas y soporte bilingüe: Ofrece condiciones de licencia comercial mejoradas y capacidades bilingües más sólidas.
✅ Diseño eficiente: Cuenta con 7 mil millones de parámetros, equilibrando el rendimiento con un cálculo eficiente.

🚀 Aplicaciones previstas

Este modelo versátil está diseñado para una variedad de aplicaciones innovadoras:

📚 Investigación y desarrollo en grandes modelos multimodales y chatbots.
🖼️ Subtítulos de imágenes avanzados y respuestas visuales a preguntas (VQA).
💬 Diálogos abiertos atractivos y enriquecidos con contexto visual.
🤖 Construyendo asistentes virtuales inteligentes e IA conversacional.
🔍Sistemas de búsqueda y recuperación basados en imágenes.
🎓 Herramientas educativas interactivas que utilizan el aprendizaje visual.

El modelo ofrece Fuertes capacidades multilingües, soporte bilingüe notablemente mejorado en comparación con sus predecesores.

⚙️ Especificaciones técnicas

Descripción general de la arquitectura

LLaVA v1.6 - Mistral 7B está construido sobre una arquitectura sofisticada:

🧠 Un modelo de lenguaje autorregresivo, que aprovecha la robusta arquitectura del transformador.
👁️ Un potente codificador de visión preentrenado (probablemente CLIP-L, en consonancia con modelos similares).
🔗 Integración perfecta de entradas de texto e imágenes mediante el token dentro de las indicaciones.

Información sobre datos de entrenamiento

Las amplias capacidades del modelo se derivan del entrenamiento en un conjunto de datos diverso y completo, que suma más de 1,3 millones de muestras únicas:

📊 558K pares de imágenes y textos filtrados de LAION/CC/SBU, subtitulados por expertos por BLIP.
🗣️ 158 000 datos de seguimiento de instrucciones multimodales generados por GPT.
📚 Mezcla de 500K datos VQA orientados a tareas académicas.
Mezcla de datos GPT-4V de 50K.
💬 40K datos ShareGPT.

Nivel de conocimiento: Diciembre de 2023.

Diversidad y sesgo: La amplia gama de fuentes de datos de entrenamiento contribuye significativamente a reducir posibles sesgos, mejorando la imparcialidad y aplicabilidad del modelo.

Puntos de referencia de rendimiento

LLaVA v1.6 - Mistral 7B demuestra constantemente un sólido rendimiento en los puntos de referencia críticos:

Análisis comparativo

El modelo exhibe un desempeño altamente competitivo en comparación con otros modelos líderes:

📈 Exactitud: Logra puntuaciones impresionantes, incluyendo 35.3 en MMMU y 37.7 es MathVista puntos de referencia.
⚡ Velocidad: Si bien no se detallan métricas específicas de velocidad de inferencia, su tamaño de 7 mil millones de parámetros sugiere un cálculo eficiente y receptivo.
🛡️ Robustez: Su consistentemente sólido desempeño en diversos puntos de referencia y tareas subraya sus excelentes capacidades de generalización.

📚 Uso y consideraciones éticas

Ejemplos de código

Los desarrolladores pueden integrar LLaVA v1.6 - Mistral 7B mediante llamadas API estándar. A continuación, se muestra un ejemplo conceptual de finalización de chat con visión:

        // Ejemplo de llamada API para LLaVA v1.6 - Mistral 7B
buscar ( 'https://api.together.xyz/v1/chat/completions' , {
método : 'POST' ,
encabezados : {
'Tipo de contenido' : 'application/json' ,
'Autorización' : 'Portador YOUR_API_KEY' ,
 },
cuerpo : JSON.stringify ({
modelo : 'llava-hf/llava-v1.6-mistral-7b-hf' ,
mensajes : [
 { rol : 'sistema' , contenido : 'Eres un asistente útil.' },
 { rol : 'usuario' , contenido : [
 { type : 'text' , text : '¿Qué hay en esta imagen?' },
 { tipo : 'url_de_imagen' , url_de_imagen : { url : 'datos:imagen/jpeg;base64,...' }}
 ]}
 ]
 })
 })
 . entonces (respuesta => respuesta.json ())
 . entonces (datos => consola . log (datos));      

Directrices éticas

Si bien no se proporcionan explícitamente pautas detalladas específicas en la descripción del modelo, se recomienda encarecidamente a los usuarios que las respeten. prácticas responsables de IAEs fundamental considerar posibles sesgos en los resultados del modelo y garantizar que el modelo sea Nunca se utilizará para generar contenido dañino, engañoso o ilícito..

Información de licencia

LLaVA v1.6 - Mistral 7B opera bajo los términos de licencia de su modelo base, el Mistral-7B-Instruct-v0.2Los usuarios deben consultar la documentación de licencia oficial para conocer los derechos de uso específicos, las restricciones y los requisitos de cumplimiento.

❓ Preguntas frecuentes (FAQ)

Q1: ¿Qué es LLaVA v1.6 - Mistral 7B?

A1: LLaVA v1.6 - Mistral 7B es un modelo de lenguaje multimodal de código abierto capaz de comprender y generar texto a partir de entradas textuales y visuales. Combina un amplio modelo de lenguaje con un codificador de visión preentrenado.

P2: ¿Cuáles son las principales aplicaciones de este modelo?

A2: Es ideal para la investigación sobre IA multimodal, subtítulos de imágenes, respuestas visuales a preguntas, diálogo abierto con contexto visual, creación de asistentes virtuales y aplicaciones de búsqueda basadas en imágenes.

P3: ¿LLaVA v1.6 - Mistral 7B admite varios idiomas?

A3: Sí, el modelo demuestra fuertes capacidades multilingües, con mejoras significativas en el soporte bilingüe en comparación con versiones anteriores.

P4: ¿Cuál es la fecha límite de conocimiento para los datos de entrenamiento del modelo?

A4: El límite de conocimiento para los datos de entrenamiento de LLaVA v1.6 - Mistral 7B es diciembre de 2023.

Q5: ¿Cómo se compara su rendimiento con el de otros modelos?

A5: LLaVA v1.6 - Mistral 7B muestra un desempeño competitivo, logrando puntajes como 35.3 en MMMU y 37.7 en los puntos de referencia de MathVista, lo que indica una fuerte precisión y capacidades de generalización.

Patio de juegos de IA

Pruebe todos los modelos de API en el entorno de pruebas antes de integrarlos. Ofrecemos más de 300 modelos para integrar en su aplicación.

Pruébalo gratis

Una API
Más de 300 modelos de IA

Ahorre un 20% en costos