Afuera

Charlar

desactivar

Guanaco (7B)

Guanaco-7B es un modelo de chatbot multilingüe de 7 mil millones de parámetros que logra un rendimiento cercano a ChatGPT con un ajuste fino eficiente bajo la licencia Apache 2.0.

Tokens gratis de $1 para nuevos miembros

Text to Speech

Javascript

Python

                                        const { OpenAI } = require('openai');

const api = new OpenAI({
  baseURL: 'https://api.ai.cc/v1',
  apiKey: '',
});

const main = async () => {
  const result = await api.chat.completions.create({
    model: 'togethercomputer/guanaco-7b',
    messages: [
      {
        role: 'system',
        content: 'You are an AI assistant who knows everything.',
      },
      {
        role: 'user',
        content: 'Tell me, why is the sky blue?'
      }
    ],
  });

  const message = result.choices[0].message.content;
  console.log(`Assistant: ${message}`);
};

main();

                                        import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.ai.cc/v1",
    api_key="",    
)

response = client.chat.completions.create(
    model="togethercomputer/guanaco-7b",
    messages=[
        {
            "role": "system",
            "content": "You are an AI assistant who knows everything.",
        },
        {
            "role": "user",
            "content": "Tell me, why is the sky blue?"
        },
    ],
)

message = response.choices[0].message.content

print(f"Assistant: {message}")

Docs

Una API con más de 300 modelos de IA

Ahorre un 20% en costos y $1 en tokens gratis

Obtener clave API Explorar modelos

Guanaco (7B)

Detalle del producto

Descubra Guanaco-7B: un potente LLM de código abierto

El Guanaco-7B es un innovador modelo de chatbot de código abierto de 7 mil millones de parámetros. Desarrollado sobre la robusta plataforma de Meta. Arquitectura LLaMAOfrece un rendimiento comparable al de ChatGPT en el benchmark Vicuna, pero requiere muchos menos recursos computacionales tanto para el ajuste fino como para la inferencia. Lanzado en Mayo de 2023 por Tim DettmersGuanaco-7B es un modelo de lenguaje grande (LLM) basado en texto, diseñado para lograr eficiencia y accesibilidad.

🌟 Características y ventajas clave

✅
Ajuste fino eficiente de QLoRA de 4 bits: Aproveche el entrenamiento con adaptación de bajo rango (QLoRA) para optimizar Guanaco-7B con una precisión de 4 bits. Este innovador método reduce considerablemente los requisitos de memoria. 75% en comparación con el entrenamiento de precisión total, lo que hace que la personalización avanzada sea muy accesible.
🌐
Soporte multilingüe: Entrenado en un conjunto de datos multilingües diversos, Guanaco-7B participa sin problemas en conversaciones en un amplio espectro de idiomas, rompiendo las barreras de comunicación.
🔓
Código abierto y licencia Apache 2.0: Completamente gratuito tanto para investigación como para aplicaciones comerciales bajo los permisos Licencia Apache 2.0, fomentando una amplia adopción y la innovación.
💻
Apoya la experimentación local: Sus capacidades de inferencia y ajuste fino altamente eficientes permiten una experimentación local rentable y el desarrollo rápido de soluciones de chatbot personalizadas.

🎯 Uso previsto y aplicaciones

Guanaco-7B está diseñado específicamente para aplicaciones versátiles en IA conversacional. Sus principales casos de uso incluyen:

• Chatbots de dominio abierto: Para IA conversacional general.
• Sistemas de preguntas y respuestas: Proporcionar respuestas informativas de manera eficiente.
• Otras aplicaciones de la IA conversacional: Su arquitectura eficiente lo hace ideal para su implementación en dispositivos con recursos limitados y entornos de computación de borde.

Detalles de soporte de idiomas: El modelo ofrece compatibilidad con una amplia gama de idiomas, como inglés, francés, español, alemán, italiano, portugués, neerlandés, ruso, chino, japonés y coreano. Si bien no se especifica el número total exacto de idiomas compatibles, su entrenamiento con un conjunto de datos multilingüe garantiza una amplia aplicabilidad.

⚙️ Especificaciones técnicas

Arquitectura: Guanaco-7B está construido meticulosamente Arquitectura LLaMA de MetaEmplea un modelo de lenguaje estándar basado en Transformer, que incluye 7 mil millones de parámetros y 32 capas de atención, garantizando un rendimiento robusto.
Datos de entrenamiento: El modelo se entrenó utilizando un conjunto de datos multilingüe considerable. Si bien los detalles específicos sobre las fuentes de datos y el tamaño exacto no están documentados públicamente, se entiende que abarca páginas web, libros, artículos y otros datos de texto, lo que constituye un subconjunto de los datos utilizados para los modelos Guanaco más amplios.
Nivel de conocimiento: Aunque no se indica explícitamente, se estima que la fecha límite de conocimiento para Guanaco-7B es principios de 2023, alineándose con su cronograma de lanzamiento.
Diversidad y sesgo: Dado su entrenamiento multilingüe, Guanaco-7B probablemente se beneficie de un conjunto de datos diverso en múltiples idiomas y dominios. Sin embargo, no se proporciona información detallada sobre la diversidad de los datos de entrenamiento ni sobre los sesgos identificados en sus resultados. Se recomienda una implementación responsable.

🤝 Uso y licencias

Tipo de licencia: Guanaco-7B opera bajo el régimen altamente flexible Licencia Apache 2.0Esta licencia otorga a los usuarios la libertad de uso comercial y no comercial, modificación y distribución del modelo, siempre que se conserve el aviso de derechos de autor y la exención de responsabilidad originales.

Pautas éticas: La documentación oficial de Guanaco-7B no detalla explícitamente directrices ni consideraciones éticas específicas. Al ser un modelo de código abierto, es responsabilidad de los usuarios y las organizaciones garantizar su desarrollo e implementación responsables, cumpliendo con los principios éticos de la IA.

Ejemplo de uso de la API

A continuación se muestra un ejemplo práctico que demuestra el uso de la API:

❓ Preguntas frecuentes (FAQ)

P: ¿Qué es Guanaco-7B?

A: Guanaco-7B es un modelo de chatbot de código abierto de 7 mil millones de parámetros basado en la arquitectura LLaMA de Meta, conocido por su eficiencia en el ajuste fino y la inferencia.

P: ¿Cómo logra Guanaco-7B una alta eficiencia?

R: Utiliza un ajuste fino QLoRA de 4 bits, que reduce los requisitos de memoria en un 75 % en comparación con el entrenamiento de precisión completa.

P: ¿Guanaco-7B es gratuito para uso comercial?

R: Sí, se publica bajo la licencia Apache 2.0, lo que permite el uso comercial y no comercial, la modificación y la distribución.

P: ¿Qué idiomas admite Guanaco-7B?

R: Admite varios idiomas, incluidos inglés, francés, español, alemán, italiano, portugués, holandés, ruso, chino, japonés y coreano, gracias a sus datos de entrenamiento multilingües.

P: ¿Cuál es el nivel de conocimiento límite para Guanaco-7B?

R: Aunque no se indica explícitamente, se estima que será alrededor de principios de 2023, según su fecha de lanzamiento.

Patio de juegos de IA

Pruebe todos los modelos de API en el entorno de pruebas antes de integrarlos. Ofrecemos más de 300 modelos para integrar en su aplicación.

Pruébalo gratis

Una API
Más de 300 modelos de IA

Ahorre un 20% en costos