



const { OpenAI } = require('openai');
const api = new OpenAI({
baseURL: 'https://api.ai.cc/v1',
apiKey: '',
});
const main = async () => {
const result = await api.chat.completions.create({
model: 'togethercomputer/guanaco-33b',
messages: [
{
role: 'system',
content: 'You are an AI assistant who knows everything.',
},
{
role: 'user',
content: 'Tell me, why is the sky blue?'
}
],
});
const message = result.choices[0].message.content;
console.log(`Assistant: ${message}`);
};
main();
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.ai.cc/v1",
api_key="",
)
response = client.chat.completions.create(
model="togethercomputer/guanaco-33b",
messages=[
{
"role": "system",
"content": "You are an AI assistant who knows everything.",
},
{
"role": "user",
"content": "Tell me, why is the sky blue?"
},
],
)
message = response.choices[0].message.content
print(f"Assistant: {message}")

Detalle del producto
✨ Guanaco-33B: Un potente LLM de código abierto para IA conversacional
El Guanaco-33B El modelo se destaca como un modelo de lenguaje extenso (LLM) de código abierto y alta calidad, diseñado para aplicaciones avanzadas de chatbot. Desarrollado por Tim Dettmers y liberado en Abril de 2023Este modelo de 33 mil millones de parámetros es una versión optimizada de la arquitectura LLaMA. Logra un rendimiento altamente competitivo con chatbots comerciales como ChatGPT, gracias a su uso innovador de QLoRA de 4 bits.
Detalles clave del modelo:
- • Nombre del modelo: Guanaco
- • Desarrollador/creador: Tim Dettmers
- • Fecha de lanzamiento: Abril de 2023
- • Versión: Parámetros 33B
- • Tipo de modelo: Modelo de lenguaje grande basado en texto (LLM)
🚀 Características principales e innovaciones técnicas
Guanaco-33B incorpora varias características avanzadas que contribuyen a su eficiencia y alto rendimiento:
- • Competencia multilingüe: Capacitado en el programa integral Conjunto de datos OASST1Se destaca en idiomas con muchos recursos y al mismo tiempo admite diversas entradas lingüísticas.
- • Uso eficiente del adaptador: Utiliza adaptadores LoRA con un r=64 configuración, perfectamente integrada en todas las capas del modelo base LLaMA.
- • Ajuste fino de QLoRA de 4 bits: Utiliza QLoRA de 4 bits con el tipo de datos NormalFloat4, optimizando el modelo base y los adaptadores para reducir el uso de memoria y lograr una experimentación más rápida.
- • Puntos de control ligeros: Ofrece puntos de control exclusivos para adaptadores, lo que reduce significativamente la barrera para la experimentación y el desarrollo local.
🧠 Arquitectura, capacitación y análisis de datos
El modelo Guanaco-33B está construido sobre la robusta Arquitectura LLaMA, un modelo de lenguaje basado en Transformers ampliamente reconocido. Su proceso de ajuste se basa en un conjunto de datos clave:
Datos de entrenamiento:
- • Fuente del conjunto de datos: Afinado exclusivamente en el Conjunto de datos OASST1, una colección colaborativa y multilingüe de conversaciones de asistentes de código abierto.
- • Escala y alcance: Comprende más de 100.000 conversaciones en varios idiomas, lo que permite capacidades de diálogo diversas y abiertas.
- • Diversidad y sesgo: La naturaleza multilingüe de OASST1 ayuda a mitigar sesgos inherentes y mejora su capacidad para procesar entradas variadas, aunque los detalles completos del conjunto de datos no son públicos.
- • Nivel de conocimiento: La fecha exacta del límite de conocimiento para Guanaco-33B no se divulga públicamente, en consonancia con su desarrollo continuo como proyecto de código abierto.
Uso previsto, pautas éticas y licencias
Guanaco-33B está desarrollado principalmente para fines de investigaciónEs fundamental que los usuarios sean conscientes de que, como ocurre con muchos modelos de IA experimentales, en ocasiones puede producir resultados que podrían considerarse problemáticos.
Información importante:
- • Soporte de idiomas: Se observa un rendimiento óptimo en lenguajes con muchos recursos, lo que refleja la composición de sus datos de entrenamiento.
- • Marco ético: Anthropic ha publicado directrices éticas para su desarrollo y uso, enfatizando la transparencia, la rendición de cuentas y la protección contra posibles usos indebidos.
- • Detalles de la licencia: El modelo Guanaco-33B opera bajo la Licencia Apache 2, lo que permite una amplia gama de aplicaciones comerciales y no comerciales. Sin embargo, el acceso a las ponderaciones del modelo LLaMA subyacente requiere acuerdos de licencia independientes.
📊 Métricas de rendimiento y evaluación comparativa
Guanaco-33B ha sido evaluado rigurosamente en varios indicadores, incluyendo el prestigioso Anthropic Chatbot Leaderboard. En estas plataformas, demuestra consistentemente fuerte desempeño competitivo En comparación con los principales modelos de IA comerciales, como ChatGPT y BARD de Google, cabe destacar que su rendimiento puede variar según contextos lingüísticos específicos y tareas no contempladas en los parámetros de evaluación actuales.
Ejemplo de integración de API
Para los desarrolladores que buscan integrar Guanaco-33B en sus aplicaciones, aquí hay un ejemplo de uso de API estándar:
nombre-datos = "open-ai.chat-completion" modelo-datos = "togethercomputer/guanaco-33b" > ❓ Preguntas frecuentes (FAQ)
Pregunta 1: ¿Qué es Guanaco-33B y qué lo hace único?
Guanaco-33B es un LLM de código abierto basado en texto con 33 mil millones de parámetros, desarrollado por Tim Dettmers. Se distingue por su precisión a partir del modelo LLaMA mediante QLoRA de 4 bits, lo que ofrece un rendimiento competitivo con chatbots comerciales para fines de investigación.
Pregunta 2: ¿Con qué tipo de datos fue entrenado Guanaco-33B?
Se ajustó al conjunto de datos OASST1, que es una colección multilingüe de más de 100.000 conversaciones de asistentes de código abierto, lo que permite sus amplias capacidades de conversación.
Pregunta 3: ¿Puede utilizarse Guanaco-33B para proyectos comerciales?
El modelo Guanaco-33B está disponible bajo la licencia Apache 2, que permite su uso tanto comercial como no comercial. Sin embargo, el uso de los pesos del modelo LLaMA subyacente requiere el cumplimiento de requisitos de licencia adicionales.
Pregunta 4: ¿Cómo se compara su rendimiento con el de otros chatbots?
Guanaco-33B ha demostrado un rendimiento competitivo frente a chatbots comerciales como ChatGPT y BARD en varios puntos de referencia, incluido el Anthropic Chatbot Leaderboard.
Pregunta 5: ¿Existen consideraciones éticas para el uso de Guanaco-33B?
Sí, es principalmente para investigación, y los usuarios deben ser conscientes de los posibles resultados problemáticos. Anthropic ha emitido directrices éticas centradas en la transparencia, la rendición de cuentas y la prevención del uso indebido, que deben seguirse.
Patio de juegos de IA



Acceso