



const { OpenAI } = require('openai');
const api = new OpenAI({
baseURL: 'https://api.ai.cc/v1',
apiKey: '',
});
const main = async () => {
const result = await api.chat.completions.create({
model: 'togethercomputer/guanaco-7b',
messages: [
{
role: 'system',
content: 'You are an AI assistant who knows everything.',
},
{
role: 'user',
content: 'Tell me, why is the sky blue?'
}
],
});
const message = result.choices[0].message.content;
console.log(`Assistant: ${message}`);
};
main();
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.ai.cc/v1",
api_key="",
)
response = client.chat.completions.create(
model="togethercomputer/guanaco-7b",
messages=[
{
"role": "system",
"content": "You are an AI assistant who knows everything.",
},
{
"role": "user",
"content": "Tell me, why is the sky blue?"
},
],
)
message = response.choices[0].message.content
print(f"Assistant: {message}")

Detalles del producto
Descubre Guanaco-7B: Un potente programa de gestión jurídica de código abierto.
El Guanaco-7B Es un innovador modelo de chatbot de código abierto con 7 mil millones de parámetros. Construido sobre la sólida plataforma de Meta. Arquitectura LLaMAOfrece un rendimiento comparable al de ChatGPT en el benchmark Vicuna, pero requiere muchos menos recursos computacionales tanto para el ajuste fino como para la inferencia. Publicado en Mayo de 2023 por Tim DettmersGuanaco-7B es un modelo de lenguaje extenso (LLM, por sus siglas en inglés) basado en texto, diseñado para la eficiencia y la accesibilidad.
🌟 Características y ventajas principales
- ✅ Ajuste fino eficiente de QLoRA de 4 bits: Aproveche el entrenamiento con conciencia de cuantización y adaptación de rango bajo (QLoRA) para ajustar Guanaco-7B con precisión de 4 bits. Este método innovador reduce los requisitos de memoria en una cantidad impresionante. 75% en comparación con el entrenamiento de precisión total, lo que hace que la personalización avanzada sea altamente accesible.
- 🌐 Soporte multilingüe: Entrenado con un conjunto de datos multilingües diverso, Guanaco-7B entabla conversaciones sin problemas en un amplio espectro de idiomas, derribando las barreras de comunicación.
- 🔓 Código abierto y licencia Apache 2.0: Completamente gratuito tanto para investigación como para aplicaciones comerciales bajo el permiso Licencia Apache 2.0, fomentando la adopción generalizada y la innovación.
- 💻 Apoya la experimentación local: Sus capacidades de ajuste fino e inferencia de alta eficiencia permiten la experimentación local rentable y el rápido desarrollo de soluciones de chatbot personalizadas.
🎯 Uso previsto y aplicaciones
Guanaco-7B está diseñado específicamente para aplicaciones versátiles en IA conversacional. Sus principales casos de uso incluyen:
- • Chatbots de dominio abierto: Para IA conversacional general.
- • Sistemas de preguntas y respuestas: Proporcionar respuestas informativas de manera eficiente.
- • Otras aplicaciones de IA conversacional: Su arquitectura eficiente la hace ideal para su implementación en dispositivos con recursos limitados y entornos de computación perimetral.
Detalles de compatibilidad de idiomas: El modelo ofrece soporte para una amplia gama de idiomas, incluyendo inglés, francés, español, alemán, italiano, portugués, neerlandés, ruso, chino, japonés y coreano. Si bien no se especifica el número total exacto de idiomas compatibles, su entrenamiento con un conjunto de datos multilingüe garantiza una amplia aplicabilidad.
⚙️ Especificaciones técnicas
- Arquitectura: Guanaco-7B está meticulosamente construido sobre Arquitectura LLaMA de MetaEmplea un modelo de lenguaje estándar basado en Transformer, que incluye: 7 mil millones de parámetros y 32 capas de atención, lo que garantiza un rendimiento sólido.
- Datos de entrenamiento: El modelo se entrenó utilizando un conjunto de datos multilingüe sustancial. Si bien no se han documentado públicamente detalles específicos sobre las fuentes de datos ni su tamaño exacto, se entiende que abarca páginas web, libros, artículos y otros datos de texto, que forman un subconjunto de los datos utilizados para los modelos Guanaco más grandes.
- Punto de corte de conocimiento: Aunque no se indica explícitamente, se estima que la fecha límite de conocimiento para Guanaco-7B es principios de 2023, en consonancia con su calendario de lanzamiento.
- Diversidad y prejuicios: Dado su entrenamiento multilingüe, es probable que Guanaco-7B se beneficie de un conjunto de datos diverso que abarque múltiples idiomas y dominios. Sin embargo, no se proporciona información detallada sobre la diversidad de los datos de entrenamiento ni sobre posibles sesgos en sus resultados. Se recomienda un uso responsable.
🤝 Uso y licencias
Tipo de licencia: Guanaco-7B opera bajo un sistema altamente flexible. Licencia Apache 2.0Esta licencia otorga a los usuarios la libertad de usar, modificar y distribuir el modelo con fines comerciales y no comerciales, siempre que se conserven el aviso de derechos de autor y la exención de responsabilidad originales.
Directrices éticas: La documentación oficial de Guanaco-7B no detalla explícitamente directrices ni consideraciones éticas específicas. Al tratarse de un modelo de código abierto, recae sobre los usuarios y las organizaciones la responsabilidad de garantizar su desarrollo e implementación responsables, respetando los principios éticos de la IA.
🚀 Ejemplo de uso de la API
Aquí tienes un ejemplo práctico que demuestra el uso de la API:
❓ Preguntas frecuentes (FAQ)
A: Guanaco-7B es un modelo de chatbot de código abierto con 7 mil millones de parámetros, basado en la arquitectura LLaMA de Meta, conocida por su eficiencia en el ajuste fino y la inferencia.
R: Utiliza el ajuste fino QLoRA de 4 bits, lo que reduce los requisitos de memoria en un 75 % en comparación con el entrenamiento de precisión completa.
R: Sí, se publica bajo la licencia Apache 2.0, que permite su uso, modificación y distribución tanto con fines comerciales como no comerciales.
R: Admite varios idiomas, incluidos inglés, francés, español, alemán, italiano, portugués, holandés, ruso, chino, japonés y coreano, gracias a sus datos de entrenamiento multilingües.
R: Aunque no se ha indicado explícitamente, se estima que será a principios de 2023, basándose en su fecha de lanzamiento.
Campo de juegos de IA



Acceso