OpenAI - ChatGPT, Sora
Google - Géminis, Nano Banana
Antrópico - Claude
xAI - Grok
Búsqueda profunda
Alibaba-Qwen
ByteDance - Lo mejor de ByteDance
Todos los modelos
Planes empresariales
Desarrollo de aplicaciones de IA
API de traducción de IA
Servicio de SEO/GEO con IA
Servicio de relaciones públicas optimizado geográficamente
Servicio de raspado web
Las mejores herramientas de IA
Los mejores robots con IA
Acceso
const { OpenAI } = require('openai');
const api = new OpenAI({
baseURL: 'https://api.ai.cc/v1',
apiKey: '',
});
const main = async () => {
const result = await api.chat.completions.create({
model: 'togethercomputer/guanaco-65b',
messages: [
{
role: 'system',
content: 'You are an AI assistant who knows everything.',
},
{
role: 'user',
content: 'Tell me, why is the sky blue?'
}
],
});
const message = result.choices[0].message.content;
console.log(`Assistant: ${message}`);
};
main();
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.ai.cc/v1",
api_key="",
)
response = client.chat.completions.create(
model="togethercomputer/guanaco-65b",
messages=[
{
"role": "system",
"content": "You are an AI assistant who knows everything.",
},
{
"role": "user",
"content": "Tell me, why is the sky blue?"
},
],
)
message = response.choices[0].message.content
print(f"Assistant: {message}")
Detalle del producto
💡 Guanaco-65B: un chatbot LLM de código abierto líder
El Guanaco-65B es un sofisticado, 65 mil millones de parámetros Modelo de chatbot de código abierto. Lanzado en 2023 por Tim DettmersEste avanzado Modelo de Lenguaje Grande (LLM) basado en texto es un ejemplo de técnicas de ajuste fino eficientes. Se desarrolló aplicando el ajuste fino QLoRA de 4 bits al modelo base LLaMA, utilizando el completo conjunto de datos OASST1.
Guanaco-65B destaca por su excepcional rendimiento, logrando capacidades comparables a chatbots comerciales de primer nivel como ChatGPT y BARDOEsto hace que la IA conversacional de alto rendimiento sea más accesible y rentable para una amplia gama de aplicaciones.
✅ Características y ventajas clave
- • Rendimiento competitivo: Demuestra un rendimiento comparable a ChatGPT y BARD en puntos de referencia destacados como Vicuna y OpenAssistant.
- • Disponibilidad de código abierto: De libre acceso para experimentación e implementación local, democratizando el acceso a una IA poderosa.
- • Entrenamiento eficiente de QLoRA de 4 bits: Construido sobre un proceso de ajuste fino QLoRA de 4 bits replicable y altamente eficiente.
- • Pesos del adaptador liviano: Utiliza pesos adaptadores compactos que se integran perfectamente con los modelos base LLaMA.
Casos de uso previstos
El Guanaco-65B está diseñado para facilitar a desarrolladores e investigadores la implementación y experimentación con sistemas de IA conversacional de vanguardia. Su versatilidad lo convierte en la opción ideal para diversas aplicaciones, entre ellas:
- • Desarrollo de chatbots robustos de dominio abierto
- • Creación de sistemas de diálogo orientados a tareas
- • Mejora de las funcionalidades de preguntas y respuestas
- • Automatizar tareas de resumen de texto
- • Generar contenido textual diverso y creativo
🌐 Capacidades multilingües
Si bien Guanaco-65B es inherentemente un modelo multilingüeSu entrenamiento en el conjunto de datos OASST1, que está fuertemente sesgado hacia lenguajes con altos recursos, sugiere un rendimiento óptimo. Por lo tanto, se espera que el modelo tenga un mejor rendimiento en Inglés y otros idiomas con amplios recursos.
⚙️ Especificaciones técnicas
Arquitectura:
El Guanaco-65B aprovecha una Arquitectura LoRA (adaptación de bajo rango)Esto implica añadir pesos de adaptador específicos a todas las capas del modelo base LLaMA subyacente. Este diseño permite un ajuste fino altamente eficiente, lo que permite una amplia personalización, a la vez que preserva las capacidades principales del modelo base.
Datos de entrenamiento:
El modelo fue entrenado utilizando el Conjunto de datos OASST1Este conjunto de datos es conocido por su naturaleza multilingüe, pero se centra en idiomas con muchos recursos. Los detalles específicos sobre el tamaño exacto y la diversidad del conjunto de datos no se divulgan públicamente.
Nivel de conocimiento:
La fecha límite precisa de conocimiento para Guanaco-65B es no especificado públicamenteSe entiende generalmente que su base de conocimientos refleja la información disponible hasta la fecha de finalización del conjunto de datos OASST1 utilizado para su ajuste.
Métricas de rendimiento:
Según informes documentados, Guanaco-65B demuestra un rendimiento notable, logrando 99,3 por ciento del rendimiento de ChatGPT-3.5 Turbo En los exigentes parámetros de Vicuña. Esta impresionante evaluación fue corroborada tanto por la evaluación humana como por el análisis de GPT-4.
Ejemplo de uso de la API
La integración de Guanaco-65B en sus aplicaciones está diseñada para facilitar su uso. A continuación, se muestra un ejemplo común de uso de la API que ilustra cómo interactuar con el modelo para completar el chat:
Ejemplo de llamada a la API para completar el chat : import openai client = openai.OpenAI (api_key= "TU_CLAVE_API" , base_url= "https://api.together.xyz/v1" , ) chat_completion = client.chat.completions.create( model= "togethercomputer/guanaco-65b" , messages=[ { "role" : "system" , "content" : "Eres un asistente útil." , }, { "role" : "user" , "content" : "¿Cuál es la capital de Francia?" , }, ], temperature=0.7, max_tokens=512, ) print(chat_completion.choices[0].message.content)Nota: Este fragmento ilustrativo presupone la compatibilidad con los estándares de la API de OpenAI, a menudo compatibles con plataformas como Together AI. Para más detalles sobre la integración de la API, puede consultar Entrada del blog Together AI sobre Guanaco-65B.
⚖️ Información sobre licencias y uso ético
Pautas éticas:
Como modelo de código abierto, No se emiten formalmente directrices éticas específicas Para Guanaco-65B, su desarrollador. Por lo tanto, la responsabilidad de su implementación responsable, la consideración de posibles usos indebidos y el cumplimiento de prácticas éticas de IA... Depende exclusivamente de los desarrolladores y los usuarios finales.
Tipo de licencia:
El Pesas adaptadoras Guanaco están autorizados bajo la licencia permisiva Licencia Apache 2.0Sin embargo, es fundamental comprender que la utilización completa del modelo Guanaco-65B requiere acceso a la información subyacente. Pesos del modelo base de LLaMA, que se rigen por términos de licencia más restrictivosLos usuarios deben garantizar el pleno cumplimiento de ambos conjuntos de acuerdos de licencia.
✨ Conclusión
En esencia, el Guanaco-65B representa un modelo de chatbot de código abierto potente y accesible que compite eficazmente con ofertas comerciales de IA consolidadas como ChatGPT. No solo destaca el extraordinario potencial y la eficiencia del ajuste fino de QLoRA de 4 bits, sino que también ofrece una vía asequible y reproducible para el desarrollo e implementación de soluciones de IA conversacional de alto rendimiento. Su introducción contribuye significativamente a una mayor accesibilidad de la tecnología LLM avanzada.
❓ Preguntas frecuentes (FAQ)
¿Qué es Guanaco-65B?
Guanaco-65B es un modelo de chatbot de código abierto con 65 mil millones de parámetros, desarrollado por Tim Dettmers. Se basa en el modelo base LLaMA y se ha perfeccionado con la técnica QLoRA de 4 bits, ofreciendo un rendimiento comparable al de los principales chatbots de IA comerciales.
¿Cómo se compara el rendimiento de Guanaco-65B con el de ChatGPT?
Según la documentación y los puntos de referencia, Guanaco-65B alcanza el 99,3 % del rendimiento de ChatGPT-3.5 Turbo en los puntos de referencia de Vicuna, según la evaluación de los evaluadores humanos y GPT-4, lo que demuestra su naturaleza altamente competitiva.
¿Qué es el ajuste fino de QLoRA?
QLoRA (Adaptación Cuantizada de Bajo Rango) es un método eficiente de cuantificación de 4 bits para el ajuste fino de modelos lingüísticos de gran tamaño. Reduce significativamente el consumo de memoria a la vez que mantiene un alto rendimiento, lo que facilita el entrenamiento e implementación de modelos masivos en hardware más accesible.
¿Puede usarse Guanaco-65B con fines comerciales?
Las pesas adaptadoras Guanaco se rigen por la licencia Apache 2.0, que generalmente permite su uso comercial. Sin embargo, las pesas del modelo base LLaMA tienen condiciones de licencia más restrictivas. Los usuarios deben garantizar el cumplimiento de ambas licencias para cualquier aplicación comercial.
¿Qué idiomas son los más compatibles con Guanaco-65B?
Si bien es un modelo multilingüe, el conjunto de datos OASST1 con el que se entrenó presenta un fuerte sesgo hacia idiomas con altos recursos. Por lo tanto, se espera que Guanaco-65B tenga un rendimiento óptimo con el inglés y otros idiomas similares con amplios recursos.
Patio de juegos de IA
