



const { OpenAI } = require('openai');
const api = new OpenAI({
baseURL: 'https://api.ai.cc/v1',
apiKey: '',
});
const main = async () => {
const result = await api.chat.completions.create({
model: 'togethercomputer/guanaco-33b',
messages: [
{
role: 'system',
content: 'You are an AI assistant who knows everything.',
},
{
role: 'user',
content: 'Tell me, why is the sky blue?'
}
],
});
const message = result.choices[0].message.content;
console.log(`Assistant: ${message}`);
};
main();
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.ai.cc/v1",
api_key="",
)
response = client.chat.completions.create(
model="togethercomputer/guanaco-33b",
messages=[
{
"role": "system",
"content": "You are an AI assistant who knows everything.",
},
{
"role": "user",
"content": "Tell me, why is the sky blue?"
},
],
)
message = response.choices[0].message.content
print(f"Assistant: {message}")

Détails du produit
✨ Guanaco-33B : Un puissant LLM open source pour l’IA conversationnelle
Le Guanaco-33B Ce modèle se distingue comme un modèle de langage étendu (LLM) open source de haute qualité, conçu pour les applications de chatbot avancées. Développé par Tim Dettmers et publié en Avril 2023Ce modèle à 33 milliards de paramètres est une version optimisée de l'architecture LLaMA. Grâce à son utilisation innovante de… QLoRA 4 bits.
Principales caractéristiques du modèle :
- • Nom du modèle : Guanaco
- • Développeur/Créateur : Tim Dettmers
- • Date de sortie : Avril 2023
- • Version: Paramètres 33B
- • Type de modèle : Modèle de langage étendu basé sur le texte (LLM)
🚀 Fonctionnalités principales et innovations techniques
Le Guanaco-33B intègre plusieurs fonctionnalités avancées qui contribuent à son efficacité et à ses hautes performances :
- • Compétence multilingue : Formation complète Ensemble de données OASST1Il excelle dans les langues à ressources élevées tout en prenant en charge des entrées linguistiques diversifiées.
- • Utilisation efficace de l'adaptateur : Utilise des adaptateurs LoRa avec un r=64 configuration, parfaitement intégrée à toutes les couches du modèle LLaMA de base.
- • Réglage fin QLoRA 4 bits : Utilise QLoRA 4 bits avec le type de données NormalFloat4, optimisant le modèle de base et les adaptateurs pour une empreinte mémoire réduite et une expérimentation plus rapide.
- • Points de contrôle légers : Offre des points de contrôle réservés aux adaptateurs, réduisant considérablement les obstacles à l'expérimentation et au développement locaux.
🧠 Architecture, formation et analyse des données
Le modèle Guanaco-33B est construit sur une plateforme robuste. Architecture LLaMA, un modèle de langage basé sur Transformer largement reconnu. Son processus de réglage fin repose sur un ensemble de données clé :
Données d'entraînement :
- • Source des données : Mise au point exclusivement sur le Ensemble de données OASST1, une collection collaborative et multilingue de conversations d'assistant open source.
- • Échelle et portée : Comprend plus de 100 000 conversations dans différentes langues, permettant des capacités de dialogue diversifiées et ouvertes.
- • Diversité et préjugés : La nature multilingue d'OASST1 contribue à atténuer les biais inhérents et améliore sa capacité à traiter des entrées variées, bien que les spécificités complètes de l'ensemble de données ne soient pas publiques.
- • Seuil de connaissances : La date limite exacte de connaissance pour Guanaco-33B n'est pas divulguée publiquement, conformément à son développement continu en tant que projet open-source.
💡 Utilisation prévue, directives éthiques et licences
Le Guanaco-33B est principalement développé pour à des fins de rechercheIl est essentiel que les utilisateurs sachent que, comme de nombreux modèles d'IA expérimentaux, il peut occasionnellement produire des résultats qui pourraient être considérés comme problématiques.
Informations importantes :
- • Assistance linguistique : Les performances optimales sont observées dans les langages disposant de ressources importantes, ce qui reflète la composition de leurs données d'entraînement.
- • Cadre éthique : Anthropic a publié lignes directrices éthiques pour son développement et son utilisation, en mettant l'accent sur la transparence, la responsabilité et la prévention des éventuels abus.
- • Détails de la licence : Le modèle Guanaco-33B fonctionne sous le Licence Apache 2, permettant de nombreuses applications commerciales et non commerciales. Cependant, l'accès aux pondérations du modèle LLaMA sous-jacent nécessite des accords de licence distincts.
📊 Indicateurs de performance et analyse comparative
Guanaco-33B a été rigoureusement évalué sur plusieurs plateformes de référence, dont le prestigieux classement Anthropic Chatbot Leaderboard. Sur ces plateformes, il démontre systématiquement forte performance compétitive Comparativement aux principaux modèles d'IA commerciaux tels que ChatGPT et BARD de Google, ses performances peuvent varier selon le contexte linguistique et les tâches, non prises en compte par les benchmarks d'évaluation actuels.
🖥️ Exemple d'intégration d'API
Pour les développeurs souhaitant intégrer Guanaco-33B à leurs applications, voici un exemple d'utilisation standard de l'API :
nom-données = "open-ai.chat-completion" modèle-données = "togethercomputer/guanaco-33b" > ❓ Foire aux questions (FAQ)
Q1 : Qu'est-ce que le Guanaco-33B et qu'est-ce qui le rend unique ?
Guanaco-33B est un modèle LLM textuel open source à 33 milliards de paramètres, développé par Tim Dettmers. Sa particularité réside dans son optimisation à partir du modèle LLaMA grâce à l'algorithme QLoRA 4 bits, offrant des performances comparables à celles des chatbots commerciaux pour la recherche.
Q2 : Sur quel type de données Guanaco-33B a-t-il été entraîné ?
Il a été affiné sur l'ensemble de données OASST1, qui est une collection multilingue de plus de 100 000 conversations d'assistant open source, ce qui lui confère ses larges capacités conversationnelles.
Q3 : Le Guanaco-33B peut-il être utilisé pour des projets commerciaux ?
Le modèle Guanaco-33B est disponible sous licence Apache 2, qui autorise son utilisation commerciale et non commerciale. Cependant, l'utilisation des pondérations du modèle LLaMA sous-jacent requiert le respect de conditions de licence supplémentaires.
Q4 : Comment ses performances se comparent-elles à celles des autres chatbots ?
Guanaco-33B a démontré des performances compétitives face à des chatbots commerciaux comme ChatGPT et BARD sur divers benchmarks, y compris le classement Anthropic Chatbot Leaderboard.
Q5 : Existe-t-il des considérations éthiques liées à l'utilisation du Guanaco-33B ?
Oui, c'est principalement destiné à la recherche, et les utilisateurs doivent être conscients des résultats potentiellement problématiques. Anthropic a publié des directives éthiques axées sur la transparence, la responsabilité et la prévention des abus, qui doivent être respectées.
Terrain de jeu de l'IA



Se connecter