



const { OpenAI } = require('openai');
const api = new OpenAI({
baseURL: 'https://api.ai.cc/v1',
apiKey: '',
});
const main = async () => {
const result = await api.chat.completions.create({
model: 'togethercomputer/guanaco-7b',
messages: [
{
role: 'system',
content: 'You are an AI assistant who knows everything.',
},
{
role: 'user',
content: 'Tell me, why is the sky blue?'
}
],
});
const message = result.choices[0].message.content;
console.log(`Assistant: ${message}`);
};
main();
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.ai.cc/v1",
api_key="",
)
response = client.chat.completions.create(
model="togethercomputer/guanaco-7b",
messages=[
{
"role": "system",
"content": "You are an AI assistant who knows everything.",
},
{
"role": "user",
"content": "Tell me, why is the sky blue?"
},
],
)
message = response.choices[0].message.content
print(f"Assistant: {message}")

Détails du produit
Découvrez Guanaco-7B : un puissant LLM open source
Le Guanaco-7B est un modèle de chatbot open source innovant à 7 milliards de paramètres. Il repose sur la plateforme robuste de Meta. Architecture LLaMAIl offre des performances comparables à celles de ChatGPT sur le benchmark Vicuna, tout en nécessitant nettement moins de ressources de calcul pour le réglage fin et l'inférence. Publié en Mai 2023 par Tim DettmersGuanaco-7B est un modèle de langage étendu (LLM) basé sur du texte, conçu pour l'efficacité et l'accessibilité.
🌟 Principales caractéristiques et avantages
- ✅ Réglage fin efficace du QLoRA 4 bits : Tirez parti de l'entraînement prenant en compte la quantification avec adaptation aux faibles rangs (QLoRA) pour affiner Guanaco-7B avec une précision de 4 bits. Cette méthode innovante réduit considérablement les besoins en mémoire. 75% par rapport à un entraînement de précision absolue, ce qui rend la personnalisation avancée très accessible.
- 🌐 Assistance multilingue : Entraîné sur un ensemble de données multilingues diversifié, Guanaco-7B s'engage de manière transparente dans des conversations couvrant un large éventail de langues, brisant les barrières de communication.
- 🔓 Logiciel libre et sous licence Apache 2.0 : Entièrement gratuit pour la recherche et les applications commerciales sous licence permissive Licence Apache 2.0, favorisant une large adoption et l'innovation.
- 💻 Soutient l'expérimentation locale : Ses capacités de réglage fin et d'inférence hautement efficaces permettent une expérimentation locale rentable et le développement rapide de solutions de chatbot personnalisées.
🎯 Utilisation prévue et applications
Guanaco-7B est spécifiquement conçu pour des applications polyvalentes en IA conversationnelle. Ses principaux cas d'utilisation sont les suivants :
- • Chatbots à domaine ouvert : Pour l'IA conversationnelle générale.
- • Systèmes de questions-réponses : Fournir des réponses informatives de manière efficace.
- • Autres applications de l'IA conversationnelle : Son architecture efficace la rend idéale pour un déploiement sur des appareils aux ressources limitées et dans des environnements de calcul en périphérie.
Détails de la prise en charge linguistique : Ce modèle prend en charge un large éventail de langues, dont l'anglais, le français, l'espagnol, l'allemand, l'italien, le portugais, le néerlandais, le russe, le chinois, le japonais et le coréen. Bien que le nombre exact de langues prises en charge ne soit pas précisé, son entraînement sur un ensemble de données multilingues garantit une large applicabilité.
⚙️ Spécifications techniques
- Architecture: Le Guanaco-7B est construit avec minutie sur L'architecture LLaMA de MetaIl utilise un modèle de langage standard basé sur Transformer, présentant 7 milliards de paramètres et 32 couches d'attention, garantissant des performances robustes.
- Données d'entraînement : Le modèle a été entraîné à l'aide d'un vaste ensemble de données multilingues. Bien que les détails précis concernant les sources de données et leur taille exacte ne soient pas documentés publiquement, il est entendu qu'il comprend des pages web, des livres, des articles et diverses autres données textuelles, constituant un sous-ensemble des données utilisées pour les modèles Guanaco de plus grande taille.
- Seuil de connaissances : Bien que cela ne soit pas explicitement indiqué, la date limite de connaissances pour Guanaco-7B est estimée à début 2023, en accord avec son calendrier de sortie.
- Diversité et préjugés : Grâce à son entraînement multilingue, Guanaco-7B bénéficie probablement d'un ensemble de données diversifié couvrant plusieurs langues et domaines. Cependant, aucune information détaillée n'est fournie concernant la diversité des données d'entraînement ni les éventuels biais identifiés dans ses résultats. Un déploiement responsable est recommandé.
🤝 Utilisation et licence
Type de licence : Le Guanaco-7B fonctionne dans des conditions de grande flexibilité Licence Apache 2.0Cette licence accorde aux utilisateurs la liberté d'utiliser, de modifier et de distribuer le modèle à des fins commerciales et non commerciales, à condition que la mention de droit d'auteur et l'avertissement d'origine soient conservés.
Principes éthiques : La documentation officielle de Guanaco-7B ne détaille pas explicitement les directives ou considérations éthiques spécifiques. En tant que modèle open source, il incombe aux utilisateurs et aux organisations de veiller à son développement et à son déploiement responsables, dans le respect des principes éthiques de l'IA.
🚀 Exemple d'utilisation de l'API
Voici un exemple pratique illustrant l'utilisation de l'API :
❓ Foire aux questions (FAQ)
A: Guanaco-7B est un modèle de chatbot open-source à 7 milliards de paramètres basé sur l'architecture LLaMA de Meta, connue pour son efficacité en matière de réglage fin et d'inférence.
A : Il utilise un réglage fin QLoRA 4 bits, ce qui réduit les besoins en mémoire de 75 % par rapport à un entraînement en pleine précision.
R : Oui, il est distribué sous la licence Apache 2.0, ce qui autorise son utilisation, sa modification et sa distribution à des fins commerciales et non commerciales.
R: Il prend en charge plusieurs langues, dont l'anglais, le français, l'espagnol, l'allemand, l'italien, le portugais, le néerlandais, le russe, le chinois, le japonais et le coréen, grâce à ses données d'entraînement multilingues.
A: Bien que cela ne soit pas explicitement indiqué, on estime que la sortie aura lieu début 2023, compte tenu de sa date de parution.
Terrain de jeu de l'IA



Se connecter