



const { OpenAI } = require('openai');
const api = new OpenAI({
baseURL: 'https://api.ai.cc/v1',
apiKey: '',
});
const main = async () => {
const result = await api.chat.completions.create({
model: 'meta-llama/Meta-Llama-3-8B-Instruct-Lite',
messages: [
{
role: 'system',
content: 'You are an AI assistant who knows everything.',
},
{
role: 'user',
content: 'Tell me, why is the sky blue?'
}
],
});
const message = result.choices[0].message.content;
console.log(`Assistant: ${message}`);
};
main();
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.ai.cc/v1",
api_key="",
)
response = client.chat.completions.create(
model="meta-llama/Meta-Llama-3-8B-Instruct-Lite",
messages=[
{
"role": "system",
"content": "You are an AI assistant who knows everything.",
},
{
"role": "user",
"content": "Tell me, why is the sky blue?"
},
],
)
message = response.choices[0].message.content
print(f"Assistant: {message}")

Détails du produit
Présentation de Llama 3 8B Instruct Lite
Le Llama 3 8B Instruct Lite modèle, développé par Méta et publié le 18 avril 2024, est un modèle de génération de texte puissant, optimisé pour le dialogue interactif et le suivi précis des instructions.
✨ Points clés :
- ✓ Architecture optimisée : Utilise l'attention par requêtes groupées pour une meilleure évolutivité.
- ✓ Adapté aux instructions : Bénéficie du réglage fin supervisé (SFT) et de l'apprentissage par renforcement à partir de la rétroaction humaine (RLHF) pour un alignement supérieur.
- ✓ Haute performance : Surpasse systématiquement de nombreux modèles de chat open source de premier plan sur l'ensemble des benchmarks du secteur.
- ✓ Sécurité et serviabilité : Conçue pour fournir des réponses utiles et sûres, en respectant les principes d'une IA responsable.
🎯 Utilisation prévue et assistance linguistique
Ce modèle est principalement conçu pour applications commerciales et de recherche, notamment dans le développement de chatbots sophistiqués de type assistant et dans diverses autres tâches de génération de langage naturel.
Bien que sa principale langue de support soit AnglaisIl est possible d'apporter des améliorations dans d'autres langues, sous réserve d'accords de licence spécifiques.
⚙️ Spécifications techniques
Architecture:
Llama 3 est un modèle de langage autorégressif construit sur une architecture de transformateur robuste. Il intègre Attention par requête groupée (GQA) Afin d'améliorer significativement l'évolutivité de l'inférence, les versions optimisées pour les instructions sont affinées à l'aide de SFT et RLHF pour aligner les résultats sur les préférences humaines.
Données d'entraînement :
- Source: Compilé à partir d'ensembles de données en ligne accessibles au public.
- Échelle: Entraîné sur un vaste ensemble de données de plus de 15 billions de jetons.
- Seuil de connaissances : Les connaissances du modèle 8B s'étendent jusqu'à Mars 2023.
- Diversité et préjugés : Des efforts considérables sont déployés pour garantir la diversité des données de formation, avec des évaluations continues visant à minimiser les biais potentiels.
📊 Indicateurs de performance
Indicateurs de précision :
- 68,4
MMLU (5 coups) - 72,6
CommonSenseQA (7 coups) - 62.2
HumanEval (0-shot)
Vitesse et robustesse :
Le modèle est méticuleusement optimisé pour applications en temps réel, dotée de capacités d'inférence très efficaces.
Cela démontre une capacité exceptionnelle généralisation à des sujets et des langues divers, traitant efficacement une large gamme d'entrées avec une grande robustesse.
📖 Directives d'utilisation et d'éthique
Déploiement responsable :
Meta offre une solution complète Guide d’utilisation responsable, décrivant les meilleures pratiques pour le déploiement éthique des modèles. Il est fortement conseillé aux développeurs d'intégrer des mesures de sécurité avancées, notamment Meta Llama Guard 2 et Code Shield mesures de sécurité.
Licences :
Vous trouverez des informations spécifiques concernant la licence commerciale personnalisée en cliquant ici. ici (Licence Meta Llama 3).
⚡ Matériel et empreinte carbone
L'entraînement impliquait les compétences avancées de Meta. Supercluster de recherche complété par des ressources de calcul cloud tierces pour le réglage fin et l'évaluation.
Résumé de l'empreinte carbone :
- Appelez le 3 8B : 1,3 million d'heures de fonctionnement du GPU, 700 W, 390 tCO2eq
- Total (tous modèles Llama 3 confondus) : 7,7 millions d'heures GPU, 2290 tCO2eq (100 % compensées par le programme de développement durable de Meta)
🛡️ Responsabilité et sécurité
Meta réaffirme son engagement indéfectible en faveur d'un développement responsable de l'IA et prône une approche ouverte. La version Llama 3 s'accompagne de directives et de ressources mises à jour afin d'aider les développeurs à garantir une sécurité efficace des modèles.
Principales mesures de sécurité mises en œuvre :
- ✓ Tests d'intrusion approfondis : Des évaluations contradictoires rigoureuses pour identifier et atténuer les vulnérabilités.
- ✓ Atténuation des refus : Stratégies pour minimiser les refus injustifiés et améliorer l'expérience utilisateur.
- ✓ Processus de diffusion responsables : Conçu pour prévenir les utilisations abusives potentielles et les risques critiques.
❓ Foire aux questions (FAQ)
Qu'est-ce que Llama 3 8B Instruct Lite ?
Llama 3 8B Instruct Lite est un modèle de texte génératif avancé de Meta, sorti le 18 avril 2024. Il est spécifiquement optimisé pour le dialogue et le suivi précis des instructions, tirant parti d'une architecture de transformateur raffinée avec Grouped-Query Attention.
Quelles sont les principales applications de ce modèle ?
Il est destiné à des fins commerciales et de recherche, et excelle dans la création de chatbots de type assistant et dans diverses autres tâches de génération de langage naturel où le suivi précis des instructions et le dialogue naturel sont essentiels.
Quelles données d'entraînement ont été utilisées pour Llama 3 8B ?
Le modèle a été entraîné sur plus de 15 billions de jetons provenant de données publiques en ligne, son seuil de connaissances pour la version 8B étant fixé à mars 2023. Meta met l'accent sur la diversité et l'évaluation continue des biais dans ses ensembles de données.
Comment Meta garantit-elle la sécurité des modèles Llama 3 ?
Meta met en œuvre des mesures de sécurité rigoureuses, notamment des tests d'intrusion, des évaluations contradictoires, des mécanismes de gestion des refus pour prévenir les refus injustifiés et des processus de déploiement responsables. L'entreprise propose également un guide d'utilisation responsable et recommande l'utilisation de solutions de protection telles que Meta Llama Guard 2 et Code Shield.
Où puis-je trouver les informations relatives à la licence de Llama 3 ?
Les détails de la licence commerciale personnalisée sont disponibles sur le site web officiel de Meta Llama. Vous trouverez les conditions spécifiques en suivant le lien fourni : Licence Meta Llama 3.
Terrain de jeu de l'IA



Se connecter