



const { OpenAI } = require('openai');
const api = new OpenAI({
baseURL: 'https://api.ai.cc/v1',
apiKey: '',
});
const main = async () => {
const result = await api.chat.completions.create({
model: 'meta-llama/Llama-3-8b-chat-hf',
messages: [
{
role: 'system',
content: 'You are an AI assistant who knows everything.',
},
{
role: 'user',
content: 'Tell me, why is the sky blue?'
}
],
});
const message = result.choices[0].message.content;
console.log(`Assistant: ${message}`);
};
main();
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.ai.cc/v1",
api_key="",
)
response = client.chat.completions.create(
model="meta-llama/Llama-3-8b-chat-hf",
messages=[
{
"role": "system",
"content": "You are an AI assistant who knows everything.",
},
{
"role": "user",
"content": "Tell me, why is the sky blue?"
},
],
)
message = response.choices[0].message.content
print(f"Assistant: {message}")

Detalle del producto
✨ Presentamos Llama 3 8B Instruct: un LLM compacto y potente
El Llama 3 8B Instrucción modelo, desarrollado por Meta IA Lanzado el 18 de abril de 2024, representa un avance significativo en los modelos de lenguaje de gran tamaño que siguen instrucciones. Este modelo de texto de vanguardia está diseñado para ofrecer un rendimiento excepcional con un paquete de 8 mil millones de parámetros altamente eficiente, lo que lo convierte en la solución ideal para una amplia gama de tareas de procesamiento del lenguaje natural.
Información básica del modelo:
- Nombre del modelo: Referencia de instrucciones de Llama 3 8B
- Revelador: Meta IA
- Fecha de lanzamiento: 18 de abril de 2024
- Versión: 1.0
- Tipo de modelo: Modelo de lenguaje basado en texto
- Cuantización: FP16
🚀 Características principales y casos de uso previstos
Llama 3 8B Instruct está diseñado con un conjunto de funciones avanzadas diseñadas para maximizar la utilidad y la eficiencia para desarrolladores e investigadores.
Capacidades principales:
- Instrucciones mejoradas siguientes: Comprensión y ejecución sofisticadas de instrucciones complejas.
- Razonamiento mejorado y generación de código: Avances significativos en el razonamiento lógico y la generación de código de alta calidad.
- Tokenizador eficiente: Incluye un nuevo tokenizador de vocabulario de 128K para una codificación de idioma optimizada.
- Atención de consultas agrupadas (GQA): Implementado para una eficiencia de inferencia superior, acelerando las respuestas del modelo.
- Ventana de contexto extendida: Cuenta con una ventana de contexto de 8,192 tokens, lo que permite gestionar entradas más largas y conversaciones más complejas.
🌐 Optimizado para diversas tareas de PNL:
- Generación de texto: Desde contenidos creativos hasta informes detallados.
- Pregunta y respuesta: Respuestas precisas y contextualizadas.
- Asistencia con el código: Generar, depurar y explicar fragmentos de código.
- Creación de contenido: Redacción de artículos, textos de marketing y mucho más.
- Sistemas de diálogo: Construyendo una IA conversacional atractiva y natural.
Enfoque del lenguaje: Aunque está optimizado principalmente para Tareas de idioma inglésLlama 3 8B Instruct posee capacidades limitadas en otros idiomas.
⚙️ Análisis técnico profundo de Llama 3 8B Instruct
Comprender la arquitectura subyacente y las metodologías de capacitación revela la excelencia en ingeniería detrás de Llama 3 8B Instruct.
Descripción general de la arquitectura:
Llama 3 8B Instruct utiliza una tecnología de vanguardia arquitectura de transformador solo con decodificador, basándose en sus predecesores y mejorándolos significativamente con varias mejoras clave:
- Innovación del tokenizador: Un nuevo tokenizador presenta un vocabulario de tokens de 128K, lo que genera una codificación de lenguaje altamente eficiente y un rendimiento de modelo superior.
- Atención de consultas agrupadas (GQA): Implementado específicamente para aumentar la eficiencia de la inferencia, permitiendo un procesamiento más rápido.
- Atención enmascarada: El mecanismo de atención utiliza un enfoque enmascarado durante el entrenamiento para evitar que la autoatención cruce los límites del documento, lo que garantiza la integridad de los datos.
📚 Datos y conocimientos de formación:
El modelo fue entrenado rigurosamente en un conjunto de datos enorme, superando 15 billones de tokens de datos de alta calidad y disponibles públicamente.
- Curación de datos: Implica procesos meticulosos de preprocesamiento y curación de datos previos al entrenamiento, junto con un riguroso control de calidad y filtrado de datos posteriores al entrenamiento.
- Distribución lingüística: Un 95% sustancial de los datos de entrenamiento estaban en inglés, lo que contribuyó directamente a su sólido desempeño en este idioma.
- Nivel de conocimiento: Meta AI no especifica públicamente la fecha precisa de corte de conocimiento.
Meta AI afirma realizar un esfuerzo considerable en el filtrado de los datos de entrada para mantener un conjunto de datos de entrenamiento equilibrado. Sin embargo, su rendimiento en idiomas distintos del inglés indica un posible sesgo hacia el contenido en inglés.
📊 Rendimiento y puntos de referencia
Llama 3 8B Instruct ha demostrado consistentemente capacidades impresionantes en varios puntos de referencia de la industria, a menudo superando a sus pares.
Aspectos destacados del rendimiento excepcional:
- Superioridad de referencia: Supera a muchos otros modelos de IA, incluidos algunos más grandes, en tareas específicas de seguimiento de instrucciones y razonamiento.
- Capacidades mejoradas: Muestra mejoras marcadas en el razonamiento, la generación de código y el seguimiento de instrucciones complejas con respecto a las versiones anteriores de Llama.
- Evaluación humana: Logra mejores resultados que modelos competitivos como GPT-3.5 en evaluaciones humanas en escenarios de uso del mundo real, lo que resalta su utilidad práctica.
Comparación con otros modelos líderes:
- Exactitud: Exhibe un rendimiento competitivo frente a modelos más grandes como Gemini Pro y Claude Sonnet en varios puntos de referencia.
- Velocidad: Si bien las métricas de velocidad específicas no se detallan explícitamente, la integración de GQA y un tokenizador optimizado sugieren fuertemente una velocidad de inferencia mejorada en comparación con sus predecesores, lo que lleva a tiempos de respuesta más rápidos.
- Robustez: Demuestra capacidades mejoradas en el manejo de una amplia variedad de tareas, incluido el razonamiento complejo y la generación de código detallado, lo que subraya su mayor estabilidad y adaptabilidad.
🛡️ Pautas éticas y licencias
Meta AI está comprometida con el desarrollo de IA responsable, incorporando sólidas medidas de seguridad dentro de Llama 3 8B Instruct.
Medidas de seguridad e IA responsable:
- Sensibilidad del contenido: Programado con sensibilidad hacia temas críticos como biología, química y ciberseguridad, con el objetivo de prevenir el uso indebido.
- Evaluación de entrada/salida: Evaluación integral tanto de las entradas del usuario como de las salidas del modelo para la seguridad y el cumplimiento.
- Herramientas de seguridad integradas: El sistema de referencia incluye Llama Guard 3, un modelo de seguridad multilingüe, y Guardia inmediata, un filtro de inyección de aviso avanzado, para reforzar la seguridad.
Licencias y accesibilidad:
Si bien los términos de licencia precisos para Llama 3 8B Instruct no se detallan explícitamente en la información proporcionada, Meta AI enfatiza firmemente "enfoque abierto"Este compromiso fomenta la amplia utilización y adopción del modelo en diversas aplicaciones e iniciativas de investigación. Se recomienda a los usuarios consultar la documentación oficial de Meta AI para obtener información específica sobre licencias.
❓ Preguntas frecuentes (FAQ) sobre Llama 3 8B Instruct
P1: ¿Qué es Llama 3 8B Instruct?
A: Llama 3 8B Instruct es un modelo de lenguaje de vanguardia con 8 mil millones de parámetros, desarrollado por Meta AI, optimizado para tareas avanzadas de seguimiento de instrucciones, generación de texto y asistencia de código. Se lanzó el 18 de abril de 2024.
P2: ¿Cuáles son las principales mejoras de Llama 3 8B Instruct en comparación con sus predecesores?
A: Las mejoras clave incluyen un mejor seguimiento de instrucciones, mejores capacidades de razonamiento y generación de código, un eficiente tokenizador de vocabulario de 128 000, atención de consultas agrupadas (GQA) para una inferencia más rápida y una ventana de contexto extendida de 8192 tokens.
P3: ¿Llama 3 8B Instruct es multilingüe?
A: Si bien tiene capacidades limitadas en otros idiomas, Llama 3 8B Instruct está enfocado y optimizado principalmente para tareas en idioma inglés, con el 95% de sus datos de entrenamiento en inglés.
Q4: ¿Cómo garantiza Llama 3 8B Instruct la seguridad?
A: Meta AI ha integrado múltiples medidas de seguridad, incluida la sensibilidad a temas críticos, la evaluación tanto de la entrada como de la salida para la seguridad y la inclusión de Llama Guard 3 (un modelo de seguridad multilingüe) y Prompt Guard (un filtro de inyección de indicaciones) en su sistema de referencia.
P5: ¿Cuál es el enfoque de Meta AI para otorgar licencias a Llama 3 8B Instruct?
A: Meta AI promueve un enfoque abierto para fomentar el uso y la adopción generalizados del modelo, aunque la información disponible no detalla los términos específicos de la licencia. Los usuarios deben consultar los recursos oficiales de Meta AI para obtener información precisa sobre la licencia.
Patio de juegos de IA



Acceso