



const { OpenAI } = require('openai');
const api = new OpenAI({
baseURL: 'https://api.ai.cc/v1',
apiKey: '',
});
const main = async () => {
const result = await api.chat.completions.create({
model: 'togethercomputer/Koala-7B',
messages: [
{
role: 'system',
content: 'You are an AI assistant who knows everything.',
},
{
role: 'user',
content: 'Tell me, why is the sky blue?'
}
],
});
const message = result.choices[0].message.content;
console.log(`Assistant: ${message}`);
};
main();
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.ai.cc/v1",
api_key="",
)
response = client.chat.completions.create(
model="togethercomputer/Koala-7B",
messages=[
{
"role": "system",
"content": "You are an AI assistant who knows everything.",
},
{
"role": "user",
"content": "Tell me, why is the sky blue?"
},
],
)
message = response.choices[0].message.content
print(f"Assistant: {message}")

Detalles del producto
✨ Presentamos Koala (7B): Un potente chatbot de código abierto LLM
Koala (7B) es un modelo de lenguaje grande (LLM) de código abierto y de vanguardia desarrollado por el renombrado Laboratorio de Investigación en Inteligencia Artificial de Berkeley (BAIR)Lanzado en Abril de 2023Este modelo versión 1.0 está diseñado específicamente para ofrecer un rendimiento de chatbot de alta calidad, posicionándose como un fuerte competidor frente a modelos propietarios consolidados como ChatGPT. Está pensado principalmente para investigadores y desarrolladores que buscan ampliar los límites de las aplicaciones avanzadas de IA conversacional.
Características principales de Koala (7B):
- Rendimiento de alta calidad: Capacidades demostradas comparables a las de modelos líderes como ChatGPT.
- Disponibilidad de código abierto: De libre acceso para amplias iniciativas de investigación y desarrollo.
- Arquitectura eficiente: Cuenta con una robustez Arquitectura de 7 mil millones de parámetros.
- Ajuste fino personalizado: Se beneficia del entrenamiento con conjuntos de datos cuidadosamente seleccionados y de alta calidad.
- Uso previsto: Principalmente para fines de investigación y como base para una IA conversacional avanzada.
- Soporte de idiomas: Predominantemente en inglés, con potencial para una futura expansión multilingüe.
⚙️ Detalles técnicos y metodología de formación
Profundizando en su esencia, Koala (7B) se basa fundamentalmente en el renombrado Arquitectura LLaMA, específicamente utilizando su versión de 7 mil millones de parámetros como modelo fundamental. Este robusto arquitectura basada en transformadores Se ha convertido en el estándar de la industria para lograr un rendimiento de vanguardia en modelos de lenguaje de gran tamaño.
Datos de entrenamiento y proceso de ajuste fino:
Tal como se describe en el original Detalles técnicos Documentación, Koala fue meticulosamente ajustado en un conjunto de datos cuidadosamente seleccionado que totaliza aproximadamente 128.000 muestrasEste tamaño de conjunto de datos relativamente compacto subraya la eficiencia de su proceso de ajuste fino. El conjunto de datos comprende:
- Conjunto de datos Útiles e Inofensivos (HH) de Anthropic: Consta de 67.000 muestras de conversaciones entre humanos e inteligencia artificial, con especial atención a las interacciones útiles y seguras.
- Conversaciones con el Asistente Abierto: Una colección de 9.000 muestras procedentes del proyecto Open-Assistant, dedicado a la creación de asistentes de IA de código abierto.
- Datos de Stanford Alpaca: Consta de 52.000 demostraciones de seguimiento de instrucciones, generadas mediante técnicas innovadoras de autoaprendizaje.
Aunque no se ha establecido explícitamente una fecha límite de conocimiento precisa para Koala (7B), dado su lanzamiento en abril de 2023, es razonable suponer que la base de conocimiento del modelo se extiende hasta principios de 2023.
Nota importante sobre diversidad y prejuicios: Es fundamental que los investigadores y desarrolladores reconozcan que Koala hereda posibles sesgos presentes en su modelo LLaMA fundamental y en los conjuntos de datos utilizados para el ajuste fino. Estrategias exhaustivas de evaluación y mitigación Se recomienda encarecidamente antes de implementar Koala (7B) en aplicaciones sensibles o críticas.
📊 Métricas de rendimiento y robustez
Koala (7B) ha demostrado de forma constante un rendimiento impresionante en diversas pruebas de referencia estándar, lo que pone de manifiesto sus capacidades como modelo de IA conversacional de alta calidad.
Criterios de precisión:
- Evaluación humana: En pruebas a ciegas, los evaluadores humanos mostraron una preferencia por las respuestas de Koala sobre las de ChatGPT en 50% de los casos, lo que indica un rendimiento verdaderamente comparable.
- Preguntas y respuestas veraces: Koala obtuvo una puntuación de 47% En esta prueba comparativa, supera a GPT-3.5 y se acerca mucho al rendimiento de GPT-4.
- MMLU (Comprensión Masiva del Lenguaje Multitarea): El modelo obtuvo una puntuación 43,3%, demostrando de forma exhaustiva su amplio conocimiento y sus sólidas capacidades de razonamiento en una amplia gama de tareas.
Aunque no se proporcionan explícitamente métricas específicas de velocidad de inferencia para Koala (7B), como modelo de 7 mil millones de parámetros, generalmente se anticipa que será más eficiente y más rápido en la inferencia en comparación con modelos más grandes que ofrecen funcionalidades similares. Su rendimiento sólido y constante en diversos puntos de referencia como TruthfulQA y MMLU también da fe de su excelente rendimiento. capacidades de generalización y robustez sobre diversos temas y tipos de consultas.
💡 Uso, licencia y directrices éticas
Implementación y licenciamiento responsables:
Los ejemplos de código y las instrucciones de uso detalladas para integrar Koala (7B) suelen proporcionarse en su documentación oficial o en su repositorio de GitHub, lo que permite a los desarrolladores incorporarlo sin problemas en sus proyectos de IA.
Aunque las directrices éticas explícitas diseñadas específicamente para Koala (7B) no estén ampliamente documentadas, se recomienda encarecidamente a los usuarios que se adhieran a los principios éticos de IA universalmente reconocidos. Estos incluyen:
- Uso responsable: Garantizar la aplicación ética y beneficiosa del modelo.
- Concienciación sobre los prejuicios: Reconocer activamente y trabajar para mitigar los posibles sesgos heredados del modelo.
- Privacidad y protección de datos: Priorizar la privacidad del usuario y garantizar medidas sólidas de protección de datos.
- Transparencia: Indicar claramente cuándo el contenido ha sido generado o asistido por IA.
El modelo Koala (7B) se lanza bajo un licencia de código abiertoque promueve activamente un amplio acceso a la investigación, el desarrollo y la innovación dentro de la comunidad de IA. Este compromiso se alinea con la visión del Laboratorio BAIR para impulsar la investigación abierta en IA.
❓ Preguntas frecuentes (FAQ) sobre Koala (7B)
P1: ¿Qué es Koala (7B) y quién lo desarrolló?
Koala (7B) es un modelo de lenguaje a gran escala (LLM) de código abierto diseñado como un chatbot de alta calidad. Fue desarrollado por el Laboratorio de Investigación de Inteligencia Artificial de Berkeley (BAIR) y lanzado en abril de 2023.
P2: ¿Está disponible Koala (7B) de forma gratuita?
Sí, Koala (7B) se publica bajo una licencia de código abierto, lo que lo hace disponible gratuitamente para diversos fines de investigación y desarrollo.
P3: ¿Cómo se compara el rendimiento de Koala (7B) con el de ChatGPT?
En evaluaciones humanas a ciegas, las respuestas de Koala fueron preferidas a las de ChatGPT en el 50% de los casos, lo que demuestra un rendimiento y capacidades de alta calidad comparables.
P4: ¿Qué tipo de datos se utilizaron para ajustar Koala (7B)?
Se ajustó con precisión utilizando aproximadamente 128.000 muestras, combinando conjuntos de datos como el conjunto de datos Helpful and Harmless (HH) de Anthropic, conversaciones de Open-Assistant y datos de Stanford Alpaca.
P5: ¿Qué pautas éticas deben seguirse al usar Koala (7B)?
Los usuarios deben adherirse a los principios éticos generales de la IA, incluido el uso responsable, la concienciación y mitigación de posibles sesgos, la consideración de la privacidad y la protección de datos, y la transparencia con respecto al contenido generado por la IA.
Campo de juegos de IA



Acceso