



const { OpenAI } = require('openai');
const api = new OpenAI({
baseURL: 'https://api.ai.cc/v1',
apiKey: '',
});
const main = async () => {
const result = await api.chat.completions.create({
model: 'togethercomputer/Koala-7B',
messages: [
{
role: 'system',
content: 'You are an AI assistant who knows everything.',
},
{
role: 'user',
content: 'Tell me, why is the sky blue?'
}
],
});
const message = result.choices[0].message.content;
console.log(`Assistant: ${message}`);
};
main();
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.ai.cc/v1",
api_key="",
)
response = client.chat.completions.create(
model="togethercomputer/Koala-7B",
messages=[
{
"role": "system",
"content": "You are an AI assistant who knows everything.",
},
{
"role": "user",
"content": "Tell me, why is the sky blue?"
},
],
)
message = response.choices[0].message.content
print(f"Assistant: {message}")

Detalle del producto
✨ Presentamos Koala (7B): Un potente LLM de chatbot de código abierto
Koala (7B) es un modelo de lenguaje grande (LLM) de código abierto y de vanguardia desarrollado por el renombrado Laboratorio de Investigación de Inteligencia Artificial de Berkeley (BAIR)Lanzado en Abril de 2023Este modelo de la versión 1.0 está diseñado específicamente para ofrecer un rendimiento de chatbot de alta calidad, lo que lo posiciona como un fuerte competidor frente a modelos propietarios consolidados como ChatGPT. Está diseñado principalmente para investigadores y desarrolladores que buscan ampliar los límites de las aplicaciones avanzadas de IA conversacional.
Características principales de Koala (7B):
- Rendimiento de alta calidad: Capacidades demostradas comparables a modelos líderes como ChatGPT.
- Disponibilidad de código abierto: De libre acceso para amplias iniciativas de investigación y desarrollo.
- Arquitectura eficiente: Cuenta con un robusto Arquitectura de 7 mil millones de parámetros.
- Ajuste fino curado: Beneficios de la capacitación en conjuntos de datos cuidadosamente seleccionados y de alta calidad.
- Uso previsto: Principalmente para fines de investigación y como base para una IA conversacional avanzada.
- Soporte de idiomas: Predominantemente inglés, con potencial para futura expansión multilingüe.
⚙️ Detalles técnicos y metodología de capacitación
Profundizando en su esencia, Koala (7B) se basa fundamentalmente en el reconocido Arquitectura LLaMA, utilizando específicamente su versión de 7 mil millones de parámetros como modelo fundamental. Este robusto arquitectura basada en transformadores se ha convertido en el estándar de la industria para lograr un rendimiento de última generación en modelos de lenguaje grandes.
Datos de entrenamiento y proceso de ajuste:
Como se describe en el original Detalles técnicos documentación, Koala se ajustó meticulosamente en un conjunto de datos cuidadosamente seleccionados que totaliza aproximadamente 128.000 muestrasEste conjunto de datos, relativamente compacto, subraya la eficiencia de su proceso de ajuste. El conjunto de datos comprende:
- Conjunto de datos útiles e inofensivos (HH) de Anthropic: Consta de 67.000 muestras de conversaciones entre humanos y IA, con un enfoque en interacciones útiles y seguras.
- Conversaciones de Open-Assistant: Una colección de 9.000 muestras procedentes del proyecto Open-Assistant, dedicado a crear asistentes de IA de código abierto.
- Datos de Stanford Alpaca: Incluye 52.000 demostraciones de seguimiento de instrucciones, generadas mediante técnicas innovadoras de autoinstrucción.
Si bien no se indica explícitamente una fecha límite precisa de conocimiento para Koala (7B), dado su lanzamiento en abril de 2023, es razonable suponer que la base de conocimiento del modelo se extiende hasta principios de 2023.
Nota importante sobre diversidad y sesgo: Es fundamental que los investigadores y desarrolladores reconozcan que Koala hereda posibles sesgos presentes en su modelo LLaMA fundamental y en los conjuntos de datos utilizados para su ajuste. Evaluación exhaustiva y estrategias de mitigación son muy recomendables antes de implementar Koala (7B) en aplicaciones sensibles o críticas.
📊 Métricas de rendimiento y robustez
Koala (7B) ha demostrado constantemente un rendimiento impresionante en varios puntos de referencia estándar, mostrando sus capacidades como modelo de IA conversacional de alta calidad.
Puntos de referencia de precisión:
- Evaluación humana: En pruebas a ciegas, los evaluadores humanos mostraron una preferencia por las respuestas de Koala sobre las de ChatGPT. 50% de los casos, lo que indica un rendimiento verdaderamente comparable.
- Preguntas y respuestas veraces: Koala logró una puntuación de 47% en este punto de referencia, superando a GPT-3.5 y acercándose mucho al rendimiento de GPT-4.
- MMLU (Comprensión del lenguaje multitarea masiva): El modelo puntuó 43,3%, mostrando de forma exhaustiva su amplio conocimiento y sólidas capacidades de razonamiento en una amplia gama de tareas.
Si bien no se proporcionan explícitamente métricas de velocidad de inferencia específicas para Koala (7B), como modelo de 7 mil millones de parámetros, generalmente se anticipa que sea más eficiente y más rápido en la inferencia En comparación con modelos más grandes que ofrecen funcionalidades similares, su rendimiento sólido y consistente en diversas pruebas de referencia como TruthfulQA y MMLU también demuestra su excelente rendimiento. Capacidades de generalización y robustez en varios temas y tipos de consultas.
💡 Uso, licencia y pautas éticas
Implementación responsable y licencias:
Los ejemplos de código y las instrucciones de uso detalladas para integrar Koala (7B) generalmente se proporcionan en su documentación oficial o en el repositorio de GitHub, lo que permite a los desarrolladores incorporarlo sin problemas a sus proyectos de IA.
Aunque las directrices éticas explícitas diseñadas específicamente para Koala (7B) pueden no estar ampliamente documentadas, se recomienda encarecidamente a los usuarios que se adhieran a los principios éticos de la IA universalmente reconocidos. Estos incluyen:
- Uso responsable: Garantizar el despliegue ético y beneficioso del modelo.
- Conciencia de los sesgos: Reconocer activamente y trabajar para mitigar los posibles sesgos heredados por el modelo.
- Privacidad y protección de datos: Priorizar la privacidad del usuario y garantizar medidas sólidas de protección de datos.
- Transparencia: Indicar claramente cuándo el contenido ha sido generado o asistido por IA.
El modelo Koala (7B) se lanza bajo una licencia de código abierto, que promueve activamente el acceso amplio a la investigación, el desarrollo y la innovación dentro de la comunidad de IA. Este compromiso se alinea con la visión del Laboratorio BAIR de impulsar la investigación abierta en IA.
❓ Preguntas frecuentes (FAQ) sobre Koala (7B)
P1: ¿Qué es Koala (7B) y quién lo desarrolló?
Koala (7B) es un modelo de lenguaje extenso (LLM) de código abierto, diseñado como un chatbot de alta calidad. Fue desarrollado por el Laboratorio de Investigación de Inteligencia Artificial de Berkeley (BAIR) y lanzado en abril de 2023.
P2: ¿Koala (7B) está disponible de forma gratuita?
Sí, Koala (7B) se publica bajo una licencia de código abierto, lo que lo hace disponible gratuitamente para diversos fines de investigación y desarrollo.
P3: ¿Cómo se desempeña Koala (7B) en comparación con ChatGPT?
En evaluaciones humanas a ciegas, las respuestas de Koala fueron preferentes a las de ChatGPT en el 50% de los casos, lo que demuestra capacidades y rendimiento de alta calidad comparables.
P4: ¿Qué tipo de datos se utilizaron para perfeccionar Koala (7B)?
Se ajustó en aproximadamente 128.000 muestras, combinando conjuntos de datos como el conjunto de datos Útil e Inofensivo (HH) de Anthropic, conversaciones de Open-Assistant y datos de Stanford Alpaca.
P5: ¿Qué pautas éticas se deben seguir al utilizar Koala (7B)?
Los usuarios deben adherirse a los principios éticos generales de la IA, incluido el uso responsable, el conocimiento y la mitigación de posibles sesgos, la consideración de la privacidad y la protección de datos, y la transparencia con respecto al contenido generado por IA.
Patio de juegos de IA



Acceso