



const { OpenAI } = require('openai');
const api = new OpenAI({
baseURL: 'https://api.ai.cc/v1',
apiKey: '',
});
const main = async () => {
const result = await api.chat.completions.create({
model: 'togethercomputer/guanaco-33b',
messages: [
{
role: 'system',
content: 'You are an AI assistant who knows everything.',
},
{
role: 'user',
content: 'Tell me, why is the sky blue?'
}
],
});
const message = result.choices[0].message.content;
console.log(`Assistant: ${message}`);
};
main();
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.ai.cc/v1",
api_key="",
)
response = client.chat.completions.create(
model="togethercomputer/guanaco-33b",
messages=[
{
"role": "system",
"content": "You are an AI assistant who knows everything.",
},
{
"role": "user",
"content": "Tell me, why is the sky blue?"
},
],
)
message = response.choices[0].message.content
print(f"Assistant: {message}")

Produktdetails
✨ Guanaco-33B: Ein leistungsstarkes Open-Source-LLM für Konversations-KI
Der Guanaco-33B Das Modell zeichnet sich als hochwertiges, quelloffenes großes Sprachmodell (LLM) aus, das für fortgeschrittene Chatbot-Anwendungen entwickelt wurde. Entwickelt von Tim Dettmers und veröffentlicht in April 2023Dieses Modell mit 33 Milliarden Parametern ist eine optimierte Version der LLaMA-Architektur. Dank seiner innovativen Nutzung von … erzielt es eine Leistung, die mit kommerziellen Chatbots wie ChatGPT sehr konkurrenzfähig ist. 4-Bit-QLoRADie
Wichtigste Modelldetails:
- • Modellbezeichnung: Guanako
- • Entwickler/Schöpfer: Tim Dettmers
- • Veröffentlichungsdatum: April 2023
- • Version: 33B Parameter
- • Modelltyp: Textbasiertes großes Sprachmodell (LLM)
🚀 Kernmerkmale & Technische Innovationen
Guanaco-33B verfügt über mehrere fortschrittliche Merkmale, die zu seiner Effizienz und hohen Leistungsfähigkeit beitragen:
- • Mehrsprachigkeit: Ausgebildet im umfassenden OASST1-DatensatzEs zeichnet sich durch seine Leistungsfähigkeit bei ressourcenreichen Sprachen aus und unterstützt gleichzeitig vielfältige sprachliche Eingaben.
- • Effiziente Adapternutzung: Verwendet LoRA-Adapter mit einem r=64 Konfiguration, nahtlos integriert in alle Ebenen des LLaMA-Basismodells.
- • 4-Bit-QLoRA-Feinabstimmung: Verwendet 4-Bit-QLoRA mit dem Datentyp NormalFloat4, wodurch das Basismodell und die Adapter für einen geringeren Speicherbedarf und schnellere Experimente optimiert werden.
- • Leichte Kontrollpunkte: Bietet ausschließlich Adapter-Checkpoints und senkt damit die Hürde für lokale Experimente und Entwicklungen erheblich.
🧠 Architektur, Schulung & Dateneinblicke
Das Modell Guanaco-33B basiert auf der robusten LLaMA-Architektur, ein weithin anerkanntes, auf Transformer basierendes Sprachmodell. Dessen Feinabstimmungsprozess stützt sich auf einen wichtigen Datensatz:
Trainingsdaten:
- • Datenquelle: Feinabgestimmt exklusiv auf der OASST1-Datensatz, eine kollaborative, mehrsprachige Sammlung von Open-Source-Assistentendialogen.
- • Umfang und Reichweite: Besteht aus über 100.000 Gespräche in verschiedenen Sprachen, wodurch vielfältige und ergebnisoffene Dialogmöglichkeiten ermöglicht werden.
- • Diversität & Voreingenommenheit: Die Mehrsprachigkeit von OASST1 trägt dazu bei, inhärente Verzerrungen zu mindern und die Fähigkeit zur Verarbeitung unterschiedlicher Eingaben zu verbessern, allerdings sind die genauen Daten des vollständigen Datensatzes nicht öffentlich.
- • Wissensgrenze: Der genaue Stichtag für die Kenntnis von Guanaco-33B wird nicht öffentlich bekannt gegeben, was mit der kontinuierlichen Weiterentwicklung des Projekts als Open-Source-Projekt übereinstimmt.
💡 Verwendungszweck, ethische Richtlinien & Lizenzierung
Guanaco-33B wurde in erster Linie entwickelt für ForschungszweckeEs ist wichtig, dass sich die Nutzer darüber im Klaren sind, dass es, wie viele experimentelle KI-Modelle, gelegentlich Ergebnisse liefern kann, die als problematisch angesehen werden könnten.
Wichtige Informationen:
- • Sprachunterstützung: Die beste Leistung wird bei ressourcenreichen Sprachen beobachtet, was die Zusammensetzung ihrer Trainingsdaten widerspiegelt.
- • Ethischer Rahmen: Anthropic hat veröffentlicht ethische Richtlinien für seine Entwicklung und Anwendung, wobei Transparenz, Verantwortlichkeit und der Schutz vor potenziellem Missbrauch im Vordergrund stehen.
- • Lizenzdetails: Das Modell Guanaco-33B arbeitet unter der Apache-2-LizenzDies ermöglicht ein breites Spektrum an kommerziellen und nicht-kommerziellen Anwendungen. Der Zugriff auf die zugrunde liegenden LLaMA-Modellgewichte erfordert jedoch separate Lizenzvereinbarungen.
📊 Leistungskennzahlen & Benchmarking
Guanaco-33B wurde anhand mehrerer Benchmarks, darunter dem renommierten Anthropic Chatbot Leaderboard, eingehend evaluiert. Auf diesen Plattformen zeigt es durchweg hervorragende Leistungen. starke Wettbewerbsleistung Im Vergleich zu führenden kommerziellen KI-Modellen wie ChatGPT und Googles BARD ist anzumerken, dass seine Leistung je nach Sprachkontext und Aufgaben, die von den aktuellen Bewertungskriterien nicht abgedeckt werden, variieren kann.
🖥️ Beispiel für die API-Integration
Für Entwickler, die Guanaco-33B in ihre Anwendungen integrieren möchten, folgt hier ein Standardbeispiel für die API-Nutzung:
data-name = "open-ai.chat-completion" data-model = "togethercomputer/guanaco-33b" > ❓ Häufig gestellte Fragen (FAQ)
Frage 1: Was ist Guanaco-33B und was macht es so einzigartig?
Guanaco-33B ist ein Open-Source-LLM mit 33 Milliarden Parametern, das auf Texten basiert und von Tim Dettmers entwickelt wurde. Es zeichnet sich dadurch aus, dass es mithilfe von 4-Bit-QLoRA aus dem LLaMA-Modell feinabgestimmt wurde und für Forschungszwecke eine mit kommerziellen Chatbots vergleichbare Leistung bietet.
Frage 2: Mit welchen Daten wurde Guanaco-33B trainiert?
Es wurde anhand des OASST1-Datensatzes feinabgestimmt, einer mehrsprachigen Sammlung von über 100.000 Open-Source-Assistentendialogen, was seine umfassenden Konversationsfähigkeiten ermöglicht.
Q3: Kann Guanaco-33B für kommerzielle Projekte eingesetzt werden?
Das Guanaco-33B-Modell selbst ist unter der Apache-2.0-Lizenz verfügbar, die sowohl die kommerzielle als auch die nichtkommerzielle Nutzung erlaubt. Die Verwendung der zugrunde liegenden LLaMA-Modellgewichte erfordert jedoch die Einhaltung zusätzlicher Lizenzbestimmungen.
Q4: Wie schneidet es im Vergleich zu anderen Chatbots ab?
Guanaco-33B hat bei verschiedenen Benchmarks, einschließlich des Anthropic Chatbot Leaderboard, eine wettbewerbsfähige Leistung gegenüber kommerziellen Chatbots wie ChatGPT und BARD gezeigt.
Frage 5: Gibt es ethische Bedenken hinsichtlich der Verwendung von Guanaco-33B?
Ja, es dient primär Forschungszwecken, und Nutzer sollten sich der potenziell problematischen Ergebnisse bewusst sein. Anthropic hat ethische Richtlinien herausgegeben, die Transparenz, Verantwortlichkeit und Missbrauchsprävention in den Mittelpunkt stellen und unbedingt befolgt werden sollten.
KI-Spielplatz



Einloggen