在

出去

聊天

禁用

原驼（65B）

访问 Guanaco-65B API。Guanaco 65B 是一款开源聊天机器人模型，可与 ChatGPT 3.5 Turbo 相媲美，它采用高效的 4 位 QLoRA 微调技术开发而成。

新会员可获赠价值 1 美元的免费Tokens

Text to Speech

Javascript

Python

                                        const { OpenAI } = require('openai');

const api = new OpenAI({
  baseURL: 'https://api.ai.cc/v1',
  apiKey: '',
});

const main = async () => {
  const result = await api.chat.completions.create({
    model: 'togethercomputer/guanaco-65b',
    messages: [
      {
        role: 'system',
        content: 'You are an AI assistant who knows everything.',
      },
      {
        role: 'user',
        content: 'Tell me, why is the sky blue?'
      }
    ],
  });

  const message = result.choices[0].message.content;
  console.log(`Assistant: ${message}`);
};

main();

                                        import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.ai.cc/v1",
    api_key="",    
)

response = client.chat.completions.create(
    model="togethercomputer/guanaco-65b",
    messages=[
        {
            "role": "system",
            "content": "You are an AI assistant who knows everything.",
        },
        {
            "role": "user",
            "content": "Tell me, why is the sky blue?"
        },
    ],
)

message = response.choices[0].message.content

print(f"Assistant: {message}")

Docs

一个 API 包含 300 多个 AI 模型

节省20%费用并获赠价值1美元的Tokens

获取 API 密钥探索模型

原驼（65B）

产品详情

💡guanaco-65B：领先的开源 LLM 聊天机器人

这原驼-65B 是一个复杂的， 650亿个参数开源聊天机器人模型。于 2023 年发布。蒂姆·德特默斯这种先进的基于文本的大型语言模型（LLM）充分证明了高效微调技术的有效性。它是通过将4位QLoRA微调应用于LLaMA基础模型，并利用全面的OASST1数据集而开发的。

Guanaco-65B 以其卓越的性能脱颖而出，其功能可与顶级商业聊天机器人相媲美，例如： ChatGPT 和诗人这使得高性能对话式人工智能更容易获得，并且更具成本效益，从而适用于广泛的应用领域。

✅ 主要特点和优势

• 竞争表现：在 Vicuna 和 OpenAssistant 等知名基准测试中，其性能与 ChatGPT 和 BARD 相当。
• 开源可用性：可免费用于本地实验和部署，使强大的 AI 普及化。
• 高效的 4 位 QLoRA 训练：基于可复制且高效的 4 位 QLoRA 微调过程。
• 轻量化适配器配重：采用紧凑型适配器配重，可与 LLaMA 基本型号无缝集成。

🎯 预期使用场景

Guanaco-65B 的设计旨在帮助开发人员和研究人员部署和试验前沿的对话式人工智能系统。其多功能性使其成为各种应用的理想选择，包括：

• 开发强大的开放领域聊天机器人
• 构建面向任务的对话系统
• 增强问答功能
• 自动化文本摘要任务
• 生成多样化且富有创意的文本内容

🌐 多语言功能

虽然 Guanaco-65B 本质上是一种多语言模型该模型在OASST1数据集上的训练表明其性能最佳，而该数据集严重偏向高资源语言。因此，预计该模型在以下情况下表现最佳：英语以及其他资源丰富的语言。

⚙️ 技术规格

建筑学：

Guanaco-65B 利用了 LoRa（低秩自适应）架构这涉及到为底层LLaMA基础模型的所有层添加特定的适配器权重。这种设计能够实现高效的微调，从而在充分保留基础模型核心功能的同时，实现广泛的自定义。

训练数据：

该模型使用以下方法进行训练： OASST1 数据集该数据集以其多语言特性而闻名，但其内容偏向于资源丰富的语言。关于该数据集的确切规模和全面多样性的具体细节并未公开披露。

知识门槛：

Guanaco-65B 的精确知识截止日期是未公开说明人们普遍认为，它的知识库反映了截至用于微调的 OASST1 数据集最终确定日期为止可用的信息。

绩效指标：

根据记录在案的报告，Guanaco-65B 表现出卓越的性能，达到 ChatGPT-3.5 Turbo 的性能达到了 99.3%。在严苛的 Vicuna 基准测试中，这一令人印象深刻的评估结果得到了人工评估和 GPT-4 分析的双重验证。

🚀 API 使用示例

将 Guanaco-65B 集成到您的应用程序中非常便捷。以下是一个常见的 API 使用示例，演示了如何与该模型进行交互以实现聊天自动补全：

# 聊天自动补全 API 调用示例import openai client = openai.OpenAI ( api_key= "YOUR_API_KEY" , base_url= "https://api.together.xyz/v1" ) chat_completion = client.chat.completions.create(model= "togethercomputer/guanaco-65b" , messages=[{ "role" : "system" , "content" : "您是一位乐于助人的助手。" , }, { "role" : "user" , "content" : "法国的首都是什么？" , }, ], temperature=0.7, max_tokens=512, ) print(chat_completion.choices[0].message.content)

注：此示例代码片段假设与 OpenAI API 标准兼容，通常受 Together AI 等平台支持。有关 API 集成的更多详细信息，您可以参考…… Together AI 博客文章：关于 Guanaco-65B。

⚖️ 道德使用和许可信息

道德准则：

作为一种开源模式，目前尚未正式发布任何具体的伦理准则。 Guanaco-65B 由其开发者负责。因此，开发者有责任负责任地部署该程序，考虑潜在的滥用风险，并遵守人工智能伦理规范。完全取决于开发商以及最终用户。

许可证类型：

这原驼适配器配重获得许可 Apache 2.0 许可证然而，必须理解的是，要充分利用 Guanaco-65B 模型，就必须能够获取底层数据。 LLaMA基础模型权重受以下机构管辖更严格的许可条款用户必须确保完全遵守两套许可协议。

✨ 结论

本质上，Guanaco-65B 是一款功能强大且易于使用的开源聊天机器人模型，能够有效地与 ChatGPT 等成熟的商业人工智能产品展开竞争。它不仅凸显了 4 位 QLoRA 微调技术的卓越潜力和效率，还为开发和部署高性能对话式人工智能解决方案提供了一条经济实惠且可复现的途径。它的推出极大地促进了先进 LLM 技术的普及应用。

❓ 常见问题解答 (FAQ)

Guanaco-65B是什么？

Guanaco-65B 是由 Tim Dettmers 开发的拥有 650 亿个参数的开源聊天机器人模型。它基于 LLaMA 基础模型构建，并使用 4 位 QLoRA 技术进行微调，其性能可与领先的商业 AI 聊天机器人相媲美。

Guanaco-65B 的性能与 ChatGPT 相比如何？

根据文档和基准测试，Guanaco-65B 在 Vicuna 基准测试中达到了 ChatGPT-3.5 Turbo 性能的 99.3%，经人类评分员和 GPT-4 评估，证明了其高度的竞争力。

什么是QLoRA微调？

QLoRA（量化低秩自适应）是一种高效的4位量化方法，用于微调大型语言模型。它在保持高性能的同时显著降低了内存消耗，使得在更易获取的硬件上训练和部署大规模模型成为可能。

Guanaco-65B 可以用于商业用途吗？

Guanaco 适配器权重采用 Apache 2.0 许可证，通常允许商业用途。但是，LLaMA 基础模型权重的许可条款更为严格。用户在任何商业应用中都必须确保同时遵守这两种许可证。

Guanaco-65B 对哪些语言的支持最好？

虽然Guanaco-65B是一个多语言模型，但它所训练的OASST1数据集严重偏向于资源丰富的语言。因此，Guanaco-65B预计在英语和其他类似的资源丰富的语言上表现最佳。

API 操练场（Playground）

集成前，请在沙盒环境中测试所有 API 模型。我们提供 300 多个模型供您集成到应用中。

免费试用

一个 API
300多个人工智能模型

节省20%的费用