企业API定制计划
AI应用开发服务
AI智能翻译API
AI SEO/GEO 服务
网络爬虫服务
登录
const { OpenAI } = require('openai');
const api = new OpenAI({
baseURL: 'https://api.ai.cc/v1',
apiKey: '',
});
const main = async () => {
const result = await api.chat.completions.create({
model: 'togethercomputer/guanaco-7b',
messages: [
{
role: 'system',
content: 'You are an AI assistant who knows everything.',
},
{
role: 'user',
content: 'Tell me, why is the sky blue?'
}
],
});
const message = result.choices[0].message.content;
console.log(`Assistant: ${message}`);
};
main();
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.ai.cc/v1",
api_key="",
)
response = client.chat.completions.create(
model="togethercomputer/guanaco-7b",
messages=[
{
"role": "system",
"content": "You are an AI assistant who knows everything.",
},
{
"role": "user",
"content": "Tell me, why is the sky blue?"
},
],
)
message = response.choices[0].message.content
print(f"Assistant: {message}")
- API 操练场（Playground）
在集成之前，请在沙箱环境中测试所有 API 模型。
我们提供 300 多种模型供您集成到您的应用程序中。
产品详情
探索 Guanaco-7B：一款强大的开源 LLM
这 原驼-7B 是一个创新的、拥有70亿个参数的开源聊天机器人模型。它基于Meta强大的功能构建而成。 LLaMA建筑它在 Vicuna 基准测试中表现与 ChatGPT 相当，但微调和推理所需的计算资源却显著减少。发布于 2023年5月 经过 蒂姆·德特默斯Guanaco-7B 是一个基于文本的大型语言模型 (LLM)，旨在提高效率和可访问性。
🌟 主要特点和优势
- ✅ 高效的 4 位 QLoRA 微调： 利用量化感知训练和低秩自适应（QLoRA）技术，以 4 位精度对 Guanaco-7B 模型进行微调。这种创新方法显著降低了内存需求。 75% 与全精度训练相比，这使得高级定制变得非常容易。
- 🌐 多语言支持： Guanaco-7B 经过多样化的多语言数据集训练，能够无缝地参与各种语言的对话，打破沟通障碍。
- 🔓 开源且采用 Apache 2.0 许可： 在允许的范围内，完全免费用于研究和商业用途。 Apache 2.0 许可证促进广泛应用和创新。
- 💻 支持本地实验： 其高效的微调和推理能力能够以经济高效的方式进行本地实验，并快速开发定制的聊天机器人解决方案。
🎯 预期用途及应用
Guanaco-7B 专为对话式人工智能的多种应用而设计。其主要应用场景包括：
- • 开放域聊天机器人： 适用于通用对话式人工智能。
- • 问答系统： 高效地提供信息丰富的回复。
- • 其他对话式人工智能应用： 其高效的架构使其成为资源受限设备和边缘计算环境的理想部署方案。
语言支持详情： 该模型支持多种语言，包括英语、法语、西班牙语、德语、意大利语、葡萄牙语、荷兰语、俄语、中文、日语和韩语。虽然未明确列出支持的语言总数，但其在多语言数据集上的训练确保了其广泛的适用性。
⚙️ 技术规格
- 建筑学： Guanaco-7B 是精心打造的 Meta 的 LLaMA 架构它采用标准的基于Transformer的语言模型，具有以下特点： 70亿个参数 和 32个注意力层确保性能稳定可靠。
- 训练数据： 该模型使用一个庞大的多语言数据集进行训练。虽然数据来源和确切规模的具体细节并未公开，但据了解，它涵盖了网页、书籍、文章和其他各种文本数据，是用于构建更大型 Guanaco 模型的数据子集。
- 知识门槛： 虽然没有明确说明，但Guanaco-7B的已知信息截止日期估计为 2023年初与发布时间相符。
- 多样性与偏见： 鉴于其多语言训练，Guanaco-7B 可能受益于涵盖多种语言和领域的多样化数据集。然而，目前尚未提供有关训练数据多样性或其输出中任何已识别偏差的详细信息。我们鼓励负责任地部署该模型。
🤝 使用与许可
许可证类型： Guanaco-7B 在高度灵活的模式下运行 Apache 2.0 许可证本许可授予用户商业和非商业用途、修改和分发该模型的自由，前提是保留原始版权声明和免责声明。
道德准则： Guanaco-7B 的官方文档并未明确列出具体的伦理准则或注意事项。作为一款开源软件，用户和组织有责任确保其负责任的开发和部署，并遵守人工智能伦理原则。
🚀 API 使用示例
以下是一个演示 API 用法的实际示例：
❓ 常见问题解答 (FAQ)
A：Guanaco-7B 是一个开源的、拥有 70 亿个参数的聊天机器人模型，基于 Meta 的 LLaMA 架构，以其在微调和推理方面的效率而闻名。
答：它采用 4 位 QLoRA 微调，与全精度训练相比，内存需求减少了 75%。
答：是的，它是根据 Apache 2.0 许可证发布的，允许商业和非商业用途、修改和分发。
答：由于其多语言训练数据，它支持多种语言，包括英语、法语、西班牙语、德语、意大利语、葡萄牙语、荷兰语、俄语、中文、日语和韩语。
答：虽然没有明确说明，但根据其发布日期估计，大约在 2023 年初。
