企业API定制计划
AI应用开发服务
AI智能翻译API
AI SEO/GEO 服务
网络爬虫服务
登录
const { OpenAI } = require('openai');
const api = new OpenAI({
baseURL: 'https://api.ai.cc/v1',
apiKey: '',
});
const main = async () => {
const result = await api.chat.completions.create({
model: 'meta-llama/Meta-Llama-3-8B-Instruct-Lite',
messages: [
{
role: 'system',
content: 'You are an AI assistant who knows everything.',
},
{
role: 'user',
content: 'Tell me, why is the sky blue?'
}
],
});
const message = result.choices[0].message.content;
console.log(`Assistant: ${message}`);
};
main();
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.ai.cc/v1",
api_key="",
)
response = client.chat.completions.create(
model="meta-llama/Meta-Llama-3-8B-Instruct-Lite",
messages=[
{
"role": "system",
"content": "You are an AI assistant who knows everything.",
},
{
"role": "user",
"content": "Tell me, why is the sky blue?"
},
],
)
message = response.choices[0].message.content
print(f"Assistant: {message}")
- API 操练场（Playground）
在集成之前，请在沙箱环境中测试所有 API 模型。
我们提供 300 多种模型供您集成到您的应用程序中。
产品详情
隆重推出 Llama 3 8B Instruct Lite
这 Llama 3 8B 指导精简版 由……开发的模型 元 并于 2024年4月18日是一个功能强大的文本生成模型，针对交互式对话和精确的指令遵循进行了优化。
✨ 主要亮点：
- ✓ 优化架构： 利用分组查询注意力机制增强可扩展性。
- ✓ 指令调整： 利用监督微调 (SFT) 和基于人类反馈的强化学习 (RLHF) 实现更优的对齐效果。
- ✓ 高性能： 在各项行业基准测试中，其性能始终优于许多领先的开源聊天模型。
- ✓ 安全性和实用性： 旨在提供有益且安全的响应，遵循负责任的人工智能原则。
🎯 预期用途和语言支持
该型号主要设计用于 商业和研究应用尤其是在开发复杂的助手型聊天机器人和各种其他自然语言生成任务方面。
它的主要语言支持是 英语此外，根据具体的许可协议，还有可能将其微调成其他语言。
⚙️ 技术规格
建筑学：
Llama 3 是 自回归语言模型 它基于强大的Transformer架构构建，并融合了多种技术。 分组查询注意力机制（GQA） 显著提升推理可扩展性。针对指令优化的版本会使用SFT和RLHF进一步改进，以使输出结果更符合人类偏好。
训练数据：
- 来源： 数据来源于公开的在线数据集。
- 规模： 基于超过 1000 万个数据的庞大数据集进行训练 15万亿个Tokens。
- 知识门槛： 8B模型的知识范围延伸至 2023年3月。
- 多样性与偏见： 我们已做出广泛努力，确保训练数据的多样性，并持续进行评估，以最大限度地减少潜在的偏见。
📊 性能基准测试
准确率指标：
- 68.4
MMLU（5 发） - 72.6
CommonSenseQA（7 题） - 62.2
人类评估（0 次）
速度与稳定性：
该模型经过精心优化，适用于 实时应用拥有高效的推理能力。
它展现了非凡的才能。 跨不同主题和语言的概括能够有效处理各种输入，并具有很强的鲁棒性。
📖 使用及道德准则
负责任的部署：
Meta 提供全面的 负责任使用指南概述了符合伦理的模型部署最佳实践。强烈建议开发人员集成高级安全措施，包括 Meta Llama Guard 2 和 代码盾 保障措施。
许可：
点击即可查看有关定制商业许可的具体详情。 这里（Meta Llama 3 许可证）。
⚡硬件及碳足迹
培训内容包括Meta的高级技术 研究超级集群 并辅以第三方云计算资源进行微调和评估。
碳足迹概要：
- 拨打 3 8B： GPU运行时间130万小时，功耗700瓦，二氧化碳当量排放量390吨
- 总计（所有 Llama 3 型号）： 770万GPU小时，2290吨二氧化碳当量（由Meta的可持续发展计划100%抵消）
🛡️ 责任与安全
Meta始终坚定不移地致力于负责任的AI开发，倡导开放的方法。Llama 3版本发布时同时发布了更新的指南和资源，旨在帮助开发者实现有效的模型安全。
已实施的关键安全措施：
- ✓ 广泛的红队演练： 严格的对抗性评估，以识别和缓解漏洞。
- ✓ 拒绝缓解措施： 减少错误拒绝并改善用户体验的策略。
- ✓ 负责任的发布流程： 旨在主动应对潜在的滥用和重大风险。
❓ 常见问题解答 (FAQ)
什么是 Llama 3 8B Instruct Lite？
Llama 3 8B Instruct Lite 是 Meta 于 2024 年 4 月 18 日发布的高级生成文本模型。它专门针对对话和准确遵循指令进行了优化，利用了改进的 Transformer 架构和分组查询注意力机制。
该模型的主要应用领域有哪些？
它既可用于商业用途，也可用于研究用途，尤其擅长创建类似助手的聊天机器人以及各种其他自然语言生成任务，在这些任务中，精确的指令遵循和自然的对话至关重要。
Llama 3 8B 使用了哪些训练数据？
该模型使用来自公开在线数据的超过 15 万亿个Tokens进行训练，其 80 亿版本的知识截止时间设定为 2023 年 3 月。Meta 强调其数据集的多样性和持续的偏差评估。
Meta如何确保Llama 3型号的安全？
Meta 采取了广泛的安全措施，包括红队演练、对抗性评估、拒绝缓解措施（以防止误拒绝）以及负责任的发布流程。他们还提供《负责任使用指南》，并提倡使用 Meta Llama Guard 2 和 Code Shield 等安全防护工具。
我可以在哪里找到 Llama 3 的授权详情？
有关定制商业许可的详细信息，请访问 Meta 的官方 Llama 网站。您可以通过以下链接查看具体条款： Meta Llama 3 许可证。
