



const { OpenAI } = require('openai');
const api = new OpenAI({
baseURL: 'https://api.ai.cc/v1',
apiKey: '',
});
const main = async () => {
const result = await api.chat.completions.create({
model: 'mistralai/mistral-tiny',
messages: [
{
role: 'system',
content: 'You are an AI assistant who knows everything.',
},
{
role: 'user',
content: 'Tell me, why is the sky blue?'
}
],
});
const message = result.choices[0].message.content;
console.log(`Assistant: ${message}`);
};
main();
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.ai.cc/v1",
api_key="",
)
response = client.chat.completions.create(
model="mistralai/mistral-tiny",
messages=[
{
"role": "system",
"content": "You are an AI assistant who knows everything.",
},
{
"role": "user",
"content": "Tell me, why is the sky blue?"
},
],
)
message = response.choices[0].message.content
print(f"Assistant: {message}")

产品详情
隆重推出 Mistral Tiny:一款轻量级语言模型,助力高效人工智能
Mistral Tiny,由……开发 密斯特拉尔人工智能 并正式发布 2024年10月 (版本 1.0)是一款尖端、轻量级的语言模型,专为在各种基于文本的任务中实现卓越的效率而设计。该文本类型模型经过专门优化,可在资源受限的环境中高效运行,即使在计算资源有限的情况下也能确保高性能。
基本信息:
- ✨ 型号名称: 密斯特拉尔小
- 👩💻 开发者/创建者: 密斯特拉尔人工智能
- 🗓️ 发布日期: 2024年10月
- 🔄 版本: 1.0
- 📝 型号: 文本
主要功能和规格
核心功能:
- 📏 型号尺寸: 紧凑型 1.066亿个参数。
- 💾 所需显存: 仅有的 0.4 GB这使得资源有限的设备也能非常方便地使用它。
- 📖 上下文长度: 支持较大的最大上下文长度 131,072 个Tokens从而实现全面的上下文处理。
- ⚙️ 分词器类: 使用词汇表大小为的 LlamaTokenizer 32,000 个Tokens。
- 🛠️ 培训框架: 基于 MistralForCausalLM 架构,兼容 Transformers 版本 4.39.1。
预期用途:
Mistral Tiny 非常适合需要快速响应和低延迟处理的应用,因此是以下应用的理想选择:
- 聊天机器人
- 自动化内容生成
- 教育工具
- 高效的文本摘要
- 可靠的代码补全任务
多语言支持:
该模型提供强大的语言支持,包括 英语、法语、德语、西班牙语和意大利语从而扩大其全球适用性。
技术架构与培训
架构概述:
Mistral Tiny 采用了一种复杂的 Transformer架构旨在实现最佳性能:
- 🧱 层数: 12层
- 🧠 各位负责人请注意: 每层12个注意力头
- 📏 隐藏尺寸: 768 尺寸
- ↔️ 中等尺寸: 3072 尺寸
这种架构集成了先进的注意力技术,例如 滑动窗口注意力(SWA) 有效管理长序列并保持上下文连贯性。
训练数据和知识截止点:
该模型在一个包含多种元素的数据集上进行了严格训练。 超过7万亿枚Tokens 来自各个领域的庞大训练语料库确保了强大的语言理解能力和上下文感知能力。Mistral Tiny 的知识门槛是 2023年9月。
多样性和偏见缓解:
Mistral AI优先创建多元化的训练数据集,以积极减少与性别、种族和意识形态相关的偏见。该模型的设计重点在于增强其在广泛背景和主题中的适用性,从而促进公平性和包容性。
性能基准:
- 🎯 准确性: 准确率超过 85% 在语言理解任务中。
- 📉 困惑度评分: 表现出较低的困惑度得分,表明其具有较强的预测能力和较高的自然语言生成信心。
- 🏆 F1 得分: 保持高于 F1 分数 0.75 在文本分类任务中。
基准测试结果:
- 📈 MMLU (大规模多任务语言理解):在各种语言理解任务中表现出高水平的性能。
- 💻 HumanEval 基准测试 (用于编码):在规模相近的模型中获得竞争性排名,展现其在代码生成和理解方面的能力。
Mistral Tiny 与其他 Mistral 型号的比较
Mistral Tiny 是一款紧凑高效的语言模型,专为简单应用中的速度和成本效益而设计。 简单任务的准确率超过 85%。它为直接应用场景提供了极高的价值。
- ➡️ 米斯特拉尔小号: 该模型适用于延迟适中的批量任务,可实现 准确率 72.2% 在基准测试中,平衡性能和资源利用率。
- ➡️ 米斯特拉尔大型: 擅长处理复杂任务,提供高级推理能力和全面的多语言支持。 准确率 84.0%专为高要求场景而设计。
- ➡️ 对于要求极高的应用,需要卓越的编码能力和复杂的推理能力,请考虑使用 Mixtral 8x7B,最多可提供 推理速度提升 6 倍。
(参考自: Mixtral 8x7B 指令 v0.1)
如何使用 Mistral Tiny
代码示例和 API 访问:
Mistral Tiny 很容易就能在以下平台上找到: AI/ML API平台 在标识符下 "mistralai/mistral-tiny"这种无缝集成使开发人员能够快速将 Mistral Tiny 集成到他们的项目中。
有关详细的实现指南、全面的代码示例和 API 端点,请参阅详尽的文档。 AI.cc API 文档。
道德与许可信息
道德准则:
Mistral AI 秉持严格的伦理准则,致力于推动负责任的人工智能使用和开发。该组织优先考虑模型功能和局限性的透明度,并积极鼓励开发者认真思考在实际应用中部署人工智能技术所涉及的伦理问题。
许可:
Mistral Tiny 是在许可下发布的 Apache 2.0 许可证这种开源方式赋予了商业和非商业使用权,极大地促进了社区合作、创新以及在各个行业的广泛应用。
常见问题解答 (FAQ)
问:Mistral Tiny 的主要设计用途是什么?
答:Mistral Tiny 是一款轻量级语言模型,针对高效的文本生成、摘要和代码补全任务进行了优化。它在资源受限、需要快速响应和低延迟的环境中尤为有效,例如聊天机器人和教育工具。
问:Mistral Tiny 的主要技术规格是什么?
答:它具有 1.066 亿个参数,仅需 0.4 GB 的 VRAM,支持 131,072 个标记的广泛上下文长度,并利用具有 32,000 个标记词汇表的 LlamaTokenizer 进行强大的语言处理。
问:Mistral Tiny 与 Mistral Small 或 Mistral Large 相比如何?
答:Mistral Tiny 专为快速高效地处理简单任务而设计(准确率超过 85%)。Mistral Small 能够以适中的延迟处理批量任务(准确率 72.2%),而 Mistral Large 则擅长处理复杂任务,提供高级推理和多语言支持(准确率 84.0%)。
问:Mistral Tiny 是以什么许可证发布的?
答:Mistral Tiny 采用 Apache 2.0 许可证发布,该许可证授予商业和非商业用途的广泛权限,促进开放协作和创新。
问:Mistral Tiny 支持哪些语言?
答:该模型支持多种语言,使其能够满足全球用户的需求。这些语言包括英语、法语、德语、西班牙语和意大利语。



登录