



const { OpenAI } = require('openai');
const api = new OpenAI({
baseURL: 'https://api.ai.cc/v1',
apiKey: '',
});
const main = async () => {
const result = await api.chat.completions.create({
model: 'togethercomputer/guanaco-7b',
messages: [
{
role: 'system',
content: 'You are an AI assistant who knows everything.',
},
{
role: 'user',
content: 'Tell me, why is the sky blue?'
}
],
});
const message = result.choices[0].message.content;
console.log(`Assistant: ${message}`);
};
main();
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.ai.cc/v1",
api_key="",
)
response = client.chat.completions.create(
model="togethercomputer/guanaco-7b",
messages=[
{
"role": "system",
"content": "You are an AI assistant who knows everything.",
},
{
"role": "user",
"content": "Tell me, why is the sky blue?"
},
],
)
message = response.choices[0].message.content
print(f"Assistant: {message}")

Подробная информация о товаре
Откройте для себя Guanaco-7B: мощную программу магистратуры с открытым исходным кодом.
Он Гуанако-7Б Это инновационная модель чат-бота с открытым исходным кодом, содержащая 7 миллиардов параметров. Она построена на основе надежной платформы Meta. Архитектура LLaMAОн демонстрирует производительность, сопоставимую с ChatGPT в бенчмарке Vicuna, но при этом требует значительно меньше вычислительных ресурсов как для тонкой настройки, так и для вывода результатов. Выпущен в Май 2023 г. к Тим ДеттмерсGuanaco-7B — это текстовая модель большого языка (LLM), разработанная для повышения эффективности и доступности.
🌟 Основные характеристики и преимущества
- ✅ Эффективная 4-битная тонкая настройка QLoRA: Используйте обучение с учетом квантования и адаптацией низкого ранга (QLoRA) для точной настройки Guanaco-7B с 4-битной точностью. Этот инновационный метод значительно снижает требования к памяти. 75% По сравнению с тренировками с полной точностью, это делает расширенную настройку очень доступной.
- 🌐 Многоязычная поддержка: Обученный на разнообразном многоязычном наборе данных, Guanaco-7B беспрепятственно участвует в диалогах на широком спектре языков, преодолевая коммуникационные барьеры.
- 🔓 Открытый исходный код и лицензия Apache 2.0: Полностью бесплатно для исследовательских и коммерческих целей на условиях разрешения. Лицензия Apache 2.0способствуя широкому внедрению и инновациям.
- 💻 Поддерживается проведение локальных экспериментов: Благодаря высокоэффективным возможностям тонкой настройки и вывода результатов, система позволяет проводить экономически выгодные локальные эксперименты и быстро разрабатывать индивидуальные решения для чат-ботов.
🎯 Назначение и области применения
Guanaco-7B специально разработан для универсального применения в разговорном искусственном интеллекте. Основные области его применения включают:
- • Чат-боты с открытым доступом: Для общего применения в разговорном искусственном интеллекте.
- • Системы ответов на вопросы: Эффективное предоставление информативных ответов.
- • Другие приложения разговорного ИИ: Благодаря своей эффективной архитектуре, она идеально подходит для развертывания на устройствах с ограниченными ресурсами и в средах граничных вычислений.
Подробная информация о поддержке языков: Модель поддерживает широкий спектр языков, включая английский, французский, испанский, немецкий, итальянский, португальский, голландский, русский, китайский, японский и корейский. Хотя точное общее количество поддерживаемых языков не указано, обучение на многоязычном наборе данных гарантирует широкую применимость модели.
⚙️ Технические характеристики
- Архитектура: Проект Guanaco-7B тщательно разработан на основе... Архитектура LLaMA от MetaВ нем используется стандартная языковая модель на основе трансформеров, включающая в себя 7 миллиардов параметров и 32 слоя внимания, обеспечивая надежную работу.
- Тренировочные данные: Модель была обучена с использованием обширного многоязычного набора данных. Хотя конкретные сведения об источниках данных и их точном размере не опубликованы, предполагается, что он включает веб-страницы, книги, статьи и различные другие текстовые данные, образуя подмножество данных, используемых для более крупных моделей Гуанако.
- Порог знаний: Хотя это прямо не указано, предполагаемая дата прекращения сбора данных по Guanaco-7B составляет... начало 2023 года, что соответствует срокам его выпуска.
- Разнообразие и предвзятость: Учитывая многоязычность обучающей выборки, Guanaco-7B, вероятно, выигрывает от использования разнообразного набора данных, охватывающего множество языков и областей. Однако подробная информация о разнообразии обучающих данных или любых выявленных искажениях в результатах не предоставляется. Рекомендуется ответственное использование.
🤝 Использование и лицензирование
Тип лицензии: Guanaco-7B работает в условиях высокой гибкости. Лицензия Apache 2.0Данная лицензия предоставляет пользователям свободу коммерческого и некоммерческого использования, модификации и распространения модели при условии сохранения оригинального уведомления об авторских правах и отказа от ответственности.
Этические принципы: В официальной документации Guanaco-7B не содержится подробных указаний на конкретные этические принципы или соображения. Поскольку это модель с открытым исходным кодом, ответственность за ответственную разработку и внедрение, а также за соблюдение этических принципов искусственного интеллекта, лежит на отдельных пользователях и организациях.
🚀 Пример использования API
Вот практический пример, демонстрирующий использование API:
❓ Часто задаваемые вопросы (FAQ)
A: Guanaco-7B — это модель чат-бота с открытым исходным кодом, содержащая 7 миллиардов параметров и основанная на архитектуре LLaMA от Meta, известная своей эффективностью в тонкой настройке и выводе результатов.
A: В нем используется 4-битная тонкая настройка QLoRA, что снижает требования к памяти на 75% по сравнению с обучением с полной точностью.
А: Да, он распространяется под лицензией Apache 2.0, разрешающей как коммерческое, так и некоммерческое использование, модификацию и распространение.
A: Благодаря многоязычным обучающим данным, программа поддерживает множество языков, включая английский, французский, испанский, немецкий, итальянский, португальский, голландский, русский, китайский, японский и корейский.
А: Хотя это прямо не указано, судя по дате выхода, это ожидается примерно в начале 2023 года.
Игровая площадка для ИИ



Авторизоваться