Вне

Чат

запрещать

Гуанако (65B)

Получите доступ к API Guanaco-65B. Guanaco 65B — это модель чат-бота с открытым исходным кодом, конкурирующая с ChatGPT 3.5 Turbo, разработанная с использованием эффективной 4-битной тонкой настройки QLoRA.

Новые участники получат бесплатные токены номиналом 1 доллар.

Text to Speech

Javascript

Python

                                        const { OpenAI } = require('openai');

const api = new OpenAI({
  baseURL: 'https://api.ai.cc/v1',
  apiKey: '',
});

const main = async () => {
  const result = await api.chat.completions.create({
    model: 'togethercomputer/guanaco-65b',
    messages: [
      {
        role: 'system',
        content: 'You are an AI assistant who knows everything.',
      },
      {
        role: 'user',
        content: 'Tell me, why is the sky blue?'
      }
    ],
  });

  const message = result.choices[0].message.content;
  console.log(`Assistant: ${message}`);
};

main();

                                        import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.ai.cc/v1",
    api_key="",    
)

response = client.chat.completions.create(
    model="togethercomputer/guanaco-65b",
    messages=[
        {
            "role": "system",
            "content": "You are an AI assistant who knows everything.",
        },
        {
            "role": "user",
            "content": "Tell me, why is the sky blue?"
        },
    ],
)

message = response.choices[0].message.content

print(f"Assistant: {message}")

Docs

Один API, более 300 моделей ИИ.

Сэкономьте 20% на расходах и получите бесплатные токены на 1 доллар.

Получить ключ API Изучите модели

Гуанако (65B)

Подробная информация о товаре

💡 Guanaco-65B: ведущий чат-бот для LLM с открытым исходным кодом

Он Гуанако-65Б является сложным, 65 миллиардов параметров Модель чат-бота с открытым исходным кодом. Выпущена в 2023 году компанией... Тим ДеттмерсЭта усовершенствованная текстовая модель обработки больших языков (LLM) является свидетельством эффективности методов тонкой настройки. Она была разработана путем применения 4-битной тонкой настройки QLoRA к базовой модели LLaMA с использованием обширного набора данных OASST1.

Guanaco-65B выделяется исключительной производительностью, достигая возможностей, сопоставимых с лучшими коммерческими чат-ботами, такими как... ChatGPT и БАРДЭто делает высокопроизводительный разговорный ИИ более доступным и экономически выгодным для широкого спектра приложений.

✅ Основные характеристики и преимущества

• Конкурентные показатели: Демонстрирует производительность, сопоставимую с ChatGPT и BARD, в таких известных бенчмарках, как Vicuna и OpenAssistant.
• Доступность в открытом доступе: Доступен для локальных экспериментов и развертывания, что демократизирует доступ к мощному искусственному интеллекту.
• Эффективное 4-битное обучение QLoRA: Создан на основе воспроизводимого и высокоэффективного процесса тонкой настройки 4-битного алгоритма QLoRA.
• Легкие утяжелители для адаптера: Использует компактные адаптерные грузики, которые легко интегрируются с базовыми моделями LLaMA.

🎯 Предполагаемые варианты использования

Guanaco-65B разработан для того, чтобы помочь разработчикам и исследователям развертывать и экспериментировать с передовыми системами разговорного искусственного интеллекта. Благодаря своей универсальности он идеально подходит для различных приложений, включая:

• Разработка надежных чат-ботов с открытым доступом к предметной области.
• Разработка диалоговых систем, ориентированных на выполнение задач.
• Расширение функциональности системы ответов на вопросы.
• Автоматизация задач по суммаризации текста
• Создание разнообразного и креативного текстового контента.

🌐 Многоязычные возможности

Хотя Guanaco-65B по своей природе является многоязычная модельОбучение модели на наборе данных OASST1, который в значительной степени ориентирован на языки с большим количеством ресурсов, предполагает оптимальную производительность. Следовательно, ожидается, что модель покажет наилучшие результаты в Английский а также другие языки с широкими ресурсами.

⚙️ Технические характеристики

Архитектура:

В конструкции Guanaco-65B используется Архитектура LoRA (Low-Rank Adaptation)Это включает в себя добавление определенных весовых коэффициентов адаптера ко всем слоям базовой модели LLaMA. Такая конструкция обеспечивает высокоэффективную тонкую настройку, позволяя осуществлять обширную кастомизацию, при этом тщательно сохраняя основные возможности базовой модели.

Тренировочные данные:

Модель была обучена с использованием набор данных OASST1Этот набор данных известен своим многоязычным характером, но в основном состоит из языков с высоким уровнем языковой базы. Конкретные сведения о точном размере и всестороннем разнообразии набора данных не разглашаются.

Порог знаний:

Точная дата прекращения получения информации о месторождении Гуанако-65Б — не указано публичноОбщепринято считать, что его база знаний отражает информацию, доступную на дату завершения обработки набора данных OASST1, использованного для его тонкой настройки.

Показатели эффективности:

Согласно имеющимся отчетам, Guanaco-65B демонстрирует выдающиеся характеристики, достигая 99,3% производительности ChatGPT-3.5 Turbo на сложных тестах Vicuna. Эта впечатляющая оценка была подтверждена как человеческой оценкой, так и анализом с помощью GPT-4.

🚀 Пример использования API

Интеграция Guanaco-65B в ваши приложения разработана для простоты использования. Вот пример использования распространенного API, иллюстрирующий взаимодействие с моделью для завершения чата:

# Пример вызова API для автозавершения чата import openai client = openai.OpenAI ( api_key= "ВАШ_API_КЛЮЧ" , base_url= "https://api.together.xyz/v1" , ) chat_completion = client.chat.completions.create(model= "togethercomputer/guanaco-65b" , messages=[ { "role" : "system" , "content" : "Вы полезный помощник." , }, { "role" : "user" , "content" : "Какова столица Франции?" , }, ], temperature=0.7, max_tokens=512, ) print(chat_completion.choices[0].message.content)

Примечание: Этот иллюстративный фрагмент кода предполагает совместимость со стандартами API OpenAI, которые часто поддерживаются такими платформами, как Together AI. Для получения более подробной информации об интеграции API вы можете обратиться к [ссылка на документацию]. Сообщение в блоге Together AI о проекте Guanaco-65B.

⚖️ Информация об этичном использовании и лицензировании

Этические принципы:

Как модель с открытым исходным кодом, Официально никаких конкретных этических норм не издано. Ответственность за ответственное использование Guanaco-65B, а также за учет потенциальных случаев неправомерного использования и соблюдение этических норм в области искусственного интеллекта, лежит на разработчике. Следовательно, ответственность лежит на разработчике. это полностью зависит от разработчиков. и конечных пользователей.

Тип лицензии:

Он Грузики адаптера Guanaco имеют лицензию, выданную в соответствии с разрешительным соглашением. Лицензия Apache 2.0Однако крайне важно понимать, что для полного использования модели Guanaco-65B необходим доступ к базовым данным. Веса базовой модели LLaMAкоторые регулируются более ограничительные условия лицензированияПользователи обязаны обеспечить полное соблюдение обоих комплектов лицензионных соглашений.

✨ Заключение

По сути, Guanaco-65B представляет собой мощную и доступную модель чат-бота с открытым исходным кодом, которая эффективно конкурирует с устоявшимися коммерческими решениями в области искусственного интеллекта, такими как ChatGPT. Она не только демонстрирует замечательный потенциал и эффективность 4-битной тонкой настройки QLoRA, но и предоставляет доступный и воспроизводимый путь для разработки и развертывания высокопроизводительных решений в области разговорного ИИ. Ее внедрение значительно способствует расширению доступности передовых технологий LLM.

❓ Часто задаваемые вопросы (FAQ)

Что такое гуанако-65B?

Guanaco-65B — это модель чат-бота с открытым исходным кодом, содержащая 65 миллиардов параметров, разработанная Тимом Деттмерсом. Она построена на основе базовой модели LLaMA и доработана с использованием 4-битной техники QLoRA, обеспечивая производительность, сопоставимую с ведущими коммерческими чат-ботами на основе ИИ.

Как производительность Guanaco-65B соотносится с производительностью ChatGPT?

Согласно документации и результатам тестов, Guanaco-65B достигает 99,3% производительности ChatGPT-3.5 Turbo в тестах Vicuna, оцененных как экспертами, так и GPT-4, что демонстрирует его высокую конкурентоспособность.

Что такое тонкая настройка QLoRA?

QLoRA (Quantized Low-Rank Adaptation) — это эффективный 4-битный метод квантования для тонкой настройки больших языковых моделей. Он значительно снижает потребление памяти, сохраняя при этом высокую производительность, что делает возможным обучение и развертывание масштабных моделей на более доступном оборудовании.

Можно ли использовать Guanaco-65B в коммерческих целях?

Весовые коэффициенты адаптера Guanaco распространяются под лицензией Apache 2.0, которая в целом разрешает коммерческое использование. Однако базовые весовые коэффициенты модели LLaMA имеют более строгие условия лицензирования. Пользователи должны обеспечить соответствие обеим лицензиям при любом коммерческом применении.

Какие языки лучше всего поддерживаются Guanaco-65B?

Хотя это многоязычная модель, набор данных OASST1, на котором она обучалась, в значительной степени ориентирован на языки с широким распространением. Следовательно, ожидается, что Guanaco-65B покажет оптимальные результаты при работе с английским и другими подобными языками с широким распространением.

Игровая площадка для ИИ

Перед интеграцией протестируйте все модели API в тестовой среде. Мы предоставляем более 300 моделей для интеграции в ваше приложение.

Попробуйте бесплатно

Один API
Более 300 моделей ИИ

Сэкономьте 20% на расходах