Fora

Bater papo

desativar

Guanaco (65B)

Acesse a API do Guanaco-65B. O Guanaco 65B é um modelo de chatbot de código aberto que rivaliza com o ChatGPT 3.5 Turbo, desenvolvido com o eficiente ajuste fino de 4 bits do QLoRA.

Tokens de $1 grátis para novos membros

Text to Speech

Javascript

Python

                                        const { OpenAI } = require('openai');

const api = new OpenAI({
  baseURL: 'https://api.ai.cc/v1',
  apiKey: '',
});

const main = async () => {
  const result = await api.chat.completions.create({
    model: 'togethercomputer/guanaco-65b',
    messages: [
      {
        role: 'system',
        content: 'You are an AI assistant who knows everything.',
      },
      {
        role: 'user',
        content: 'Tell me, why is the sky blue?'
      }
    ],
  });

  const message = result.choices[0].message.content;
  console.log(`Assistant: ${message}`);
};

main();

                                        import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.ai.cc/v1",
    api_key="",    
)

response = client.chat.completions.create(
    model="togethercomputer/guanaco-65b",
    messages=[
        {
            "role": "system",
            "content": "You are an AI assistant who knows everything.",
        },
        {
            "role": "user",
            "content": "Tell me, why is the sky blue?"
        },
    ],
)

message = response.choices[0].message.content

print(f"Assistant: {message}")

Docs

Uma API com mais de 300 modelos de IA

Economize 20% nos custos e ganhe tokens grátis de $1.

Obter chave de API Explorar modelos

Guanaco (65B)

Detalhes do produto

💡 Guanaco-65B: um chatbot LLM de código aberto líder

O Guanaco-65B é sofisticado, parâmetro de 65 bilhões Modelo de chatbot de código aberto. Lançado em 2023 por Tim DettmersEste modelo de linguagem de grande escala (LLM, na sigla em inglês) avançado, baseado em texto, é uma prova da eficiência das técnicas de ajuste fino. Ele foi desenvolvido aplicando o ajuste fino QLoRA de 4 bits ao modelo base LLaMA, utilizando o abrangente conjunto de dados OASST1.

O Guanaco-65B se destaca por seu desempenho excepcional, alcançando capacidades comparáveis às de chatbots comerciais de ponta, como... ChatGPT e BARDOIsso torna a IA conversacional de alto desempenho mais acessível e econômica para uma ampla gama de aplicações.

✅ Principais Características e Vantagens

• Desempenho competitivo: Apresenta desempenho comparável ao ChatGPT e ao BARD em benchmarks importantes como Vicuna e OpenAssistant.
• Disponibilidade de código aberto: Disponível gratuitamente para experimentação e implementação local, democratizando o acesso à IA poderosa.
• Treinamento QLoRA eficiente de 4 bits: Baseado em um processo de ajuste fino QLoRA de 4 bits replicável e altamente eficiente.
• Pesos dos adaptadores leves: Utiliza pesos adaptadores compactos que se integram perfeitamente aos modelos base da LLaMA.

🎯 Casos de uso pretendidos

O Guanaco-65B foi projetado para capacitar desenvolvedores e pesquisadores na implementação e experimentação de sistemas de IA conversacional de ponta. Sua versatilidade o torna a escolha ideal para diversas aplicações, incluindo:

• Desenvolvimento de chatbots robustos de domínio aberto
• Criação de sistemas de diálogo orientados a tarefas
• Aprimorando as funcionalidades de perguntas e respostas
• Automatizando tarefas de sumarização de texto
• Geração de conteúdo textual diversificado e criativo

🌐 Capacidades multilíngues

Embora Guanaco-65B seja inerentemente um modelo multilíngue, seu treinamento no conjunto de dados OASST1, que é fortemente enviesado para idiomas com muitos recursos, sugere um desempenho ótimo. Portanto, espera-se que o modelo tenha o melhor desempenho em Inglês e outras línguas com amplos recursos.

⚙️ Especificações Técnicas

Arquitetura:

O Guanaco-65B aproveita um Arquitetura LoRa (Adaptação de Baixa Classificação)Isso envolve a adição de pesos de adaptador específicos a todas as camadas do modelo base LLaMA subjacente. Esse design permite um ajuste fino altamente eficiente, possibilitando ampla personalização, ao mesmo tempo que preserva diligentemente as capacidades essenciais do modelo base.

Dados de treinamento:

O modelo foi treinado usando o Conjunto de dados OASST1Este conjunto de dados é conhecido por sua natureza multilíngue, mas apresenta uma tendência para línguas com muitos recursos. Detalhes específicos sobre o tamanho exato e a diversidade abrangente do conjunto de dados não são divulgados publicamente.

Nível de conhecimento limite:

A data limite precisa para o conhecimento sobre Guanaco-65B é não especificado publicamenteDe forma geral, entende-se que sua base de conhecimento reflete as informações disponíveis até a data de finalização do conjunto de dados OASST1 usado para seu ajuste fino.

Métricas de desempenho:

De acordo com relatórios documentados, o Guanaco-65B demonstra um desempenho notável, atingindo 99,3% do desempenho do ChatGPT-3.5 Turbo nos exigentes padrões de referência da vicunha. Essa avaliação impressionante foi corroborada tanto pela avaliação humana quanto pela análise do GPT-4.

🚀 Exemplo de uso da API

A integração do Guanaco-65B em seus aplicativos foi projetada para facilitar o uso. Aqui está um exemplo comum de uso da API, ilustrando como interagir com o modelo para completar conversas em chats:

# Exemplo de chamada de API para autocompletar no chat import openai client = openai.OpenAI ( api_key= "YOUR_API_KEY" , base_url= "https://api.together.xyz/v1" ) chat_completion = client.chat.completions.create(model= "togethercomputer/guanaco-65b" , messages=[ { "role" : "system" , "content" : "Você é um assistente prestativo." , }, { "role" : "user" , "content" : "Qual é a capital da França?" , }, ], temperature=0.7, max_tokens=512, ) print(chat_completion.choices[0].message.content)

Nota: Este trecho ilustrativo pressupõe compatibilidade com os padrões da API OpenAI, frequentemente suportados por plataformas como o Together AI. Para mais detalhes sobre a integração da API, consulte a documentação. Postagem do blog Together AI sobre Guanaco-65B.

⚖️ Informações sobre uso ético e licenciamento

Diretrizes Éticas:

Como um modelo de código aberto, Não foram emitidas diretrizes éticas específicas formalmente. para Guanaco-65B por seu desenvolvedor. Portanto, a responsabilidade por sua implantação responsável, consideração do potencial uso indevido e adesão a práticas éticas de IA recai sobre o usuário. cabe exclusivamente aos desenvolvedores. e usuários finais.

Tipo de licença:

O pesos adaptadores Guanaco são licenciados sob a licença permissiva Licença Apache 2.0No entanto, é fundamental compreender que a utilização completa do modelo Guanaco-65B exige acesso à infraestrutura subjacente. pesos do modelo base LLaMA, que são governados por termos de licenciamento mais restritivosOs usuários devem garantir o cumprimento integral de ambos os conjuntos de contratos de licenciamento.

✨ Conclusão

Em essência, o Guanaco-65B representa um modelo de chatbot de código aberto poderoso e acessível, que compete efetivamente com ofertas comerciais de IA já consolidadas, como o ChatGPT. Ele não apenas destaca o notável potencial e a eficiência do ajuste fino de QLoRA de 4 bits, mas também oferece um caminho acessível e reproduzível para o desenvolvimento e a implementação de soluções de IA conversacional de alto desempenho. Sua introdução contribui significativamente para a maior acessibilidade da tecnologia LLM avançada.

❓ Perguntas frequentes (FAQ)

O que é Guanaco-65B?

Guanaco-65B é um modelo de chatbot de código aberto com 65 bilhões de parâmetros, desenvolvido por Tim Dettmers. Ele é baseado no modelo LLaMA e otimizado usando a técnica QLoRA de 4 bits, oferecendo desempenho comparável aos principais chatbots comerciais de IA.

Como o desempenho do Guanaco-65B se compara ao do ChatGPT?

De acordo com a documentação e os benchmarks, o Guanaco-65B atinge 99,3% do desempenho do ChatGPT-3.5 Turbo nos benchmarks de Vicuna, conforme avaliado por avaliadores humanos e pelo GPT-4, demonstrando sua natureza altamente competitiva.

O que é o ajuste fino do QLoRA?

QLoRA (Quantized Low-Rank Adaptation) é um método de quantização eficiente de 4 bits para o ajuste fino de grandes modelos de linguagem. Ele reduz significativamente o consumo de memória, mantendo alto desempenho, o que torna viável o treinamento e a implantação de modelos massivos em hardware mais acessível.

O Guanaco-65B pode ser usado para fins comerciais?

Os pesos do adaptador Guanaco estão sob a licença Apache 2.0, que geralmente permite o uso comercial. No entanto, os pesos do modelo base LLaMA têm termos de licenciamento mais restritivos. Os usuários devem garantir a conformidade com ambas as licenças para qualquer aplicação comercial.

Quais idiomas são melhor suportados pelo Guanaco-65B?

Embora seja um modelo multilíngue, o conjunto de dados OASST1 no qual foi treinado apresenta um forte viés em relação a idiomas com muitos recursos. Consequentemente, espera-se que o Guanaco-65B tenha um desempenho ideal com o inglês e outros idiomas semelhantes com muitos recursos.

Playground de IA

Teste todos os modelos de API no ambiente de sandbox antes de integrá-los. Oferecemos mais de 300 modelos para integrar ao seu aplicativo.

Experimente grátis

Uma API
Mais de 300 modelos de IA

Economize 20% nos custos