Fora

Bater papo

desativar

Guanaco (33B)

O Guanaco-33B é um modelo de chatbot de código aberto e alta qualidade, desenvolvido através do ajuste fino do LLaMA no OASST1 usando QLoRA de 4 bits. Ele se destina a fins de pesquisa.

Tokens de $1 grátis para novos membros

Text to Speech

Javascript

Python

                                        const { OpenAI } = require('openai');

const api = new OpenAI({
  baseURL: 'https://api.ai.cc/v1',
  apiKey: '',
});

const main = async () => {
  const result = await api.chat.completions.create({
    model: 'togethercomputer/guanaco-33b',
    messages: [
      {
        role: 'system',
        content: 'You are an AI assistant who knows everything.',
      },
      {
        role: 'user',
        content: 'Tell me, why is the sky blue?'
      }
    ],
  });

  const message = result.choices[0].message.content;
  console.log(`Assistant: ${message}`);
};

main();

                                        import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.ai.cc/v1",
    api_key="",    
)

response = client.chat.completions.create(
    model="togethercomputer/guanaco-33b",
    messages=[
        {
            "role": "system",
            "content": "You are an AI assistant who knows everything.",
        },
        {
            "role": "user",
            "content": "Tell me, why is the sky blue?"
        },
    ],
)

message = response.choices[0].message.content

print(f"Assistant: {message}")

Docs

Uma API com mais de 300 modelos de IA

Economize 20% nos custos e ganhe tokens grátis de $1.

Obter chave de API Explorar modelos

Guanaco (33B)

Detalhes do produto

✨ Guanaco-33B: Uma poderosa biblioteca de código aberto para IA conversacional

O Guanaco-33B O modelo se destaca como um modelo de linguagem de grande porte (LLM) de alta qualidade e código aberto, projetado para aplicações avançadas de chatbots. Desenvolvido por Tim Dettmers e lançado em Abril de 2023Este modelo de 33 bilhões de parâmetros é uma versão otimizada da arquitetura LLaMA. Ele alcança um desempenho altamente competitivo com chatbots comerciais como o ChatGPT, graças ao seu uso inovador de QLoRA de 4 bits.

Detalhes principais do modelo:

• Nome do modelo: Guanaco
• Desenvolvedor/Criador: Tim Dettmers
• Data de lançamento: Abril de 2023
• Versão: Parâmetros 33B
• Tipo de modelo: Modelo de Linguagem Ampla Baseado em Texto (LLM)

🚀 Principais Funcionalidades e Inovações Técnicas

O Guanaco-33B incorpora diversas características avançadas que contribuem para sua eficiência e alto desempenho:

• Competência multilíngue: Treinado no abrangente Conjunto de dados OASST1, destaca-se em línguas com muitos recursos, ao mesmo tempo que suporta diversas entradas linguísticas.
• Utilização eficiente do adaptador: Utiliza adaptadores LoRa com um r=64 Configuração perfeitamente integrada em todas as camadas do modelo base LLaMA.
• Ajuste fino de QLoRA de 4 bits: Utiliza QLoRA de 4 bits com o tipo de dados NormalFloat4, otimizando o modelo base e os adaptadores para reduzir o consumo de memória e acelerar a experimentação.
• Postos de controle leves: Oferece pontos de verificação exclusivos para adaptadores, reduzindo significativamente as barreiras para experimentação e desenvolvimento locais.

🧠 Arquitetura, Treinamento e Análise de Dados

O modelo Guanaco-33B é construído sobre a base robusta Arquitetura LLaMA, um modelo de linguagem baseado em Transformers amplamente reconhecido. Seu processo de ajuste fino depende de um conjunto de dados fundamental:

Dados de treinamento:

• Fonte do conjunto de dados: Ajustado exclusivamente no Conjunto de dados OASST1, uma coleção colaborativa e multilíngue de conversas de assistentes de código aberto.
• Escala e Escopo: Compreende mais de 100.000 conversas em vários idiomas, possibilitando diversas possibilidades de diálogo aberto e diversificado.
• Diversidade e Viés: A natureza multilíngue do OASST1 ajuda a mitigar vieses inerentes e aprimora sua capacidade de processar entradas variadas, embora os detalhes completos do conjunto de dados não sejam públicos.
• Nível de conhecimento limite: A data limite exata para o conhecimento sobre o Guanaco-33B não é divulgada publicamente, o que está em consonância com seu desenvolvimento contínuo como um projeto de código aberto.

💡 Uso pretendido, diretrizes éticas e licenciamento

Guanaco-33B foi desenvolvido principalmente para objetivos de pesquisaÉ fundamental que os usuários estejam cientes de que, como muitos modelos experimentais de IA, ele pode ocasionalmente produzir resultados que podem ser considerados problemáticos.

Informações importantes:

• Suporte linguístico: O desempenho ideal é observado em idiomas com muitos recursos, o que reflete a composição de seus dados de treinamento.
• Quadro Ético: A Anthropic publicou diretrizes éticas para seu desenvolvimento e uso, enfatizando a transparência, a responsabilidade e a proteção contra possíveis usos indevidos.
• Detalhes da licença: O modelo Guanaco-33B opera sob o Licença Apache 2, permitindo uma ampla gama de aplicações comerciais e não comerciais. No entanto, o acesso aos pesos do modelo LLaMA subjacente requer contratos de licenciamento separados.

📊 Métricas de desempenho e benchmarking

O Guanaco-33B foi rigorosamente avaliado em diversos benchmarks, incluindo o prestigiado Anthropic Chatbot Leaderboard. Nessas plataformas, ele demonstra consistentemente forte desempenho competitivo Em comparação com os principais modelos comerciais de IA, como o ChatGPT e o BARD do Google, seu desempenho pode variar dependendo do contexto linguístico específico e de tarefas não abrangidas pelos benchmarks de avaliação atuais.

🖥️ Exemplo de integração de API

Para desenvolvedores que desejam integrar o Guanaco-33B em seus aplicativos, aqui está um exemplo de uso padrão da API:

nome-de-dados = "open-ai.chat-completion" modelo-de-dados = "togethercomputer/guanaco-33b" >

❓ Perguntas frequentes (FAQs)

Q1: O que é Guanaco-33B e o que o torna único?

Guanaco-33B é um modelo de linguagem de código aberto baseado em texto com 33 bilhões de parâmetros, desenvolvido por Tim Dettmers. Sua singularidade reside no fato de ser otimizado a partir do modelo LLaMA utilizando QLoRA de 4 bits, oferecendo desempenho competitivo com chatbots comerciais para fins de pesquisa.

Q2: Com que tipo de dados o Guanaco-33B foi treinado?

O sistema foi otimizado com base no conjunto de dados OASST1, uma coleção multilíngue de mais de 100.000 conversas de assistentes virtuais de código aberto, o que lhe confere amplas capacidades de conversação.

Q3: O Guanaco-33B pode ser usado em projetos comerciais?

O modelo Guanaco-33B em si está disponível sob a licença Apache 2, que permite o uso comercial e não comercial. No entanto, o uso dos pesos do modelo LLaMA subjacente requer o cumprimento de requisitos de licenciamento adicionais.

Q4: Como seu desempenho se compara ao de outros chatbots?

O Guanaco-33B demonstrou desempenho competitivo em relação a chatbots comerciais como ChatGPT e BARD em diversos benchmarks, incluindo o Anthropic Chatbot Leaderboard.

Q5: Existem considerações éticas a serem consideradas no uso do Guanaco-33B?

Sim, é principalmente para pesquisa, e os usuários devem estar cientes dos possíveis resultados problemáticos. A Anthropic publicou diretrizes éticas com foco em transparência, responsabilidade e prevenção do uso indevido, que devem ser seguidas.

Playground de IA

Teste todos os modelos de API no ambiente de sandbox antes de integrá-los. Oferecemos mais de 300 modelos para integrar ao seu aplicativo.

Experimente grátis

Uma API
Mais de 300 modelos de IA

Economize 20% nos custos