Fora

Bater papo

desativar

Guanaco (7B)

Guanaco-7B é um modelo de chatbot multilíngue com 7 bilhões de parâmetros, que alcança desempenho próximo ao do ChatGPT com ajuste fino eficiente sob a licença Apache 2.0.

Tokens de $1 grátis para novos membros

Text to Speech

Javascript

Python

                                        const { OpenAI } = require('openai');

const api = new OpenAI({
  baseURL: 'https://api.ai.cc/v1',
  apiKey: '',
});

const main = async () => {
  const result = await api.chat.completions.create({
    model: 'togethercomputer/guanaco-7b',
    messages: [
      {
        role: 'system',
        content: 'You are an AI assistant who knows everything.',
      },
      {
        role: 'user',
        content: 'Tell me, why is the sky blue?'
      }
    ],
  });

  const message = result.choices[0].message.content;
  console.log(`Assistant: ${message}`);
};

main();

                                        import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.ai.cc/v1",
    api_key="",    
)

response = client.chat.completions.create(
    model="togethercomputer/guanaco-7b",
    messages=[
        {
            "role": "system",
            "content": "You are an AI assistant who knows everything.",
        },
        {
            "role": "user",
            "content": "Tell me, why is the sky blue?"
        },
    ],
)

message = response.choices[0].message.content

print(f"Assistant: {message}")

Docs

Uma API com mais de 300 modelos de IA

Economize 20% nos custos e ganhe tokens grátis de $1.

Obter chave de API Explorar modelos

Guanaco (7B)

Detalhes do produto

Descubra o Guanaco-7B: um poderoso LLM de código aberto

O Guanaco-7B É um modelo inovador de chatbot de código aberto com 7 bilhões de parâmetros. Construído sobre a robusta plataforma da Meta. Arquitetura LLaMAEle oferece desempenho comparável ao ChatGPT no benchmark Vicuna, mas requer significativamente menos recursos computacionais tanto para ajuste fino quanto para inferência. Lançado em Maio de 2023 por Tim DettmersGuanaco-7B é um Modelo de Linguagem Amplo (LLM) baseado em texto, projetado para eficiência e acessibilidade.

🌟 Principais Características e Vantagens

✅
Ajuste fino eficiente de QLoRA de 4 bits: Aproveite o treinamento com reconhecimento de quantização e adaptação de baixa classificação (QLoRA) para ajustar o Guanaco-7B com precisão de 4 bits. Esse método inovador reduz os requisitos de memória em impressionantes 4%. 75% Em comparação com o treinamento de precisão total, isso torna a personalização avançada altamente acessível.
🌐
Suporte multilíngue: Treinado com um conjunto de dados multilíngue diversificado, o Guanaco-7B participa de conversas de forma integrada em um amplo espectro de idiomas, eliminando barreiras de comunicação.
🔓
Código aberto e licenciado sob a licença Apache 2.0: Completamente gratuito para fins de pesquisa e aplicações comerciais, de acordo com a licença permissiva. Licença Apache 2.0, promovendo ampla adoção e inovação.
💻
Apoia a experimentação local: Suas capacidades altamente eficientes de ajuste fino e inferência permitem experimentação local com boa relação custo-benefício e o rápido desenvolvimento de soluções de chatbot personalizadas.

🎯 Uso pretendido e aplicações

O Guanaco-7B foi projetado especificamente para aplicações versáteis em IA conversacional. Seus principais casos de uso incluem:

• Chatbots de domínio aberto: Para IA conversacional em geral.
• Sistemas de perguntas e respostas: Fornecer respostas informativas de forma eficiente.
• Outras aplicações de IA conversacional: Sua arquitetura eficiente o torna ideal para implantação em dispositivos com recursos limitados e ambientes de computação de borda.

Detalhes sobre o suporte a idiomas: O modelo oferece suporte a uma ampla gama de idiomas, incluindo inglês, francês, espanhol, alemão, italiano, português, holandês, russo, chinês, japonês e coreano. Embora o número total exato de idiomas suportados não seja especificado, seu treinamento em um conjunto de dados multilíngue garante ampla aplicabilidade.

⚙️ Especificações Técnicas

Arquitetura: Guanaco-7B é meticulosamente construído sobre Arquitetura LLaMA da MetaEle utiliza um modelo de linguagem padrão baseado em Transformers, apresentando 7 bilhões de parâmetros e 32 camadas de atenção, garantindo um desempenho robusto.
Dados de treinamento: O modelo foi treinado usando um conjunto de dados multilíngue substancial. Embora detalhes específicos sobre as fontes de dados e o tamanho exato não estejam documentados publicamente, entende-se que ele abrange páginas da web, livros, artigos e vários outros dados textuais, formando um subconjunto dos dados utilizados para modelos Guanaco maiores.
Nível de conhecimento limite: Embora não esteja explicitamente declarado, estima-se que a data limite para o conhecimento sobre o Guanaco-7B seja início de 2023, em consonância com o seu cronograma de lançamento.
Diversidade e Viés: Devido ao seu treinamento multilíngue, o Guanaco-7B provavelmente se beneficia de um conjunto de dados diversificado, abrangendo vários idiomas e domínios. No entanto, informações detalhadas sobre a diversidade dos dados de treinamento ou quaisquer vieses identificados em seus resultados não são fornecidas. Recomenda-se o uso responsável.

🤝 Uso e Licenciamento

Tipo de licença: Guanaco-7B opera sob um regime altamente flexível. Licença Apache 2.0Esta licença concede aos usuários a liberdade de usar, modificar e distribuir o modelo para fins comerciais e não comerciais, desde que o aviso de direitos autorais e a isenção de responsabilidade originais sejam mantidos.

Diretrizes Éticas: A documentação oficial do Guanaco-7B não detalha explicitamente diretrizes ou considerações éticas específicas. Como um modelo de código aberto, a responsabilidade recai sobre os usuários e organizações individuais para garantir seu desenvolvimento e implantação responsáveis, aderindo aos princípios éticos da IA.

🚀 Exemplo de uso da API

Aqui está um exemplo prático demonstrando o uso da API:

❓ Perguntas frequentes (FAQs)

P: O que é Guanaco-7B?

A: O Guanaco-7B é um modelo de chatbot de código aberto com 7 bilhões de parâmetros, baseado na arquitetura LLaMA da Meta, conhecido por sua eficiência em ajuste fino e inferência.

P: Como a Guanaco-7B atinge alta eficiência?

A: Ele utiliza o ajuste fino QLoRA de 4 bits, o que reduz os requisitos de memória em 75% em comparação com o treinamento de precisão total.

P: O Guanaco-7B é gratuito para uso comercial?

A: Sim, ele é distribuído sob a licença Apache 2.0, permitindo o uso, a modificação e a distribuição tanto para fins comerciais quanto não comerciais.

P: Quais idiomas o Guanaco-7B suporta?

A: Ele suporta vários idiomas, incluindo inglês, francês, espanhol, alemão, italiano, português, holandês, russo, chinês, japonês e coreano, graças aos seus dados de treinamento multilíngues.

P: Qual é o nível de conhecimento mínimo exigido para o Guanaco-7B?

A: Embora não esteja explicitamente declarado, estima-se que seja por volta do início de 2023, com base na data de lançamento.

Playground de IA

Teste todos os modelos de API no ambiente de sandbox antes de integrá-los. Oferecemos mais de 300 modelos para integrar ao seu aplicativo.

Experimente grátis

Uma API
Mais de 300 modelos de IA

Economize 20% nos custos