Fora

Bater papo

desativar

Lhama 3 8B Instruct Lite

API Llama 3 8B Instruct Lite: Modelo de geração de texto avançado e mais econômico da Meta para diálogos, otimizado para segurança e desempenho em aplicações comerciais e de pesquisa.

Tokens de $1 grátis para novos membros

Text to Speech

Javascript

Python

                                        const { OpenAI } = require('openai');

const api = new OpenAI({
  baseURL: 'https://api.ai.cc/v1',
  apiKey: '',
});

const main = async () => {
  const result = await api.chat.completions.create({
    model: 'meta-llama/Meta-Llama-3-8B-Instruct-Lite',
    messages: [
      {
        role: 'system',
        content: 'You are an AI assistant who knows everything.',
      },
      {
        role: 'user',
        content: 'Tell me, why is the sky blue?'
      }
    ],
  });

  const message = result.choices[0].message.content;
  console.log(`Assistant: ${message}`);
};

main();

                                        import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.ai.cc/v1",
    api_key="",    
)

response = client.chat.completions.create(
    model="meta-llama/Meta-Llama-3-8B-Instruct-Lite",
    messages=[
        {
            "role": "system",
            "content": "You are an AI assistant who knows everything.",
        },
        {
            "role": "user",
            "content": "Tell me, why is the sky blue?"
        },
    ],
)

message = response.choices[0].message.content

print(f"Assistant: {message}")

Docs

Uma API com mais de 300 modelos de IA

Economize 20% nos custos e ganhe tokens grátis de $1.

Obter chave de API Explorar modelos

Lhama 3 8B Instruct Lite

Detalhes do produto

Apresentando o Llama 3 8B Instruct Lite

O Lhama 3 8B Instruct Lite modelo, desenvolvido por Meta e lançado em 18 de abril de 2024, é um modelo poderoso de geração de texto otimizado para diálogos interativos e seguimento preciso de instruções.

✨ Principais destaques:

✓ Arquitetura otimizada: Utiliza Atenção de Consulta Agrupada para maior escalabilidade.
✓ Ajustado por instruções: Beneficia-se do ajuste fino supervisionado (SFT) e do aprendizado por reforço a partir do feedback humano (RLHF) para um alinhamento superior.
✓ Alto desempenho: Apresenta desempenho consistentemente superior a muitos dos principais modelos de bate-papo de código aberto em diversos benchmarks do setor.
✓ Segurança e utilidade: Projetado para fornecer respostas úteis e seguras, seguindo princípios de IA responsável.

🎯 Uso pretendido e suporte linguístico

Este modelo foi projetado principalmente para aplicações comerciais e de pesquisa, particularmente no desenvolvimento de chatbots sofisticados com funcionalidades de assistente e em diversas outras tarefas de geração de linguagem natural.

Embora seu suporte principal de idioma seja InglêsExiste potencial para ajustes em outros idiomas, sujeitos a acordos de licenciamento específicos.

⚙️ Especificações Técnicas

Arquitetura:

Llama 3 é um modelo de linguagem autorregressivo Construído sobre uma arquitetura de transformador robusta. Incorpora Atenção de consulta agrupada (GQA) para melhorar significativamente a escalabilidade da inferência. Versões otimizadas para instruções são refinadas ainda mais usando SFT e RLHF para alinhar as saídas às preferências humanas.

Dados de treinamento:

Fonte: Compilado a partir de conjuntos de dados online disponíveis publicamente.
Escala: Treinado em um extenso conjunto de dados de mais de 15 trilhões de tokens.
Nível de conhecimento limite: O conhecimento do modelo 8B se estende até Março de 2023.
Diversidade e Viés: São feitos grandes esforços para garantir dados de treinamento diversificados, com avaliações contínuas para minimizar possíveis vieses.

📊 Indicadores de desempenho

Métricas de precisão:

68,4
MMLU (5 tiros)
72,6
Perguntas e Respostas de Senso Comum (7 fotos)
62,2
HumanEval (0-shot)

Velocidade e robustez:

O modelo é meticulosamente otimizado para aplicações em tempo real, ostentando capacidades de inferência altamente eficientes.

Isso demonstra algo excepcional. generalização entre diversos tópicos e idiomas, processando eficazmente uma ampla gama de entradas com grande robustez.

📖 Diretrizes de Uso e Ética

Implantação responsável:

A Meta oferece uma solução completa. Guia de Uso Responsável, delineando as melhores práticas para a implementação ética de modelos. Recomenda-se fortemente que os desenvolvedores integrem medidas de segurança avançadas, incluindo Meta Lhama Guard 2 e Escudo de código salvaguardas.

Licenciamento:

Para encontrar detalhes específicos sobre a licença comercial personalizada, clique aqui. aqui (Licença Meta Llama 3).

⚡ Hardware e Pegada de Carbono

O treinamento envolveu as habilidades avançadas de Meta. Supercluster de Pesquisa complementado por recursos de computação em nuvem de terceiros para ajuste fino e avaliação.

Resumo da pegada de carbono:

Ligue para 3 8B: 1,3 milhão de horas de GPU, 700 W, 390 tCO2eq
Total (em todos os modelos Llama 3): 7,7 milhões de horas de GPU, 2290 tCO2eq (100% compensado pelo programa de sustentabilidade da Meta)

🛡️ Responsabilidade e Segurança

A Meta mantém um compromisso inabalável com o desenvolvimento responsável de IA, defendendo uma abordagem aberta. O lançamento do Llama 3 vem acompanhado de diretrizes e recursos atualizados para capacitar os desenvolvedores na implementação de segurança de modelos eficaz.

Principais medidas de segurança implementadas:

✓ Ampla experiência em testes de intrusão (Red Teaming): Avaliações adversárias rigorosas para identificar e mitigar vulnerabilidades.
✓ Medidas de mitigação de recusas: Estratégias para minimizar recusas indevidas e melhorar a experiência do usuário.
✓ Processos de lançamento responsáveis: Concebido para abordar proativamente o potencial uso indevido e os riscos críticos.

❓ Perguntas frequentes (FAQ)

O que é o Llama 3 8B Instruct Lite?

Llama 3 8B Instruct Lite é um modelo de texto generativo avançado da Meta, lançado em 18 de abril de 2024. Ele é especificamente otimizado para diálogos e para seguir instruções com precisão, aproveitando uma arquitetura de transformador refinada com Atenção de Consulta Agrupada.

Quais são as principais aplicações desse modelo?

É indicado tanto para fins comerciais quanto de pesquisa, destacando-se na criação de chatbots com funcionalidades de assistente e em diversas outras tarefas de geração de linguagem natural, onde o seguimento preciso de instruções e o diálogo natural são cruciais.

Quais dados de treinamento foram usados para Llama 3 8B?

O modelo foi treinado com mais de 15 trilhões de tokens provenientes de dados online disponíveis publicamente, com seu limite de conhecimento para a versão 8B definido para março de 2023. A Meta enfatiza a diversidade e a avaliação contínua de vieses em seus conjuntos de dados.

Como a Meta garante a segurança dos modelos Llama 3?

A Meta emprega extensas medidas de segurança, incluindo testes de intrusão (red teaming), avaliações adversárias, mitigação de recusas para evitar recusas indevidas e processos de lançamento responsáveis. A empresa também fornece um Guia de Uso Responsável e recomenda o uso de salvaguardas como o Meta Llama Guard 2 e o Code Shield.

Onde posso encontrar os detalhes de licenciamento do Llama 3?

Os detalhes da licença comercial personalizada estão disponíveis no site oficial do Llama da Meta. Você pode encontrar os termos específicos seguindo o link fornecido: Licença Meta Llama 3.

Playground de IA

Teste todos os modelos de API no ambiente de sandbox antes de integrá-los. Oferecemos mais de 300 modelos para integrar ao seu aplicativo.

Experimente grátis

Uma API
Mais de 300 modelos de IA

Economize 20% nos custos