Fora

Bater papo

desativar

LLaVa v1.6 - Mistral 7b

LLaVa-NeXT - Mistral 7B: Modelo avançado de IA multimodal para tarefas de imagem e texto, baseado no Mistral-7B com 7 bilhões de parâmetros.

Tokens de $1 grátis para novos membros

Text to Speech

Javascript

Python

                                        const main = async () => {
  const result = await fetch('https://api.ai.cc/v1/chat/completions', {
    method: 'POST',
    headers: {
      Authorization: 'Bearer ',
      'Content-Type': 'application/json',
    },
    body: JSON.stringify({
      model: 'llava-hf/llava-v1.6-mistral-7b-hf',
      max_tokens: 1024,
      messages: [
        {
          role: 'user',
          content: [
            {
              type: 'text',
              text: 'What’s in this image?',
            },
            {
              role: 'user',
              type: 'image_url',
              image_url: {
                url: 'https://upload.wikimedia.org/wikipedia/commons/thumb/d/dd/Gfp-wisconsin-madison-the-nature-boardwalk.jpg/2560px-Gfp-wisconsin-madison-the-nature-boardwalk.jpg',
              },
            },
          ],
        },
      ],
    }),
  }).then((res) => res.json());

  const message = result.choices[0].message.content;
  console.log(\`Assistant: \${message}\`);
};

main();

                                        import os
from together import Together

client = Together(base_url="https://api.ai.cc/v1", api_key="")

def main():
  response = client.chat.completions.create(
      model="llava-hf/llava-v1.6-mistral-7b-hf",
      messages=[
          {
              "role": "user",
              "content": [
                  {
                      "type": "text",
                      "text": "What sort of animal is in this picture? What is its usual diet? What area is the animal native to? And isn’t there some AI model that’s related to the image?",
                  },
                  {
                      "type": "image_url",
                      "image_url": {
                          "url": "https://upload.wikimedia.org/wikipedia/commons/thumb/3/3a/LLama.jpg/444px-LLama.jpg?20050123205659",
                      },
                  },
              ],
          }
      ],
      max_tokens=1024,
  )

  print("Assistant: ", response.choices[0].message.content)

if __name__ == '__main__':
  main()

Docs

Uma API com mais de 300 modelos de IA

Economize 20% nos custos e ganhe tokens grátis de $1.

Obter chave de API Explorar modelos

LLaVa v1.6 - Mistral 7b

Detalhes do produto

✨ LLaVA v1.6 - Mistral 7B: um avanço em IA multimodal

Descobrir LLaVA v1.6 - Mistral 7B, um modelo de linguagem multimodal avançado de código aberto que integra perfeitamente a compreensão de texto e imagem. Desenvolvido por Haotian Liu e lançado em dezembro de 2023, este modelo da versão 1.6 foi criado para redefinir a interação humano-IA em diversas aplicações.

Nome do modelo: LLaVA v1.6 - Mistral 7B
Desenvolvedor: Haotian Liu
Data de lançamento: Dezembro de 2023
Versão: 1.6
Tipo de modelo: Modelo de linguagem multimodal (texto e imagem)

💡 Principais recursos e funcionalidades

LLaVA v1.6 - Mistral 7B destaca-se pelo seu design robusto e melhorias centradas no utilizador:

✅ Modelo de Fundação: Equipado com o altamente capaz Mistral-7B-Instruções-v0.2 modelo base.
✅ Entrada de imagem dinâmica: Suporta entradas de imagem de alta resolução, adaptando-se dinamicamente para um contexto visual superior.
✅ Domínio de tarefas multimodais: Executa com maestria uma ampla gama de tarefas, combinando texto e visão.
✅ Licenciamento aprimorado e suporte bilíngue: Oferece melhores condições de licenciamento comercial e recursos bilíngues mais robustos.
✅ Design eficiente: Possui 7 bilhões de parâmetros, equilibrando desempenho com computação eficiente.

🚀 Aplicações pretendidas

Este modelo versátil foi projetado para uma variedade de aplicações inovadoras:

📚 Pesquisa e desenvolvimento em grandes modelos multimodais e chatbots.
🖼️ Legendas de imagens avançadas e perguntas e respostas visuais (VQA).
💬 Diálogos abertos e envolventes, enriquecidos com contexto visual.
🤖 Criando assistentes virtuais inteligentes e IA conversacional.
🔍 Sistemas de busca e recuperação baseados em imagens.
🎓 Ferramentas educacionais interativas que utilizam o aprendizado visual.

O modelo oferece fortes capacidades multilíngues, notavelmente com suporte bilíngue aprimorado em comparação com suas versões anteriores.

⚙️ Especificações Técnicas

Visão geral da arquitetura

LLaVA v1.6 - Mistral 7B é construído sobre uma arquitetura sofisticada:

🧠 Um modelo de linguagem autorregressivo, que aproveita a robusta arquitetura Transformer.
👁️ Um poderoso codificador de visão pré-treinado (provavelmente CLIP-L, consistente com modelos semelhantes).
🔗 Integração perfeita de entradas de texto e imagem usando o token dentro dos prompts.

Análise de dados de treinamento

As amplas capacidades do modelo derivam do treinamento em um conjunto de dados diversificado e abrangente, totalizando mais de 1,3 milhão de amostras únicas:

📊 558 mil pares de imagem e texto filtrados da LAION/CC/SBU, com legendas profissionais da BLIP.
🗣️ 158 mil dados multimodais de seguimento de instruções gerados por GPT.
📚 Conjunto de 500 mil dados VQA orientados para tarefas acadêmicas.
🧠 Mistura de dados GPT-4V de 50 mil.
💬 40 mil dados ShareGPT.

Nível de conhecimento limite: Dezembro de 2023.

Diversidade e Viés: A ampla variedade de fontes de dados de treinamento contribui significativamente para reduzir possíveis vieses, aumentando a imparcialidade e a aplicabilidade do modelo.

Indicadores de desempenho

LLaVA v1.6 - O Mistral 7B demonstra consistentemente um desempenho sólido em todos os principais testes de benchmark:

LLaVA v1.6 - Testes de desempenho do Mistral 7B — Benchmarks de desempenho ilustrativos para LLaVA v1.6 - Mistral 7B.

Análise comparativa

O modelo apresenta um desempenho altamente competitivo quando comparado a outros modelos líderes:

📈 Precisão: Obtém pontuações impressionantes, incluindo 35,3 no MMMU e 37,7 é MathVista parâmetros de referência.
⚡ Velocidade: Embora as métricas específicas de velocidade de inferência não sejam detalhadas, seu tamanho de 7 bilhões de parâmetros sugere uma computação eficiente e responsiva.
🛡️ Robustez: O desempenho consistentemente forte em diversos benchmarks e tarefas reforça suas excelentes capacidades de generalização.

📚 Uso e Considerações Éticas

Exemplos de código

Os desenvolvedores podem integrar o LLaVA v1.6 - Mistral 7B usando chamadas de API padrão. Aqui está um exemplo conceitual para preenchimento automático de chat com recursos visuais:

        // Exemplo de chamada de API para LLaVA v1.6 - Mistral 7B
buscar ( 'https://api.together.xyz/v1/chat/completions' , {
método : 'POST' ,
cabeçalhos : {
'Content-Type' : 'application/json' ,
'Autorização' : 'Portador SUA_CHAVE_DE_API' ,
 },
corpo : JSON.stringify ({
modelo : 'llava-hf/llava-v1.6-mistral-7b-hf' ,
mensagens : [
 { role : 'system' , content : 'Você é um assistente prestativo.' },
 { role : 'usuário' , content : [
 { type : 'text' , text : 'O que há nesta imagem?' },
 { type : 'image_url' , image_url : { url : 'data:image/jpeg;base64,...' }}
 ]}
 ]
 })
 })
 . então (resposta => resposta.json ())
 . então (dados => console.log ( dados));      

Diretrizes Éticas

Embora diretrizes específicas e detalhadas não sejam explicitamente fornecidas na descrição do modelo, os usuários são fortemente encorajados a segui-las. práticas responsáveis de IAÉ crucial considerar possíveis vieses nas saídas do modelo e garantir que o modelo seja Nunca usado para gerar conteúdo prejudicial, enganoso ou ilícito..

Informações sobre licenciamento

LLaVA v1.6 - Mistral 7B opera sob os termos de licenciamento de seu modelo base, o Mistral-7B-Instruções-v0.2Os usuários devem consultar a documentação oficial de licenciamento para obter informações específicas sobre direitos de uso, restrições e requisitos de conformidade.

❓ Perguntas frequentes (FAQs)

Q1: O que é LLaVA v1.6 - Mistral 7B?

A1: LLaVA v1.6 - Mistral 7B é um modelo de linguagem multimodal de código aberto capaz de compreender e gerar texto com base em entradas textuais e visuais. Ele combina um modelo de linguagem robusto com um codificador de visão pré-treinado.

Q2: Quais são as principais aplicações deste modelo?

A2: É ideal para pesquisas em IA multimodal, legendagem de imagens, resposta a perguntas visuais, diálogo aberto com contexto visual, construção de assistentes virtuais e aplicativos de busca baseados em imagens.

P3: O LLaVA v1.6 - Mistral 7B suporta vários idiomas?

A3: Sim, o modelo demonstra fortes capacidades multilíngues, com melhorias significativas no suporte bilíngue em comparação com as versões anteriores.

Q4: Qual é a data limite de conhecimento para os dados de treinamento do modelo?

A4: O limite de conhecimento para os dados de treinamento do LLaVA v1.6 - Mistral 7B é dezembro de 2023.

Q5: Como seu desempenho se compara ao de outros modelos?

A5: LLaVA v1.6 - Mistral 7B apresenta desempenho competitivo, alcançando pontuações como 35,3 no benchmark MMMU e 37,7 no MathVista, indicando alta precisão e capacidade de generalização.

Playground de IA

Teste todos os modelos de API no ambiente de sandbox antes de integrá-los. Oferecemos mais de 300 modelos para integrar ao seu aplicativo.

Experimente grátis

Uma API
Mais de 300 modelos de IA

Economize 20% nos custos