Como escolher modelo de IA para empresa: guia para agentes

Para escolher um modelo de IA para um agente de negócio, comece pela tarefa, pelo custo de uma resposta errada e pelos dados que o modelo vai ver. Depois, teste alguns candidatos com exemplos seus. Manchetes de benchmark dizem pouco sobre as suas notas fiscais, os seus clientes ou o seu tom de voz. Trate o modelo como uma peça substituível do agente e fique com o que passa nos seus testes, com um custo e uma velocidade que você aceita.

Principais pontos

• Parta da tarefa, do custo de uma resposta errada e dos dados envolvidos, não de um ranking.
• Aplique primeiro as restrições de dados, depois o risco, depois a adequação à tarefa, e só então compare custo e velocidade.
• Teste cada candidato com exemplos seus, com os critérios de aprovação escritos antes de ver qualquer resultado.
• Etapas diferentes de um mesmo fluxo podem usar modelos diferentes, cada um escolhido pelo que aquela etapa exige.
• Mantenha instruções, memória, ferramentas e permissões fora do modelo, para que a troca seja uma mudança controlada e testável.

Por que manchetes de benchmark enganam decisões de negócio?

Benchmarks públicos medem capacidade geral em problemas padronizados. O seu agente trabalha com os seus documentos, com as suas ferramentas, no seu tom, e uma resposta errada tem consequências próprias do seu negócio. Um modelo que lidera um ranking de raciocínio pode ser lento e caro para uma tarefa que, no fundo, é separar mensagens em categorias. Outro escreve bem e ainda assim erra o formato exato que uma chamada de ferramenta exige.

Há mais dois problemas. Modelos são atualizados e descontinuados, então um resultado que você leu pode descrever uma versão que já não é oferecida, ou uma configuração que você não vai usar. E as comparações de manchete raramente informam o que importa para quem cuida da operação: com que frequência o modelo admite que não sabe, se ele respeita um estilo da casa, como se comporta quando a entrada vem incompleta e o que é preciso para concluir uma tarefa real.

Use benchmarks apenas como filtro grosseiro para montar uma lista curta de candidatos. A decisão vem de um teste com o seu próprio trabalho. Vale lembrar também que o modelo é só uma parte de um agente que funciona. As instruções, a memória, as ferramentas e as verificações ao redor dele moldam o resultado tanto quanto o modelo, uma distinção explicada em Modelo, agente e harness de IA: qual é a diferença?

O que definir antes de comparar qualquer modelo?

Escreva estes pontos em uma página antes de abrir qualquer comparação de modelos:

• A função: uma frase descrevendo o papel, como fazer a triagem de pedidos recebidos ou preparar o resumo de uma reunião.
• As entradas: quais documentos, mensagens e registros o agente lê, e quão bagunçados eles costumam ser.
• A saída: texto livre, um registro estruturado, um rascunho ou uma ação em outro sistema.
• O custo de uma resposta errada: um incômodo pequeno, uma hora de retrabalho, um erro visível ao cliente ou uma consequência financeira ou jurídica.
• A classe dos dados: públicos, internos, pessoais, confidenciais de clientes ou regulados.
• O ritmo: se uma pessoa espera pela resposta ou se o trabalho roda em segundo plano.
• O critério de sucesso: algo observável, como rascunhos que o revisor aprova sem retrabalho.

Essa página é o seu briefing de seleção. Sem ele, todo modelo parece impressionante em uma demonstração, porque demonstrações usam entradas amigáveis. Com ele, você consegue descartar um candidato por um motivo concreto, que é o resultado mais útil que uma comparação pode dar.

Como dados, risco e tarefa reduzem as opções?

Percorra as restrições em uma ordem fixa. Cada uma elimina opções antes de a próxima ser considerada, e assim você nunca se encanta por um modelo capaz que não pode ser usado.

• Dados primeiro: se o trabalho envolve informações pessoais, confidenciais ou reguladas, liste apenas os fornecedores e as formas de contratação cujos termos, retenção, região e controles de acesso a sua empresa aceita. Capacidade não importa para um modelo que você não pode aprovar.
• Risco em segundo: se uma resposta errada pode chegar a um cliente ou alterar um registro, prefira modelos que seguem bem as instruções, declaram incerteza e respeitam formatos de saída, e mantenha uma aprovação humana antes da ação.
• Classificação, roteamento e extração com campos fixos: um modelo menor e mais rápido costuma bastar. O que você testa é a consistência em muitas entradas parecidas.
• Redação de textos para clientes: procure controle de tom e fidelidade ao material de origem. Teste se o rascunho inventa detalhes que a fonte não contém.
• Trabalho em várias etapas com ferramentas: procure chamadas de ferramenta confiáveis, argumentos corretos e boa recuperação depois de um erro. Teste com as ferramentas reais, não só em conversa.
• Documentos longos ou grandes bases de conhecimento: o tamanho do contexto importa, mas buscar em uma fonte mantida costuma ser melhor do que colar tudo no pedido. Os prós e contras aparecem na comparação da AWS entre recuperação de informação e fine-tuning, listada nas fontes.
• Custo e velocidade por último: entre os candidatos que sobraram, compare quanto custa e quanto tempo leva para concluir uma tarefa, não uma mensagem. Meça o custo de IA por tarefa concluída, não por mensagem mostra como.

A ordem importa porque os dois últimos filtros são os que os fornecedores gostam de destacar, e são os menos importantes quando os anteriores não foram atendidos.

Como testar os candidatos com o seu próprio trabalho?

Um bom teste é pequeno, realista e escrito antes de você ver qualquer resultado. Siga este roteiro:

• Passo um: reúna exemplos reais da tarefa, incluindo os difíceis, como pedidos incompletos, documentos contraditórios e mensagens em dois idiomas. Trate o material sensível conforme as suas regras de dados.
• Passo dois: escreva primeiro os critérios de aprovação. Para cada exemplo, anote o que um resultado correto contém, o que ele nunca pode conter e quando o agente deve parar e perguntar.
• Passo três: rode todos os candidatos com as mesmas instruções, as mesmas ferramentas e o mesmo contexto, de modo que o modelo seja a única variável.
• Passo quatro: avalie correção, formato, tratamento de informação ausente e comportamento no limite da própria autoridade. Uma resposta errada dita com confiança pesa mais contra o modelo do que um pedido honesto de ajuda.
• Passo cinco: registre o tempo e o custo total para concluir cada tarefa, incluindo as novas tentativas.
• Passo seis: leia as falhas manualmente. O padrão dos erros diz mais do que a nota média.
• Passo sete: escolha um modelo principal e um reserva, e guarde os exemplos como um conjunto permanente de testes de regressão.

Esse último passo transforma uma comparação pontual em hábito. Um conjunto salvo de casos é a base de Monte um conjunto de testes de referência para sua IA, e é o que permite avaliar o próximo modelo em uma tarde, em vez de começar do zero. O guia de avaliações da OpenAI e os textos da Anthropic sobre avaliações, listados nas fontes, descrevem o mesmo princípio: meça o comportamento em tarefas parecidas com o trabalho real.

Como isso fica na prática? Um cenário ilustrativo

O que segue é um cenário ilustrativo, não a descrição de um cliente real.

Uma pequena empresa de serviços quer um agente que leia os e-mails recebidos de clientes, classifique cada um, redija uma resposta e proponha uma mudança na agenda quando uma reunião for mencionada. A primeira ideia é usar o modelo mais capaz em todas as etapas.

A equipe escreve um briefing de seleção e reúne um conjunto de e-mails antigos, incluindo os vagos e os com anexos. Os anexos contêm contratos de clientes, então a checagem de dados vem primeiro: só permanecem na lista as formas de contratação que a empresa aprovou para material confidencial.

O teste mostra três coisas. A etapa de classificação é bem resolvida por um modelo menor e mais rápido, que se mantém consistente em e-mails parecidos. A etapa de redação fica claramente melhor com um modelo maior, que segue o tom da empresa e não acrescenta compromissos que o e-mail nunca assumiu. A etapa da agenda revela outro problema: um dos candidatos às vezes deixa de fora um campo obrigatório na chamada da ferramenta, e por isso reprova no teste, mesmo com bons rascunhos.

O resultado é um fluxo com dois modelos, roteados por etapa. A classificação usa o menor, a redação usa o maior, e uma pessoa aprova cada rascunho antes do envio. O modelo lento e caro roda apenas onde se justifica. Quando um modelo novo aparece mais tarde, a equipe reaplica os e-mails salvos e compara os resultados, sem precisar redesenhar nada.

Como manter o modelo substituível ao longo do tempo?

Os modelos mudam, os preços mudam e as suas necessidades também mudam. O agente deve sobreviver aos três sem ser reconstruído. Estes hábitos de projeto tornam isso possível:

• Mantenha identidade, memória, ferramentas e permissões do agente na sua própria infraestrutura, não dentro das configurações de um único fornecedor.
• Defina entradas e saídas das ferramentas de forma explícita, para que qualquer modelo capaz de seguir o contrato consiga usá-las.
• Registre o nome e a versão do modelo em cada execução, para saber se uma mudança de comportamento veio do modelo ou de outra coisa.
• Mude uma coisa por vez e rode o conjunto de testes salvo antes e depois.
• Tenha um modelo reserva e um passo claro de retorno à versão anterior, para que uma atualização ruim seja uma interrupção curta e não um incidente.
• Espere ajustar as instruções ao trocar de modelo. Um texto afinado para um modelo costuma pedir pequenas mudanças para outro.

Esses hábitos também protegem você da dependência de um único fornecedor, tema tratado em Como evitar dependência de fornecedor de IA em agentes. Orientações de gestão de risco, como o NIST AI Risk Management Framework, listado nas fontes, apoiam a mesma disciplina: saber para que o sistema serve, medi-lo e revisá-lo com regularidade.

A Be Human trata a escolha do modelo como parte do primeiro projeto, que define uma função útil, a memória e as ferramentas de que ela precisa, os limites de aprovação e um critério de sucesso observável. Os modelos candidatos são testados com os exemplos da própria empresa, e a memória, as ferramentas e as permissões do agente ficam na infraestrutura, para que o modelo possa ser trocado. Na operação gerenciada, avaliações recorrentes e melhorias controladas fazem com que toda troca de modelo seja testada e revisada por uma pessoa antes de chegar ao agente em produção.

Perguntas frequentes

Devemos sempre usar o modelo mais capaz disponível? Não. O modelo mais capaz costuma ser mais lento e mais caro do que a tarefa exige, e ainda precisa passar nas suas checagens de dados e de risco. Use-o onde a diferença de qualidade aparece nos seus testes e use um modelo mais leve nas etapas de rotina.

Com que frequência devemos rever a escolha do modelo? Revise quando um fornecedor descontinuar ou alterar um modelo de que você depende, quando a análise de erros mostrar um novo padrão de falhas e em uma periodicidade que você define com antecedência. Como você guarda um conjunto de casos de teste, cada revisão é uma reaplicação e uma comparação, não um projeto novo.

Um mesmo agente pode usar mais de um modelo? Pode, e muitas vezes é o mais sensato. Encaminhar etapas simples a um modelo menor e etapas exigentes a um maior pode melhorar velocidade e custo, desde que o fluxo inteiro seja testado de ponta a ponta e que cada passagem de trabalho preserve o contexto.

É seguro enviar dados da empresa para qualquer fornecedor de modelos? Não automaticamente. Verifique o que o fornecedor retém, se seus dados podem ser usados para treinamento, onde são processados e quem pode acessá-los, e envolva quem cuida de privacidade e conformidade na sua empresa. Se um fornecedor não atende aos seus requisitos, tire-o da lista antes de comparar qualidade.

Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.