Ir para conteúdo
be-human.ai
← Voltar ao blog

Testes e confiabilidade

Teste de regressão para agentes de IA após atualizar o modelo

Quais testes de regressão rodar após atualizar o modelo, como comparar versões antiga e nova com as mesmas entradas e quando adotar, ajustar ou reverter.

Capa tipográfica do Be Human com o título: Teste de regressão para agentes de IA após atualizar o modelo
Ilustração conceitual criada com IA · Be Human

Para fazer teste de regressão em um agente de IA após trocar de modelo, rode o mesmo conjunto fixo de tarefas reais de negócio com o modelo antigo e com o novo, compare os resultados nos pontos que importam (decisões, chamadas de ferramentas, permissões, formato de saída, escalonamentos, custo e tempo) e só promova o novo modelo quando todos os casos críticos continuarem válidos. Um modelo mais forte costuma melhorar os casos difíceis e, ao mesmo tempo, alterar em silêncio os casos fáceis. Por isso o teste precisa cobrir o fluxo inteiro, e não apenas uma nota de benchmark.

Principais pontos

  • Congele um conjunto de testes versionado, montado com trabalho real, antes de mudar qualquer coisa.
  • Compare o modelo antigo e o novo com as mesmas entradas, respostas de ferramentas e permissões.
  • Aprove primeiro pelas famílias críticas: acesso a dados, dinheiro, compromissos com clientes e escalonamentos.
  • Verifique o comportamento ao redor do modelo, não só a qualidade da resposta: argumentos de ferramentas, formatos, condições de parada e custo por tarefa concluída.
  • Registre por escrito a decisão de adotar, ajustar ou reverter, com um responsável nomeado e um caminho de volta testado.

Por que um modelo mais forte ainda pode quebrar um agente que funcionava

Um agente que funciona hoje raramente é só um modelo. Ele é um conjunto de prompts ajustados à forma como o modelo atual interpreta instruções, esquemas de ferramentas escritos em torno dos hábitos dele, limites escolhidos depois de observar seus erros e formatos de saída que um sistema posterior lê sem reclamar. Um modelo novo pode mexer em qualquer uma dessas peças nas bordas. Pode escrever respostas mais longas, interpretar de outro jeito uma instrução ambígua, enviar um argumento de ferramenta com outro formato ou decidir completar um campo faltante em vez de perguntar.

As falhas mais perigosas são as silenciosas. A resposta continua bem escrita, o agente ainda termina a tarefa e nada gera erro. Um campo some, um caso que deveria ir para uma pessoa é encerrado pelo agente, ou uma sugestão de reembolso passa de um nível de aprovação sem que ninguém perceba. As notas de versão do fornecedor descrevem melhorias gerais. Elas não dizem como o seu fluxo se comporta, por isso a verificação precisa rodar com as suas tarefas.

Monte a linha de base antes de trocar

Um teste de regressão compara duas versões, então a versão antiga precisa estar bem registrada antes de a nova ser testada. Comece pelo trabalho real, não por prompts inventados. Tarefas recentes com resultado bom conhecido são as mais úteis, e devem incluir as bagunçadas: registros incompletos, instruções contraditórias, documentos com layout estranho e pedidos próximos do limite de aprovação. O guia sobre conjunto de avaliação para agente de IA com tarefas de referência e a nota sobre conjunto de avaliação feito de trabalho real descrevem como montar esse material.

Quando o conjunto existir, registre o comportamento atual de cada caso:

  • Guarde a saída final e o rastro completo de chamadas de ferramentas, com argumentos e respostas.
  • Fixe todo o resto: versão do prompt, esquemas das ferramentas, snapshot do índice de busca, configurações de permissão e qualquer contexto de data ou horário.
  • Registre o uso de tokens, o tempo decorrido e o número de etapas de cada caso, para que custo e latência possam ser comparados depois.
  • Marque cada caso com o resultado esperado e indique quais são críticos.

Guarde essa execução de referência. Você vai compará-la por semanas, e ela é a única referência confiável quando o modelo antigo for aposentado ou quando o fornecedor mudar o que um nome de modelo significa.

Quais testes de regressão rodar

Os testes úteis se dividem em famílias. Cada uma responde a uma pergunta que um líder de operações faria depois de um incidente.

  • Testes de resultado: o agente chega à decisão esperada? Use verificações determinísticas sempre que possível, como um campo obrigatório presente ou um valor dentro de uma faixa permitida. Para o resto, use uma rubrica escrita.
  • Testes de chamadas de ferramentas: o agente chama a ferramenta certa, com argumentos válidos, sem chamadas extras ou repetidas? Confirme que as ações de escrita trazem os identificadores que o sistema precisa para evitar duplicidades.
  • Testes de limite: quando um pedido ultrapassa o limite de aprovação do agente, ele continua bloqueado ou é enviado para revisão? Inclua prompts que pressionem o agente a agir mesmo assim.
  • Testes de escalonamento: casos ambíguos ou de alto risco chegam a uma pessoa, e a passagem contém a decisão a tomar, e não apenas um bloco de texto bruto?
  • Testes de contrato: a saída segue sempre o esquema que os sistemas seguintes esperam?
  • Testes de segurança e escopo: o agente recusa pedidos fora do seu papel e trata instruções encontradas dentro de documentos como conteúdo, e não como comando?
  • Testes de condições de parada: limites de tentativas, limites de etapas e detecção de loop ainda funcionam com o novo modelo?

As famílias críticas são limite, escalonamento, contrato e os testes de ferramentas que escrevem em sistemas. Uma mudança de tom ou de tamanho vale ser anotada, mas raramente justifica bloquear uma atualização. Uma mudança no que o agente pode fazer, ou para onde ele envia o trabalho, sempre justifica.

Um guia de decisão: adotar, ajustar ou reverter

Cenário ilustrativo: um agente de atendimento redige recomendações de reembolso para uma empresa de serviços e as envia para uma ferramenta de pagamento. O novo modelo lida melhor com reclamações difíceis, mas a execução de regressão mostra dois problemas. Ele escreve valores de reembolso com símbolo de moeda, que a ferramenta de pagamento rejeita, e escalona menos casos de contestação de cobrança do que o modelo antigo. A equipe ajusta o esquema da ferramenta para aceitar o novo formato, acrescenta uma regra explícita de escalonamento para contestações, roda o conjunto completo de novo e só então adota o modelo.

As regras de decisão são simples de enunciar e fáceis de pular sob pressão de prazo:

  • Adote quando todas as famílias críticas passarem e cada diferença não crítica for entendida e aceita por escrito.
  • Ajuste quando a regressão tiver uma causa clara em um prompt, esquema ou limite que possa ser corrigido, e depois rode o conjunto completo de novo, não apenas os casos que falharam.
  • Reverta ou mantenha o modelo anterior fixado quando um teste crítico falhar e a correção não for rápida, ou quando ninguém conseguir explicar por que um comportamento mudou.

Registre a decisão, a evidência e o responsável no registro de mudanças. Quem ler depois deve conseguir ver por que o modelo mudou e o que foi aceito como troca.

Rode o novo modelo em modo sombra antes de dar autoridade a ele

Um conjunto de testes só contém as falhas que alguém se lembrou de escrever. Antes de o novo modelo agir sobre trabalho real, rode-o em modo sombra: ele recebe as mesmas entradas reais do modelo atual, propõe suas ações, e essas propostas ficam registradas, mas não são executadas. Compare as propostas com o que o modelo atual fez e com o que a pessoa da equipe decidiu. Grupos de divergência apontam os casos que valem entrar no conjunto de testes.

O modo sombra também mostra custo e latência em condições realistas, algo que uma execução curta raramente mostra. O método descrito em modo sombra para agentes de IA é a forma mais limpa de dar evidências a um modelo novo antes de dar autoridade a ele.

Erros que escondem regressões

Alguns hábitos fazem um teste de regressão parecer mais saudável do que o agente realmente está. Evite-os desde o início, porque são difíceis de notar depois do lançamento.

  • Testar apenas as respostas finais e ignorar as chamadas de ferramentas, onde muitos erros caros acontecem.
  • Comparar o modelo novo com o que você lembra que o antigo fazia, em vez de compará-lo com a linha de base guardada, usando as mesmas entradas.
  • Deixar a mesma pessoa escrever os casos de teste, avaliar as saídas e aprovar a atualização.
  • Julgar a qualidade por uma média, que pode esconder algumas falhas graves em casos críticos.
  • Esquecer o custo. Um modelo que conclui mais trabalho, mas precisa de muito mais etapas por tarefa, pode custar mais do que o ganho vale. Medir o custo por tarefa concluída mantém isso visível.

Como a Be Human lida com mudanças de modelo

Em um projeto gerenciado, a Be Human mantém sob controle do cliente o conjunto de testes, os rastros, as definições de permissão e o registro de mudanças, e trata cada troca de modelo como uma melhoria proposta, não como atualização automática. As famílias de regressão acima rodam antes de qualquer troca, os resultados são escritos em termos que um responsável de operações consegue usar, e o caminho de reversão é documentado e testado antes de o novo modelo assumir trabalho real. O monitoramento depois da troca continua sobre o mesmo conjunto de testes, então uma regressão que aparece semanas depois é detectada contra a mesma linha de base.

Mantenha os ganhos sem perder a trilha de auditoria

Depois da adoção, o trabalho continua. Fixe explicitamente a versão do novo modelo, registre a mudança no log e agende uma nova execução das famílias críticas em intervalos regulares, porque um nome de modelo pode manter o rótulo enquanto o comportamento muda. Acompanhe as medidas mensais de qualidade para detectar queda lenta, pois os primeiros sinais de desvio costumam ser pequenas mudanças de formato, tamanho ou taxa de escalonamento. As rotinas em suporte e manutenção de agentes de IA e a orientação sobre detecção de drift em agentes de IA se encaixam naturalmente depois da atualização.

Para a maioria das equipes, o primeiro passo útil é escolher o fluxo em que um erro silencioso custaria mais, montar a linha de base dele nesta semana e rodar as famílias críticas contra o próximo modelo antes que alguém sinta vontade de trocar. Se você não tem certeza de qual tarefa testar primeiro, o diagnóstico gratuito de IA da Be Human pode ajudar a identificar a primeira tarefa que vale entregar a um agente.

Perguntas frequentes

Qual deve ser o tamanho de um conjunto de teste de regressão? Ele deve ser grande o suficiente para cobrir cada família crítica com alguns casos realistas, e deve crescer sempre que uma falha em produção revelar uma lacuna. Qualidade pesa mais que volume, então poucos casos reais bem escolhidos costumam ensinar mais do que muitos prompts genéricos.

Precisamos refazer os testes se o fornecedor atualizar um modelo mantendo o mesmo nome? Sim. Um rótulo pode continuar igual enquanto o comportamento muda, então trate qualquer atualização silenciosa como troca de modelo e rode as famílias críticas contra a linha de base fixada. Se não for possível fixar uma versão, registre as saídas em uma agenda para que as mudanças pelo menos possam ser detectadas e datadas.

Quem deve avaliar os resultados da regressão? A avaliação deve ser feita por alguém que conheça a tarefa de negócio, mas que não tenha escrito os prompts do agente, para que o resultado não seja moldado por quem defende a atualização. Use verificações determinísticas onde elas se aplicarem, e uma rubrica escrita com um segundo revisor para os julgamentos restantes.

Podemos pular o teste de regressão se o novo modelo tiver nota maior em benchmarks públicos? Não. Benchmarks públicos medem capacidade geral, não como seus prompts, ferramentas e permissões interagem. Um modelo pode ter nota geral maior e, ainda assim, quebrar uma única chamada de ferramenta crítica, exatamente o tipo de falha que um teste de regressão no seu próprio fluxo foi feito para pegar.

Seu próximo passo

Descubra primeiro onde um agente de IA cabe na sua empresa.

Faça o diagnóstico gratuito de IA da Be Human. Algumas perguntas sobre o seu trabalho mostram qual tarefa entregar primeiro a um agente, o que ele precisa saber e onde uma pessoa aprova.

Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.

Menos tarefas. Mais espaço para você.

Traga o trabalho para o qual falta tempo.

Agende uma conversa e teste 7 dias grátis um agente de IA personalizado ↗Ou faça o diagnóstico gratuito de IA →