Detecção de drift em agentes de IA: checagens simples para mudanças lentas
Detecte drift em agentes de IA após atualizar modelo ou dados: linha de base congelada, cinco checagens, rotina semanal e regras para adotar ou reverter.

A detecção de drift em agentes de IA consiste em comparar as saídas e as ações de um agente com uma linha de base fixa ao longo do tempo, para perceber quando o comportamento muda aos poucos depois de uma troca de versão do modelo, de prompt, de fonte de documentos ou de dados do negócio. O método é simples: mantenha um conjunto congelado de tarefas reais, execute-o de novo após cada mudança, compare os resultados campo a campo e peça para alguém da equipe revisar uma pequena amostra do trabalho real toda semana. Feito com regularidade, isso captura as mudanças graduais que um teste de lançamento ou uma única reclamação de cliente deixariam passar.
Principais pontos
- Drift costuma ser silencioso. O agente continua funcionando, continua soando fluente e continua concluindo chamadas de ferramentas, mas um detalhe específico começou a mudar.
- Não há como detectar drift sem uma linha de base, então congele um conjunto de tarefas reais e seus resultados esperados antes da próxima atualização de modelo ou de dados.
- Cinco checagens cobrem a maior parte do risco: campos da saída, padrões de chamadas de ferramentas, taxa de encaminhamentos, fontes citadas e amostragem do trabalho real.
- Defina antes o que conta como mudança relevante, quem revisa e se a resposta será adotar, ajustar ou reverter.
- Checagens de drift são uma rotina de operação, não um teste pontual, e cada resultado deve ficar registrado no registro de mudanças.
Por que mudanças lentas são mais difíceis de ver do que falhas
Uma integração quebrada falha de forma evidente. Aparece um erro, um processo para ou uma fila trava, e alguém percebe. Um agente com drift, em geral, continua funcionando. As respostas seguem educadas, as chamadas de ferramentas dão certo e a saída ainda parece plausível. O que muda é o padrão por trás: um resumo de reembolso deixa de citar a cláusula da política, um fluxo de atendimento deixa de perguntar sobre um segundo contato, ou um rascunho fica mais longo e esconde o único número de que o gerente precisa.
O drift costuma seguir uma mudança anterior na cadeia. O fornecedor do modelo pode atualizar o modelo por trás de um alias. Um prompt pode ser editado para corrigir um problema e afetar outros três sem que ninguém perceba. Um repositório de documentos pode ser reindexado, o que altera quais trechos a etapa de busca devolve. Os clientes também podem começar a escrever pedidos de outra forma, o que muda as entradas que o agente recebe. Cada uma dessas mudanças pode ser pequena isoladamente, e o efeito costuma aparecer só depois de algumas semanas de uso. O NIST AI Risk Management Framework trata medição e monitoramento como trabalho contínuo, e não como uma etapa única antes do lançamento, que é a mentalidade certa aqui. Para uma visão mais ampla de como a qualidade se deteriora com o tempo, veja degradação de qualidade em agentes de IA ao longo do tempo.
Defina uma linha de base antes que algo mude
A linha de base é o ponto de referência que torna o drift visível. Escolha um conjunto pequeno de tarefas reais, normalmente algumas dezenas, que cubra os casos comuns e os difíceis: um pedido padrão, um pedido incomum, um pedido que deveria ser encaminhado para uma pessoa e um que toque em um limite de permissão. Para cada tarefa, registre o resultado esperado, os campos que a saída precisa conter, as ferramentas que devem ser chamadas e as fontes que devem ser citadas.
Execute o conjunto uma vez com a configuração atual e salve cada saída com um rótulo de versão. O rótulo deve registrar o identificador do modelo, a versão do prompt, a data ou versão do índice de busca e as definições de ferramentas em uso. Sem esse registro, você não conseguirá dizer qual mudança causou uma diferença. Guarde a linha de base em um lugar que o responsável pela operação consiga abrir sem depender de um engenheiro. Um guia prático para montar esse tipo de conjunto está em conjunto de avaliação para agente de IA com tarefas de referência versionadas.
Uma linha de base só serve se estiver congelada. Editar o conjunto de testes depois de uma mudança torna a comparação sem sentido.
Checagens simples que revelam drift
Essas checagens não exigem ferramentas especializadas. Uma planilha e alguns minutos da equipe bastam para começar, e cada uma pode rodar automaticamente assim que a linha de base existir.
- Execute de novo o conjunto congelado de tarefas e compare as saídas campo a campo, não por impressão geral. Uma resposta pode parecer boa e, ainda assim, ter deixado de fora a cláusula que importa.
- Compare os padrões de chamadas de ferramentas: quais ferramentas foram chamadas, em que ordem e com quais argumentos. Uma mudança na ordem das chamadas costuma aparecer antes de uma mudança no texto final.
- Acompanhe encaminhamentos e recusas em relação à linha de base. Um aumento nos encaminhamentos pode indicar que o agente ficou cauteloso, e uma queda pode indicar que ele está respondendo coisas que deveria passar para a equipe.
- Confira se as fontes citadas ainda apontam para os documentos que o agente deveria usar, e se a busca devolve os mesmos documentos principais para as mesmas perguntas.
- Meça a forma básica da resposta: tamanho, ordem das seções e presença dos campos obrigatórios. Essas características mudam discretamente após uma atualização de modelo e são fáceis de pontuar.
- Amostre semanalmente as saídas reais e peça para alguém da equipe pontuá-las com a mesma rubrica usada no conjunto congelado.
As cinco primeiras checagens comparam o agente com ele mesmo. A sexta compara o agente com o que uma pessoa aceitaria, e é a checagem mais importante para o negócio. Mantenha as duas.
Plano passo a passo para o seu primeiro monitoramento de drift
Comece com um fluxo, e não com a operação inteira. Um primeiro ciclo prático segue esta ordem:
- Defina o fluxo do agente em que um erro silencioso custaria mais e o resultado único que comprova que ele está funcionando.
- Congele um conjunto de base com casos reais, resultados esperados, campos obrigatórios e um rótulo de versão.
- Escreva uma rubrica de avaliação com três a cinco critérios que um membro da equipe consiga aplicar em poucos minutos por caso.
- Defina um limite para cada critério. Ultrapassar um limite dispara uma revisão, e não uma reversão automática.
- Execute o conjunto congelado de novo após cada mudança de modelo, prompt, busca ou ferramenta, e em uma agenda fixa nos demais períodos.
- Atribua um responsável que receba cada comparação e decida dentro de um prazo definido.
- Registre cada decisão no registro de mudanças, com o motivo, para que o próximo revisor veja o que já foi tentado.
Mantenha a rubrica curta o suficiente para que uma pessoa ocupada realmente a use. Uma rubrica com doze critérios raramente é aplicada de forma consistente, e pontuações inconsistentes fazem o drift parecer aleatório.
Cenário ilustrativo: agente de resumo de orçamentos após uma atualização de modelo
O caso a seguir é um cenário ilustrativo, não um caso de cliente. Uma pequena empresa de serviços de campo usa um agente para transformar anotações de técnicos em um resumo de orçamento para o escritório. Depois que o fornecedor atualiza o modelo por trás do fluxo, os resumos continuam bem escritos e a verificação semanal por amostragem passa sem alerta. O conjunto congelado conta outra história. Em vários casos, o agente passa a colocar os materiais abaixo da linha de mão de obra e, em alguns, deixa de fora a cláusula de exclusão para serviços que exigem acesso ao imóvel por terceiros.
O responsável, que é o gerente de operações, compara as pontuações da rubrica. O critério de exclusão cai abaixo do limite, enquanto os critérios de tom e tamanho permanecem iguais. Como a falha é específica e previsível, a equipe ajusta o prompt para reafirmar a regra de exclusão e executa o conjunto congelado completo de novo. O critério de exclusão se recupera, e a ordenação dos materiais é aceita como mudança de formatação. A decisão e o motivo são registrados no registro de mudanças. Nada nessa sequência exigiu uma falha dramática, apenas uma linha de base e uma regra para definir o que conta como mudança.
Decida entre adotar, ajustar ou reverter
Quando a comparação mostra uma diferença, o responsável precisa de uma regra de decisão clara. Um guia útil:
- Adote a mudança quando todos os critérios se mantiverem no limite ou acima dele e as diferenças forem cosméticas, como redação ou ordenação.
- Ajuste quando um critério falhar de forma previsível que um prompt, uma configuração de busca ou a descrição de uma ferramenta possa corrigir. Depois, execute o conjunto completo, e não apenas o caso que falhou.
- Mantenha ou reverta para a versão anterior quando um critério que toca segurança, permissões ou dinheiro falhar, ou quando a causa ainda não estiver clara.
- Escale para o responsável quando os resultados entrarem em conflito, por exemplo quando a velocidade melhora, mas a citação de fontes piora.
A abordagem gerenciada da Be Human trata o drift como uma tarefa de operação, e não como um teste pontual. Em um projeto gerenciado, a equipe ajuda a definir o fluxo, os conjuntos de tarefas congeladas, a rubrica e os limites, depois executa as comparações após mudanças de modelo, prompt e dados, amostra o trabalho real em uma agenda e revisa as permissões de ferramentas quando os sistemas mudam. As decisões de adoção e reversão continuam com o dono do negócio, e cada uma é registrada para que o raciocínio fique legível depois. Notas operacionais para esse tipo de rotina estão em runbook de operação para agente de IA.
Por onde começar esta semana
Mantenha as checagens rodando depois do lançamento. Um ritmo viável é uma revisão semanal de amostra, uma comparação mensal do conjunto congelado e uma nova execução imediata após qualquer mudança de modelo, prompt, dados ou ferramenta. Revise os limites uma vez por trimestre, porque o negócio pode decidir que um critério passou a importar mais ou menos do que no início. O motivo mais comum para as checagens de drift serem abandonadas é que ninguém é dono do resultado, então defina esse responsável antes da primeira execução.
Se ainda não está claro qual fluxo deve ser observado primeiro, o diagnóstico gratuito de IA da Be Human pode ajudar a encontrar a primeira tarefa que vale entregar a um agente.
Perguntas frequentes
Em que drift difere de um bug? Um bug é um defeito que costuma aparecer depois de uma mudança específica e, em geral, falha de forma óbvia. Drift é uma mudança gradual de comportamento que pode vir de uma atualização de modelo, de uma edição de prompt ou de dados novos, e costuma parecer aceitável em qualquer dia isolado. As checagens de drift comparam o comportamento atual com uma linha de base congelada, por isso captam mudanças que um relatório de bug jamais descreveria.
Com que frequência devo rodar as checagens de drift? Execute o conjunto congelado imediatamente após qualquer mudança de modelo, prompt, busca ou ferramenta, porque é nesse momento que o drift tem mais chance de começar. Entre as mudanças, uma comparação mensal e uma amostra semanal das saídas reais são um ponto de partida razoável. Aumente a frequência em fluxos nos quais um erro silencioso afetaria dinheiro, permissões ou compromissos com clientes.
Preciso de equipe técnica para fazer isso? Você precisa de alguém que execute o conjunto congelado e de alguém que julgue as saídas, e em uma equipe pequena podem ser a mesma pessoa. Ajuda técnica é útil para configurar execuções automáticas e registrar chamadas de ferramentas, mas a pontuação em si depende de julgamento de negócio. Uma rubrica clara permite que um responsável de operações faça a maior parte do trabalho sem escrever código.
E se o conjunto de testes congelado ficar desatualizado? Um conjunto de testes deve ser congelado em cada comparação, mas precisa ser revisado periodicamente. Quando o negócio mudar suas políticas, produtos ou pedidos de clientes, acrescente os novos casos como uma nova versão, mantenha a versão antiga como referência e registre a mudança. Nunca edite uma versão no lugar, porque assim você perde a capacidade de comparar resultados ao longo do tempo.
Seu próximo passo
Descubra primeiro onde um agente de IA cabe na sua empresa.
Faça o diagnóstico gratuito de IA da Be Human. Algumas perguntas sobre o seu trabalho mostram qual tarefa entregar primeiro a um agente, o que ele precisa saber e onde uma pessoa aprova.
Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.


