Detecção de deriva em agentes de IA: a queda silenciosa de qualidade
Detecte perda gradual de qualidade do agente de IA antes dos clientes. Rotina semanal de amostragem e pontuação, linha de base congelada e limites de revisão.

A detecção de deriva (drift) é a prática de reavaliar o trabalho já entregue por um agente de IA em uma agenda fixa, contra um padrão que não muda, para que a perda gradual de qualidade apareça como tendência nos seus próprios dados, e não como reclamação de cliente. O método mais confiável para equipes de negócio é uma rotina semanal de amostragem e pontuação: separe um pequeno conjunto aleatório de execuções concluídas, avalie cada uma com uma rubrica curta e compare os resultados com uma linha de base registrada enquanto o agente tinha bom desempenho. A rotina foi desenhada para captar pequenas oscilações cedo, porque a deriva raramente produz uma falha única e evidente.
Principais pontos
- Deriva é uma mudança lenta na qualidade das respostas, e raramente dispara um erro, por isso painéis de disponibilidade e de erros podem parecer saudáveis enquanto ela acontece.
- Uma amostra semanal aleatória de trabalho real, pontuada com uma rubrica fixa, basta para começar e não exige uma equipe de ciência de dados.
- Mantenha uma linha de base congelada para cada tipo de tarefa, para que cada semana seja comparada com o mesmo padrão.
- Defina antes da primeira revisão qual oscilação de pontuação abre uma revisão, quem a recebe e quais ações o agente deve pausar enquanto isso.
- Olhe também para o que alimenta o agente, porque fontes de conhecimento, formatos de ferramentas e versões de modelo costumam mudar a resposta antes que alguém edite o agente.
Como é a deriva quando nada quebrou
Deriva é a distância que se abre entre o desempenho do agente na configuração inicial e o desempenho atual, sem nenhum evento isolado para culpar. Um agente que antes citava a política de devolução vigente passa a citar uma versão anterior. As respostas ficam mais genéricas, um campo obrigatório deixa de ser preenchido de vez em quando e, depois, com mais frequência, e os encaminhamentos para uma pessoa tornam-se mais raros. Essa última mudança parece eficiência, até que os casos que deveriam ter sido encaminhados voltem como reclamações.
Três condições tornam a deriva difícil de ver. Cada execução passa nas checagens técnicas, a mudança acontece em pequenos passos, e quem percebe primeiro costuma ser o cliente. Quando a reclamação chega, o padrão já pode estar presente há várias semanas. Uma rotina de amostragem e pontuação transforma a impressão vaga de que as respostas estão piores em uma linha medida em um gráfico, de responsabilidade de alguém com nome. Para uma visão mais ampla dos sintomas, veja deriva em agentes de IA: como perceber a queda de qualidade ao longo do tempo.
Defina a linha de base antes de medir qualquer mudança
Sem um ponto de referência, não há como detectar deriva. Escolha de três a cinco tipos de tarefa que o agente mais executa, como responder perguntas sobre política, redigir mensagens de acompanhamento ou classificar solicitações recebidas. Para cada um, reúna execuções de um período em que a equipe revisou as saídas e as aprovou, e pontue essas execuções com a rubrica que você vai usar daqui em diante. A média e a dispersão dessas notas formam a faixa da linha de base.
Escreva a rubrica com quatro ou cinco critérios, cada um com uma definição curta e três notas possíveis: atende, parcial e não atende. Critérios típicos são precisão factual em relação às fontes atuais, uso do formato exigido, tom compatível com a marca, preenchimento completo dos campos obrigatórios e encaminhamento correto. Deixe cada definição concreta o bastante para que dois revisores deem a mesma nota à mesma resposta. Para redigir essas definições, as notas da Anthropic sobre avaliações de agentes de IA (Demystifying evals for AI agents) são uma referência útil.
Congele a linha de base e guarde-a com um rótulo de versão. Quando você melhorar o agente, crie uma nova linha de base somente depois de reavaliar os casos antigos, para que uma mudança no padrão nunca seja confundida com uma mudança no agente. Um pequeno conjunto de casos aprovados, que você executa de novo após cada alteração, é um conjunto de teste de referência, e é o companheiro natural desta rotina. Veja como montar um conjunto de testes de referência para sua IA.
A rotina semanal de amostragem e pontuação, passo a passo
Defina um dia fixo e um responsável nomeado. Depois que a planilha compartilhada existir, a rotina leva menos tempo do que a maioria das equipes espera. Execute nesta ordem:
- Exporte as execuções concluídas de cada tipo de tarefa nos últimos sete dias, incluindo a entrada, a saída, as fontes usadas e as chamadas de ferramentas.
- Sorteie uma amostra aleatória de cada exportação e registre o método de seleção, para que a amostra possa ser reproduzida depois.
- Remova nomes de clientes, dados de contato e números de conta antes que o revisor abra o item, mantendo o identificador da execução para localizar o registro completo quando for necessário.
- Pontue cada item da amostra com a rubrica sem olhar as notas da semana anterior, para que os revisores não sejam influenciados por resultados passados.
- Escreva uma linha de observação para cada parcial ou não atende, citando o critério e o que estava errado.
- Registre as notas em uma única tabela compartilhada, com semana, tipo de tarefa, revisor e identificador da execução.
- Compare a média e a contagem de não atendimentos de cada critério desta semana com a faixa da linha de base.
- Leia juntos, por cerca de dez minutos, os itens com notas baixas e nomeie o padrão. Não pare no erro individual.
Cada lote é verificado do mesmo jeito, para que as diferenças entre lotes fiquem visíveis e não sejam presumidas.
Quantas respostas revisar e quem pontua
O tamanho certo da amostra depende do volume e do custo de uma resposta ruim. Um tipo de tarefa que toca dinheiro, compromissos jurídicos ou registros de clientes merece uma amostra maior do que uma tarefa interna de resumo. Comece com itens suficientes por tipo de tarefa para que uma resposta incomum não mova a média sozinha e, depois, observe a estabilidade dos resultados e ajuste. Para um método mais completo, veja quantas saídas de IA revisar por amostragem. O NIST AI Risk Management Framework também é uma referência útil para decidir quanta supervisão cada tarefa merece.
Os revisores importam tanto quanto o tamanho da amostra. Peça que ao menos duas pessoas pontuem, todo mês, um subconjunto de calibração, cada uma de forma independente. Onde houver divergência, revise a definição do critério em vez de fazer a média da divergência, porque ela normalmente indica que o critério está pouco claro. Se um juiz automatizado pontuar alguns itens, compare os resultados dele com as notas humanas antes de tudo e continue verificando essa comparação, já que o próprio juiz também pode sofrer deriva.
Um guia de decisão para oscilações de pontuação
Antes da primeira revisão, registre o que cada oscilação significa. Um guia simples:
- Uma semana dentro da faixa da linha de base: registre e mantenha o tamanho normal da amostra.
- Uma única semana abaixo da faixa em um critério: dobre a amostra daquele tipo de tarefa na semana seguinte e anote a mudança.
- Duas semanas consecutivas abaixo da faixa no mesmo critério: abra uma revisão com o responsável pela tarefa e nomeie a causa provável, como a troca de uma fonte ou uma edição recente do prompt.
- Qualquer não atendimento em uma ação que movimenta dinheiro, altera uma reserva ou envia um compromisso ao cliente: pause aquele tipo de ação no mesmo dia e revise as execuções antes de liberá-la.
- Uma recuperação após uma mudança conhecida: registre a causa no histórico de mudanças para que o próximo leitor saiba o que aconteceu.
Defina um responsável para cada linha. A rotina só protege você quando cada linha leva a uma ação que alguém tem autorização para tomar.
Onde a deriva começa antes de o agente mudar
A deriva costuma começar fora do agente. Uma fonte de conhecimento é atualizada, mas o índice de busca ainda devolve um documento antigo. Uma ferramenta passa a retornar um campo com outro nome, e o agente o ignora silenciosamente. Uma versão de modelo muda o comportamento diante de uma instrução sutil. A mistura de solicitações recebidas se desloca para um caso que o agente trata pior. As próprias instruções do agente também podem crescer com pequenas edições que, cada uma isolada, pareciam inofensivas.
Cenário ilustrativo: um agente de atendimento responde perguntas sobre o prazo de devolução. Ao longo de três revisões semanais, o critério de uso da política vigente passa de atende para parcial em um número crescente de itens, enquanto as notas de tom permanecem estáveis. Os revisores rastreiam o problema até um documento de política substituído na pasta de origem, enquanto a busca ainda devolve a cópia antiga. A equipe restaura a fonte atual, adiciona uma checagem de atualidade nesse documento, executa de novo o conjunto de teste de referência e registra a mudança. Nenhum cliente tinha reclamado nas duas primeiras semanas, e por isso a tendência importou mais do que as reclamações importariam.
Como começar a rotina na sua equipe
Escolha o único tipo de tarefa em que uma queda silenciosa custaria mais, escreva a rubrica dele, congele uma linha de base e execute a rotina de amostragem e pontuação por quatro semanas antes de julgar o seu valor. A Be Human desenha e opera esse tipo de supervisão como parte da operação gerenciada, que pode incluir monitoramento, avaliações recorrentes, revisão de permissões e melhorias controladas. Na prática, a rubrica, a linha de base e o registro de notas continuam sob controle do cliente, as amostras são sorteadas das execuções registradas do próprio agente, e cada mudança que altera uma nota é revisada por uma pessoa antes de chegar à produção. A Be Human não promete uma nota ou um resultado específico. A rotina existe para tornar a qualidade visível e para facilitar a próxima decisão. Se você ainda não sabe qual dos seus processos deve receber esse tipo de supervisão primeiro, o diagnóstico gratuito de IA da Be Human pode ajudar a identificar a primeira tarefa que vale entregar a um agente.
Perguntas frequentes
Em que a detecção de deriva é diferente do monitoramento de erros? O monitoramento de erros captura execuções que falham de forma explícita, como tempos limite, chamadas de ferramenta recusadas ou exceções. A detecção de deriva captura execuções que funcionam tecnicamente, mas produzem respostas gradualmente mais fracas, o que os painéis de erro mostrariam como saudáveis. As duas funcionam melhor juntas, com alertas de erro para rupturas súbitas e uma amostra semanal para mudanças lentas.
Quantas saídas devo amostrar por semana? Comece com itens suficientes por tipo de tarefa para que uma resposta incomum não altere a média sozinha, e aumente a amostra das tarefas que tocam dinheiro, compromissos ou dados de clientes. Mantenha a amostra em um tamanho que os revisores consigam pontuar com cuidado, porque uma revisão apressada é pior do que uma amostra menor. Ajuste depois do primeiro mês, conforme a estabilidade das notas.
Um juiz de IA pode fazer a pontuação no lugar de pessoas? Um juiz automatizado funciona bem em verificações de rotina, como confirmar se um campo obrigatório está presente, mas deve ser calibrado com notas humanas antes que alguém dependa dele. Peça que pessoas pontuem um subconjunto de calibração todo mês e compare os resultados. Mantenha pessoas nos critérios em que o julgamento sobre precisão ou tom é mais importante.
E se ainda não tivermos uma linha de base? Você pode construí-la a partir de trabalhos que a equipe já revisou e aprovou, mesmo que essa revisão tenha sido informal. Pontue essas saídas antigas com a nova rubrica e trate o resultado como a primeira faixa de linha de base. Identifique o período e os revisores envolvidos, e não trate a faixa como padrão permanente até que ela se sustente por algumas semanas de uso.
Seu próximo passo
Descubra primeiro onde um agente de IA cabe na sua empresa.
Faça o diagnóstico gratuito de IA da Be Human. Algumas perguntas sobre o seu trabalho mostram qual tarefa entregar primeiro a um agente, o que ele precisa saber e onde uma pessoa aprova.
Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.


