Critérios de sucesso para piloto de agente de IA: como definir

Os critérios de sucesso de um piloto de agente de IA são as condições mensuráveis, escritas antes de o piloto começar, que decidem se você vai expandir o agente, ajustá-lo ou encerrá-lo. A forma mais útil são três limites aplicados a um conjunto pequeno de medidas: uma linha de avanço, uma faixa de ajuste e uma linha de parada. Quando isso é combinado com antecedência, a reunião de revisão compara a evidência com uma página que todos assinaram, em vez de discutir como o agente pareceu.

Principais pontos

• Escreva os critérios antes de o piloto começar, e faça o patrocinador e as pessoas que executam o trabalho concordarem com a mesma página.
• Use três limites, não um: linha de avanço, faixa de ajuste e linha de parada, cada um ligado a uma medida e a uma ação já combinada.
• Meça resultados em trabalho real: qualidade das tarefas concluídas, respeito aos limites, esforço economizado, confiabilidade e custo por tarefa concluída.
• Registre uma linha de base de como o trabalho é feito hoje. Sem ela, nenhuma melhoria pode ser demonstrada nem negada.
• Defina um prazo para o piloto e limite o número de ciclos de ajuste, para que a faixa de ajuste não vire uma prorrogação sem fim.

Por que impressões dão um veredito ruim?

A maioria dos pilotos termina numa reunião em que cada pessoa descreve a própria experiência. O entusiasta lembra da tarde em que o agente redigiu em segundos uma resposta difícil. O cético lembra da única resposta errada que chegou a um cliente. As duas lembranças são reais, e nenhuma delas diz se o agente é bom o bastante para tocar parte da operação.

Sem critérios, tendem a acontecer três coisas. O objetivo se desloca, porque o piloto vai absorvendo novos pedidos e a tarefa original é esquecida. O padrão muda, porque um resultado que parecia aceitável na segunda semana parece decepcionante quando as pessoas se acostumam. E a decisão vira política, porque quem propôs o piloto quer que ele dê certo e quem herda o risco quer que ele seja seguro. Esse é um dos padrões por trás dos pilotos que não saem do papel: nada estava errado o bastante para parar e nada estava claro o bastante para expandir.

Critérios escritos eliminam boa parte disso. Eles transformam uma sensação em comparação, e fazem o desacordo recair sobre a evidência ou sobre o limite, coisas que se pode inspecionar, e não sobre as pessoas.

O que significam avançar, ajustar e parar?

Uma única linha de aprovado ou reprovado é grosseira demais para um agente. Resultados reais costumam cair no meio, e você precisa saber de antemão o que acontece ali. Defina três desfechos e associe uma ação a cada um.

• Avançar: as medidas atingem ou superam a linha combinada, e nenhuma condição de segurança foi violada. A ação é passar para a próxima fase, com o escopo, as permissões e o monitoramento descritos no início.
• Ajustar: as medidas ficam abaixo da linha de avanço, mas acima da linha de parada, e a falha tem uma causa plausível e identificável, como documentos ausentes, uma ferramenta fraca ou uma instrução confusa. A ação é uma rodada de mudanças com prazo fechado, seguida de novo teste sobre o mesmo material.
• Parar: uma medida cai abaixo da linha de parada, ou uma condição de segurança é violada, ou o orçamento de ajustes se esgota sem chegar ao avanço. A ação é encerrar o piloto, desligar o acesso do agente e registrar o que foi aprendido.

Dois detalhes importam. Primeiro, a faixa de ajuste precisa de um limite, como uma ou duas rodadas de melhoria, senão ela vira um jeito educado de nunca decidir. Segundo, algumas condições devem ser gatilhos de parada independentemente das médias. Um agente que envia uma mensagem externa que só podia rascunhar, ou que lê dados fora do seu escopo, falhou em um limite, e nenhuma média boa compensa isso.

Quais medidas pertencem a um piloto de agente de IA?

Escolha poucas medidas, e escolha as que descrevem trabalho concluído, não atividade. Contagem de mensagens e horas de uso mostram que o agente esteve ocupado, não que foi útil. Um conjunto viável para a maioria das funções de negócio é este:

• Qualidade do resultado: das tarefas que o agente concluiu, quantas uma pessoa qualificada aceitou como corretas sem edição, com edições leves ou não aceitou. Defina cada categoria com exemplos antes do piloto.
• Comportamento diante dos limites: com que frequência o agente agiu dentro das permissões, parou para perguntar quando devia e deixou para humanos as ações reservadas a eles. A ideia de onde o agente deve parar e pedir ajuda mostra os eventos que você pode contar.
• Esforço: o tempo que uma pessoa gasta na mesma tarefa com o agente, incluindo revisão e correção, comparado com a linha de base. O tempo de revisão faz parte do custo.
• Confiabilidade: com que frequência uma tarefa não terminou, travou ou precisou de alguém para reiniciá-la, e com que rapidez os problemas foram notados.
• Adoção: se as pessoas que o agente deve ajudar realmente encaminham trabalho a ele, e o que fazem quando não encaminham.
• Custo por tarefa concluída: o custo total de operação dividido pelas tarefas finalizadas e aceitas, não pelas mensagens enviadas. O guia sobre o custo total de propriedade de um agente de IA mostra o que entra na conta além da licença.

Você não precisa das seis para todo piloto. Escolha as três ou quatro que combinam com o motivo de o agente existir e mantenha as demais como observações. Se você não consegue dizer por que uma medida mudaria sua decisão, descarte-a.

Como definir os limites, passo a passo?

Faça isso numa sessão de trabalho com o patrocinador, o responsável pelo processo e alguém que vai revisar a saída do agente todos os dias. Se a função for estreita, normalmente cabe em uma única reunião.

• Passo um: escreva a função em poucas frases. Indique a tarefa, as entradas, os sistemas que o agente pode acessar e o que ele nunca deve fazer. Uma descrição de cargo para o primeiro agente é um bom documento de partida.
• Passo dois: levante a linha de base. Para uma amostra representativa de tarefas recentes, registre quanto tempo levam, com que frequência são refeitas e quanto tempo clientes ou colegas esperam. Use o histórico real, não a memória.
• Passo três: escolha as medidas. Selecione três ou quatro da lista acima e defina cada uma em uma frase que dois revisores pontuariam do mesmo jeito.
• Passo quatro: fixe a linha de avanço. Pergunte que resultado faria você se sentir confortável em dar mais responsabilidade ao agente e escreva-o como número ou contagem em relação à linha de base.
• Passo cinco: fixe a linha de parada. Pergunte que resultado tornaria desconfortável continuar, mesmo com melhorias. Raciocine a partir do custo de um erro, não do otimismo.
• Passo seis: descreva a faixa de ajuste. Nomeie as causas que aceitaria como corrigíveis, as mudanças que faria e o número máximo de rodadas.
• Passo sete: liste os gatilhos de parada imediata. São as violações de limite que encerram o piloto independentemente dos outros resultados.
• Passo oito: defina a janela do piloto, a data de revisão e quem decide. Inclua quem pode vetar e o que acontece se houver discordância.
• Passo nove: assine. Todos os presentes concordam que a página é o padrão e que mudá-la durante o piloto exige uma nota escrita com justificativa.

O erro mais comum é fixar a linha de avanço a partir da melhor demonstração que alguém já viu. Fixe-a a partir do que o negócio precisa. Um agente um pouco pior que uma pessoa, mas que assume a parte repetitiva e maçante do trabalho, pode ser uma boa decisão. Um agente melhor na média, mas que de vez em quando age fora dos seus limites, pode não ser.

Como isso fica na prática?

Este é um cenário ilustrativo, não o relato de um projeto real.

Uma distribuidora quer que um agente redija respostas a e-mails de status de pedido. Uma pessoa lê cada rascunho e depois o envia. Antes do piloto, a líder de operações separa quarenta solicitações passadas, registra o tempo de cada uma e anota quais exigiram consulta em mais de um sistema. Essa é a linha de base e também o primeiro conjunto de testes.

A equipe combina três medidas: qualidade do rascunho, comportamento diante dos limites e tempo de atendimento incluindo a revisão. Os limites ficam assim:

• Avançar: quase todos os rascunhos, no conjunto de testes e nas solicitações reais, são enviados sem edição ou com edições leves, o agente nunca envia nada sozinho, e o tempo de atendimento com revisão fica claramente abaixo da linha de base.
• Ajustar: mais rascunhos precisam de edições pesadas do que a linha de avanço permite, mas os erros se concentram em uma causa identificável, como o formato de rastreamento de uma transportadora. Uma rodada de melhoria é permitida, seguida de novo teste nas mesmas quarenta solicitações mais um conjunto novo.
• Parar: qualquer mensagem é enviada sem aprovação, qualquer registro de cliente fora do sistema de pedidos é lido, ou a qualidade do rascunho continua abaixo da linha de parada depois da rodada de ajuste.

Na revisão, os rascunhos de remessas divididas são o ponto fraco. O resultado está na faixa de ajuste, a causa é clara e a equipe já combinou o que fazer. Eles melhoram a forma como o agente lê os registros de remessa, rodam de novo o mesmo material e voltam a se reunir na data escrita na página. Ninguém precisa decidir se o agente pareceu bom.

Como manter a evidência confiável?

Os limites só são tão confiáveis quanto as medições por trás deles. Alguns hábitos os protegem.

• Use um conjunto de testes fixo junto com o trabalho real. Um conjunto de testes de referência permite comparar o agente antes e depois de cada mudança sobre material idêntico. A orientação de avaliação de fornecedores de modelos, como o material da Anthropic sobre avaliações de agentes, vai no mesmo sentido: teste em tarefas realistas e avalie resultados, não apenas a redação.
• Pontue com uma rubrica e peça a uma segunda pessoa que pontue uma amostra. Se dois revisores discordam com frequência, a medida não está bem definida.
• Guarde os registros do agente. Você precisa ver qual tarefa, quais ferramentas, quais aprovações e qual resultado, para rastrear até a causa uma pontuação surpreendente. Inclua o custo da execução no mesmo registro.
• Congele mudanças durante a medição. Se você altera instruções ou ferramentas a cada poucos dias, está medindo um alvo em movimento. Agrupe as mudanças na rodada de ajuste planejada.
• Relate os casos incômodos. Inclua as tarefas que o agente recusou, escalou ou abandonou. É ali que muitas vezes estão as perguntas reais de projeto.

Também ajuda separar quem constrói de quem pontua. Quem configurou o agente tende a ler resultados ambíguos com generosidade. Um revisor da equipe dona do processo, não.

Como a Be Human trata os critérios do piloto?

A Be Human trata o critério de sucesso como parte do primeiro trabalho, não como algo acrescentado no fim. O trabalho começa definindo uma função útil, a memória e as ferramentas de que ela precisa, seus limites de aprovação e uma medida observável de sucesso. Esses acordos viram a página de avanço, ajuste e parada do piloto. Durante o piloto, o registro de operação mostra tarefas, aprovações e resultados, e a operação gerenciada pode cuidar do monitoramento, das avaliações recorrentes e das melhorias controladas nas rodadas de ajuste. A decisão continua com a sua equipe, tomada com base em critérios que você ajudou a escrever.

O que fazer antes de o piloto começar?

Use esta lista curta na semana anterior ao lançamento.

• A função está descrita em poucas frases, com uma lista clara do que o agente não deve fazer.
• Existe uma linha de base para as mesmas tarefas, tirada do histórico real.
• Três ou quatro medidas estão definidas o bastante para duas pessoas pontuarem do mesmo jeito.
• Os limites de avanço, ajuste e parada estão escritos, com uma ação associada a cada um.
• Os gatilhos de parada imediata estão listados, e as permissões do agente correspondem a eles.
• A janela do piloto, a data de revisão e quem decide estão nomeados.
• Todos os envolvidos leram a página e concordaram que mudanças exigem justificativa por escrito.

Se o piloto passar, a mesma página vira o ponto de partida da próxima fase, e sua equipe pode usá-la na hora de engajar as pessoas no uso do agente no dia a dia. Se não passar, você saberá por quê, que é a outra razão para fazer um piloto.

Perguntas frequentes

Quanto tempo um piloto de agente de IA deve durar? O suficiente para incluir a variedade normal do trabalho, com pelo menos um período de movimento intenso, se possível, e curto o bastante para a equipe manter o foco. Defina a janela e a data de revisão nos critérios e trate uma prorrogação como uma decisão que exige justificativa por escrito.

E se não tivermos uma linha de base do processo atual? Monte uma pequena agora. Pegue uma amostra de tarefas recentes e registre tempo, retrabalho e tempo de espera, mesmo que a amostragem seja grosseira. Uma linha de base aproximada escrita antes do piloto é muito mais útil do que uma lembrança confiante depois dele.

Quem deve decidir entre avançar, ajustar ou parar? O dono do processo no negócio deve decidir, com a opinião de quem revisa a saída do agente e de quem responde pelo risco. Quem construiu ou configurou o agente deve apresentar a evidência, mas não pode ser a única voz na decisão.

Podemos mudar os limites durante o piloto? Somente com uma nota escrita que diga o que mudou e por quê, aprovada pelas mesmas pessoas que assinaram a versão original. Mudar um limite porque os resultados parecem ruins é decidir deixar de ser honesto com o piloto. Mudá-lo porque você descobriu que a medida original estava mal definida é legítimo, desde que fique registrado e que os resultados afetados sejam pontuados de novo.

Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.