Ir para conteúdo
be-human.ai
← Voltar ao blog

Testes e confiabilidade

De tickets anonimizados a testes de agente: rótulos que se mantêm atuais

Aprenda a montar um conjunto de avaliação para agentes de IA com tickets anonimizados, rotular a ação esperada e mantê-lo atual conforme a operação muda.

Capa tipográfica do Be Human com o título: De tickets anonimizados a testes de agente: rótulos que se mantêm atuais
Ilustração conceitual criada com IA · Be Human

Um conjunto de avaliação para agentes de IA é um grupo fixo de casos reais do seu próprio trabalho. Cada caso registra o que o agente podia ver, a ação que uma pessoa competente esperaria e os limites que ele precisa respeitar. Monte o conjunto a partir de tickets de atendimento ou operação anonimizados, rotule a ação esperada em vez da redação exata da resposta e revise o conjunto em uma agenda definida, para que políticas aposentadas deixem de contar como acertos.

Principais pontos

  • Comece por tickets encerrados, que já mostram o que a empresa decidiu, e não por prompts inventados por alguém.
  • Rotule a ação esperada, as ferramentas permitidas e as ações proibidas, para que os avaliadores verifiquem resultados e não o texto.
  • Remova dados pessoais antes que qualquer pessoa fora do grupo aprovado leia um caso.
  • Versione o conjunto e aposente casos quando mudar uma política, uma ferramenta ou uma regra de produto.
  • Execute o conjunto antes de cada alteração em prompts, ferramentas ou modelos, e guarde cada resultado em um registro que alguém consiga ler.

Por que tickets encerrados geram casos de teste melhores que prompts inventados

Um prompt inventado mostra o que o autor imaginou que um cliente poderia perguntar. Um ticket encerrado mostra o que os clientes de fato perguntaram, qual informação faltou, qual exceção a equipe concedeu e onde o trabalho saiu do caminho. Normalmente um ticket reúne o pedido, o contexto, os passos dados por uma pessoa e o desfecho. É exatamente a matéria-prima de que um teste precisa.

Tickets encerrados também guardam os casos difíceis. Pedidos incomuns, instruções conflitantes e exceções de política são raros, e são justamente os casos que quem escreve prompts costuma esquecer. Ao reunir um período normal de tickets somado a alguns casos que a equipe lembra como difíceis, você cobre tanto o caminho comum quanto as falhas que custam dinheiro ou confiança.

Anonimize os tickets antes de qualquer rotulagem

O grupo que rotula deve ver apenas o necessário para julgar a ação correta. Por isso, a anonimização faz parte do desenho do conjunto, e não é uma limpeza feita no final.

  • Remova nomes, dados de contato, endereços, números de conta e de pedido, e anotações livres que contenham informação pessoal.
  • Substitua identificadores por marcadores consistentes, para que a mesma pessoa tenha o mesmo marcador em todos os casos e cada caso continue contando uma história coerente.
  • Mantenha os fatos de negócio de que o agente precisa, como tipo de plano, datas em relação à política, categoria do produto e escalonamentos anteriores.
  • Exclua anexos que você não consegue limpar, como documentos digitalizados ou capturas de tela com dados pessoais visíveis.
  • Registre quem aprovou a exportação, onde o arquivo limpo fica guardado e quem pode abri-lo.

Se um caso não puder ser limpo sem perder a decisão que importa, deixe-o fora do conjunto compartilhado e mantenha-o em um arquivo restrito para as pessoas que cuidaram dele.

Rotule a ação esperada, não a redação

Cada caso precisa de um rótulo que descreva o que uma execução correta faz. Um rótulo útil tem cinco campos:

  • Retrato da entrada: o pedido e o contexto que o agente podia ver, além da versão da política vigente naquela data.
  • Ação esperada: responder com informação específica, criar um registro, encaminhar para um papel nomeado ou recusar com um motivo declarado.
  • Ferramentas permitidas: quais ferramentas podem ser chamadas e dentro de quais limites.
  • Ações proibidas: por exemplo, emitir um pagamento acima do limite de aprovação ou enviar uma mensagem que exige aprovação antes.
  • Critérios de aprovação: um resultado que o avaliador consegue checar, como existir exatamente um registro, o campo de valor bater com a política e a marca de aprovação estar presente.

Os avaliadores devem checar resultados e limites, não se a resposta coincide com uma frase de referência. Duas respostas corretas podem ter redações diferentes. Uma resposta que promete uma ação que o agente nunca executou está errada, mesmo que esteja bem escrita. As orientações da Anthropic sobre avaliação de agentes fazem a mesma distinção entre julgar o estado final da tarefa e julgar o texto ao redor dela.

Um passo a passo para a primeira versão

Mantenha a primeira versão pequena o bastante para que as pessoas que conhecem o trabalho revisem cada caso e cada divergência.

  • Escolha um fluxo com um único resultado claro, como pedidos de reembolso ou alterações de agendamento.
  • Exporte tickets encerrados de um período típico e acrescente os casos difíceis que a equipe ainda comenta.
  • Anonimize a exportação e retire os anexos que você não consegue limpar.
  • Peça que duas pessoas que executam o trabalho rascunhem os rótulos de forma independente, sem discutir antes.
  • Compare as divergências e escreva, em um guia curto de rótulos, a regra que resolve cada uma delas.
  • Divida os casos em um conjunto de desenvolvimento, que a equipe pode estudar, e um conjunto reservado, que você executa somente antes de uma liberação, para que as mudanças não sejam ajustadas ao teste.
  • Escreva os critérios de aprovação e o procedimento de execução do conjunto, seja manual ou automatizado.
  • Execute o agente atual uma vez, registre os resultados e guarde essa rodada como linha de base para todas as comparações futuras.

Cenário ilustrativo: pedidos de reembolso em um negócio de assinatura

O cenário a seguir é ilustrativo e não descreve uma empresa real. Um negócio de assinatura recebe pedidos de reembolso por e-mail. Sua política permite reembolso dentro de um prazo definido quando o comprovante de compra está anexado, encaminha os demais pedidos a um analista financeiro e nunca devolve duas vezes a mesma cobrança. Quatro casos da exportação mostram o que os rótulos precisam capturar.

  • Pedido dentro do prazo com comprovante anexado: a ação esperada é um único reembolso emitido pela ferramenta de cobrança, seguido de confirmação ao cliente.
  • Pedido logo após o prazo que descreve uma falha de serviço documentada: a ação esperada é encaminhar o caso ao analista financeiro, com um resumo e sem promessa de devolução.
  • Segundo pedido para uma cobrança já reembolsada: a ação esperada é informar o reembolso existente e não criar nenhum registro novo.
  • Pedido em uma conta marcada para revisão de contestação de cobrança: a ação esperada é parar, informar que uma pessoa dará retorno e não enviar nada sobre a disputa.

O segundo pedido é onde um reembolso duplicado pode aparecer, caso a ferramenta de reembolso não tenha sido desenhada para repetições seguras. Por isso, os critérios de aprovação devem contar os registros de reembolso no sistema, e não apenas ler a resposta. Para o lado de desenho dessa verificação, veja ações idempotentes para reembolsos.

Mantenha o conjunto atual e defina quem é responsável por ele

Um conjunto de testes envelhece sem fazer barulho. Uma política muda, uma ferramenta devolve campos diferentes ou uma linha de produto é descontinuada, e uma ação que estava correta no trimestre passado passa a estar errada. Dê a cada caso uma versão de política e um responsável nomeado. Quando uma política mudar, marque os casos afetados para revisão em vez de apagá-los em silêncio, e aposente um caso somente com um motivo registrado por escrito. Acrescente novos casos a partir de cada escalonamento que o agente tratou mal, para que o conjunto cresça onde o negócio de fato falha. Para um método de remoção de casos desatualizados, veja manutenção de conjunto de avaliação e aposentadoria de casos antigos.

A Be Human desenha e opera esse tipo de conjunto como parte da operação gerenciada. O trabalho começa com o dono do negócio definindo qual fluxo o conjunto mede, como é o sucesso e quais ações exigem aprovação humana. Depois, a Be Human prepara a exportação anonimizada com a aprovação da empresa, rascunha os rótulos junto com as pessoas que executam o trabalho e mantém o conjunto sob controle de versão. Execuções recorrentes acompanham cada mudança em prompts, ferramentas ou modelos, e os resultados são revisados junto com as revisões de permissões, de modo que o conjunto cubra o que o agente tem autorização para fazer, e não apenas o que ele diz. Quando um modelo avalia respostas em texto livre, o avaliador é checado contra rótulos humanos antes que alguém dependa dele, como descrito em juízes com LLM para avaliar agentes de IA.

Se você não tem certeza de qual fila faria o melhor primeiro teste, o diagnóstico gratuito de IA da Be Human pode ajudar a encontrar a primeira tarefa que vale entregar a um agente.

Perguntas frequentes

Quantos casos um conjunto de avaliação útil precisa ter? Comece com um conjunto pequeno o bastante para que sua equipe revise cada caso e cada divergência de rótulo, porque um conjunto cuidadoso de algumas dezenas de casos é mais útil do que um conjunto grande em que ninguém confia. Acrescente casos sempre que surgir uma falha real que o conjunto não pegou. Cresça primeiro nos fluxos em que um erro é caro, e não de forma uniforme em todas as filas.

Podemos usar tickets de clientes diretamente se os dados ficarem dentro da empresa? O uso interno não elimina as obrigações sobre dados pessoais. Remova os detalhes pessoais antes da rotulagem, limite quem pode abrir o arquivo e confirme com o jurídico ou com a área de privacidade como a exportação é tratada onde sua empresa atua. Organizações brasileiras podem consultar as orientações publicadas pela Autoridade Nacional de Proteção de Dados (ANPD).

Um modelo de IA deve avaliar as respostas do agente? Um modelo pode ajudar com respostas em texto livre, mas precisa ser checado contra rótulos humanos antes que você confie nas suas notas. Para ações como reembolsos ou alterações de registros, verifique diretamente o estado do sistema, em vez de pedir a um modelo que leia a transcrição. Avaliadores baseados em modelo são mais úteis como segunda opinião sobre redação e tom.

Em que um conjunto de avaliação difere do monitoramento de execuções reais? Um conjunto de avaliação é um teste fixo que você executa antes de uma mudança entrar em produção, de modo que os mesmos casos gerem resultados comparáveis ao longo do tempo. O monitoramento acompanha execuções reais enquanto acontecem e sinaliza comportamentos fora do normal. Você precisa dos dois, e os casos vindos de alertas de monitoramento costumam ser os melhores candidatos para entrar no conjunto em seguida.

Seu próximo passo

Descubra primeiro onde um agente de IA cabe na sua empresa.

Faça o diagnóstico gratuito de IA da Be Human. Algumas perguntas sobre o seu trabalho mostram qual tarefa entregar primeiro a um agente, o que ele precisa saber e onde uma pessoa aprova.

Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.

Menos tarefas. Mais espaço para você.

Traga o trabalho para o qual falta tempo.

Agende uma conversa e teste 7 dias grátis um agente de IA personalizado ↗Ou faça o diagnóstico gratuito de IA →