Ir para conteúdo
be-human.ai
← Voltar ao blog

Testes e confiabilidade

Dados sintéticos para testar agentes de IA sem expor clientes

Crie registros sintéticos que espelham casos reais para testar agentes de IA sem expor dados de clientes ou funcionários. Método prático para operação.

Capa tipográfica do Be Human com o título: Dados sintéticos para testar agentes de IA sem expor clientes
Ilustração conceitual criada com IA · Be Human

Para testar um agente de IA sem expor dados de clientes ou funcionários, crie registros sintéticos que copiem a estrutura do trabalho real: os mesmos campos, as mesmas entradas imperfeitas e os mesmos pontos de decisão, sem nenhum dado de pessoa real. Anote as decisões que o agente toma, gere registros que obriguem cada decisão e associe a cada caso o resultado que um profissional experiente aceitaria. Mantenha o gerador, as respostas esperadas e as regras de acesso sob controle de versão, para que o mesmo conjunto de testes possa ser executado de novo após cada mudança.

Principais pontos

  • Os registros sintéticos devem ter a estrutura e a dificuldade do trabalho real, não a identidade de pessoas reais.
  • Cada caso de teste precisa de um resultado esperado escrito por alguém que executa o processo hoje.
  • Inclua erros, campos ausentes, conflitos e pedidos fora do comum, e não apenas exemplos limpos.
  • Gere e execute os dados de teste em um ambiente onde o agente não tenha credenciais de produção.
  • Revise o conjunto de testes periodicamente, porque o trabalho muda e casos desatualizados geram falsa confiança.

Por que registros reais devem ficar fora dos testes de agentes

Testar com dados de produção parece mais rápido, porque os dados já existem. No entanto, cada cópia de um cadastro de cliente cria mais um lugar onde dados pessoais podem vazar, ser guardados por mais tempo do que o previsto ou ser lidos por pessoas e ferramentas que nunca precisaram deles. Registros de funcionários carregam o mesmo risco com sensibilidade adicional, já que costumam incluir salário, avaliações de desempenho e afastamentos por motivos de saúde.

Frameworks de governança, como o NIST AI Risk Management Framework, pedem que as organizações documentem como os sistemas de IA são testados e quais dados eles tocam. Regras de privacidade, incluindo a Lei Geral de Proteção de Dados (LGPD), esperam que dados pessoais sejam usados apenas para uma finalidade declarada. Você não precisa de um parecer jurídico para agir com base nisso. O ambiente de teste deve conter apenas o que o teste exige, nada além disso.

Comece pelas decisões, não pelo banco de dados

A maioria das equipes começa copiando o esquema de um banco de dados. Um esquema mostra a forma dos dados, mas não indica quais partes importam para o trabalho do agente. Comece, então, pelas decisões que o agente toma: qual categoria atribuir, qual prioridade definir, se deve responder automaticamente, se deve gravar algo em um sistema ou encaminhar o caso a uma pessoa. Para cada decisão, liste as informações que uma pessoa consultaria antes de decidir. Essas informações definem os campos que o seu registro sintético precisa ter.

O tipo de decisão também determina o que o teste deve verificar:

  • Se o agente apenas redige um texto para uma pessoa aprovar, teste os fatos usados, o tom e se ele inventa detalhes.
  • Se o agente grava em um sistema, como um reembolso, uma reserva ou uma mudança de status, teste os campos exatos que ele grava e as condições que deveriam bloquear a gravação.
  • Se o agente busca documentos para responder a uma pergunta, teste se ele encontra o documento correto e o cita.
  • Se o agente encaminha trabalho para pessoas, teste se a passagem contém os fatos que o destinatário precisa, sem o histórico completo.

Construa o gerador em seis etapas

Um gerador útil é simples o bastante para que o dono do processo consiga lê-lo. Siga estas etapas na ordem:

  • Escreva um dicionário de campos com nome, tipo, valores permitidos, formato e a pessoa que preenche cada campo no processo real.
  • Gere nomes, endereços e identificadores a partir de um conjunto fictício, nunca editando registros reais e trocando algumas letras.
  • Use formatos reservados ou claramente inválidos para identificadores como CPF ou número de cadastro, para que um valor sintético não seja confundido com um real.
  • Defina a distribuição manualmente para os casos que importam, como tipos de produto raros, regiões incomuns ou fluxos de aprovação pouco frequentes, em vez de repetir as médias de produção.
  • Associe um resultado esperado a cada registro, escrito por uma pessoa que saiba o que é um resultado correto.
  • Rotule cada registro com o cenário que ele cobre, para que as falhas possam ser agrupadas e as áreas fracas fiquem visíveis.

Guarde o gerador e os resultados esperados juntos, com um número de versão. Quando o processo mudar, atualize os dois, e o histórico de testes mostrará de qual versão veio cada resultado.

Evite treinar um gerador de dados com registros reais para deixar a saída mais realista. Um modelo treinado com dados de clientes pode reproduzir combinações raras que levam de volta a uma pessoa real. Um gerador baseado em regras impressiona menos em uma demonstração, mas é mais fácil de explicar e de auditar.

Inclua os casos confusos que o trabalho real contém

Dados sintéticos limpos produzem notas limpas, e notas limpas dizem pouco sobre a produção. Pedidos reais incluem nomes com erro de digitação, envios duplicados, duas mensagens que se contradizem, um CEP ausente, um pedido escrito em português com nomes de produtos em inglês, datas em formatos variados e um anexo que é uma imagem digitalizada com a página torta. Inclua esses casos de forma deliberada e dê mais peso ao conjunto nas situações em que um erro custaria mais.

Cenário ilustrativo: uma empresa de serviços testa um agente que responde dúvidas sobre cobrança. O gerador cria uma cliente fictícia com duas faturas, uma delas paga duas vezes, e uma mensagem pedindo reembolso da outra fatura. O resultado esperado é um pedido de reembolso encaminhado a uma pessoa, com as duas faturas listadas e nenhum pagamento automático. Um agente que passa apenas nos casos simples costuma falhar nesse, e essa falha é o motivo para o caso fazer parte do conjunto.

Quando um caso real dá errado, transforme-o em uma versão sintética no mesmo dia. Mantenha a estrutura e a dificuldade, substitua todos os valores identificadores e acrescente o resultado corrigido ao conjunto. Assim, o agente precisa continuar passando em um caso que já causou problema uma vez.

Mantenha os dados de teste longe das permissões de produção

Dados sintéticos protegem pessoas somente se o agente não conseguir acessar sistemas reais durante os testes. Execute as avaliações em ferramentas de sandbox, com credenciais restritas a contas de teste. Os princípios de autorização da OWASP Authorization Cheat Sheet se aplicam aqui: cada identidade deve ter apenas os direitos que sua tarefa exige, nada que permita a um teste alcançar um registro de cliente ativo.

Na prática, isso significa:

  • Credenciais separadas para teste e produção, sem segredos compartilhados entre os dois.
  • Simulações das ferramentas que registram a escrita pretendida em vez de executá-la, para que você possa inspecionar o que o agente tentou fazer.
  • Memória isolada por ambiente, limpa entre as execuções de teste, a menos que um caso específico exija persistência.
  • Registros que guardam os identificadores do gerador, nunca valores copiados da produção, mesmo quando os logs são compartilhados com fornecedores ou revisores.

Confira essas configurações após cada mudança de integração. Uma nova ferramenta ou um escopo de token ampliado pode desfazer silenciosamente um limite que funcionava no mês anterior.

Como verificar se o conjunto de testes é realista o bastante

Realismo significa que a estrutura corresponde ao seu trabalho. Não significa que os nomes soem plausíveis. Peça ao dono do processo que leia uma amostra de registros e responda a duas perguntas: um registro como este apareceria em uma semana normal? O resultado esperado seria o que ele escolheria? Registros que falhem em qualquer uma das perguntas devem ser reescritos antes de o conjunto ser usado como referência.

Depois, verifique se os resultados sintéticos antecipam o comportamento real. Execute o agente em modo sombra sobre trabalho real, em que ele propõe ações, mas uma pessoa decide, e compare as propostas com os resultados sintéticos. Se o agente acerta todos os casos sintéticos de cobrança, mas erra nos reais, o conjunto está deixando de fora um padrão, e o gerador precisa de um novo cenário. A abordagem de piloto em modo sombra costuma ser o próximo passo antes de conceder qualquer autoridade ao agente.

Mantenha o conjunto atualizado. Aposente os casos que descrevem um processo que você não executa mais e acrescente casos para novos produtos, novos canais ou novas regras. Um conjunto de referência pequeno e revisado é mais útil que um grande que ninguém mantém. Para a questão mais ampla de quais trabalhos devem ser medidos primeiro, veja como avaliar agentes de IA em tarefas de negócio.

Como a Be Human trabalha com dados sintéticos de teste em operações gerenciadas

Em um projeto com a Be Human, os dados de teste de cada função do agente são desenhados na primeira fase, junto com a própria função: os campos que o agente precisa, o gerador sintético, os resultados esperados escritos com o dono do processo e as ferramentas de sandbox usadas na avaliação. Revisões de permissão e avaliações recorrentes mantêm depois o conjunto de testes alinhado ao trabalho conforme ele muda, e o gerador é atualizado quando surge um novo tipo de caso em produção.

Se você não tem certeza de qual tarefa testar primeiro, o diagnóstico gratuito de IA da Be Human pode ajudar a identificar a primeira tarefa que vale entregar a um agente.

Perguntas frequentes

Posso usar registros reais se eu remover nomes e e-mails? Remover identificadores diretos é um primeiro passo útil, mas raramente é suficiente. Detalhes de pedidos, datas, localizações e combinações raras ainda podem apontar para uma pessoa, e registros de funcionários costumam revelar mais do que parecem. Trate qualquer cópia de dados reais como sensível e confirme a abordagem com o responsável por privacidade ou jurídico antes de usá-la.

Quantos casos sintéticos preciso para que o teste tenha valor? Comece com um conjunto pequeno que cubra todos os caminhos de decisão e todas as falhas que você já viu em produção. Acrescentar muitos registros parecidos gera mais custo do que informação. Amplie o conjunto quando surgir um novo cenário e aposente os casos que não refletem mais o trabalho.

Dados sintéticos mostram como um agente vai se comportar no trabalho real? Eles mostram como o agente lida com as situações que você lembrou de incluir, o que é valioso, mas incompleto. Combine as avaliações sintéticas com um período supervisionado no trabalho real, em que o agente propõe ações e uma pessoa as aprova. A diferença entre os dois resultados indica onde o conjunto de testes precisa de casos novos.

Dados sintéticos atendem automaticamente às regras de privacidade? Dados sintéticos reduzem a exposição quando não contêm informação pessoal real e não podem ser associados a uma pessoa real. Se o seu uso específico atende às regras depende da finalidade, da jurisdição e de como os dados foram produzidos. Por isso, documente o método de geração e revise-o com os responsáveis por privacidade.

Seu próximo passo

Descubra primeiro onde um agente de IA cabe na sua empresa.

Faça o diagnóstico gratuito de IA da Be Human. Algumas perguntas sobre o seu trabalho mostram qual tarefa entregar primeiro a um agente, o que ele precisa saber e onde uma pessoa aprova.

Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.

Menos tarefas. Mais espaço para você.

Traga o trabalho para o qual falta tempo.

Agende uma conversa e teste 7 dias grátis um agente de IA personalizado ↗Ou faça o diagnóstico gratuito de IA →