Monte um conjunto de testes de referência para sua IA

Um conjunto de testes de referência reúne tarefas representativas com expectativas acordadas. Ele oferece uma base estável para avaliar mudanças em um fluxo de IA. O esperado pode ser um campo exato, uma ação permitida ou um padrão de qualidade revisado por pessoas, conforme a tarefa.

Escolha exemplos pela cobertura

Imagine um assistente classificando pedidos de suporte. Um conjunto útil inclui dúvidas comuns, pedidos mistos, ausência de identificação da conta e mensagens que exigem uma pessoa. Dez perguntas fáceis quase iguais revelam menos que uma coleção menor e variada.

Documente por que cada caso existe. Isso permite retirar redundâncias sem perder acidentalmente a cobertura de uma falha importante.

Dê um registro a cada caso

• Entrada: pedido e fontes que o sistema pode usar.
• Comportamento esperado: resposta, ação, esclarecimento ou recusa.
• Evidência: o que o revisor confere para determinar o acerto.
• Risco: consequência se o caso falhar.
• Origem: exemplo sintético ou fonte autorizada sem detalhes sensíveis.

Não escreva expectativas copiando a última resposta do agente. Peça ao responsável pelo processo que confirme independentemente o que deveria acontecer.

Proteja contra aprendizado do teste

Mantenha um conjunto para desenvolvimento e outro reservado para verificar releases. Se cada falha entra imediatamente no prompt, a nota pode subir sem provar confiabilidade mais ampla. Acrescente casos representativos ao longo do tempo e confira se os antigos ainda refletem a política atual.

Versione expectativas que dependem de regras. Um teste pode ficar errado quando a regra do negócio muda.

Use o conjunto na manutenção comum

Execute após mudanças relevantes em instruções, modelos, busca ou ferramentas. Compare regressões individuais, não apenas a taxa geral. Melhorar perguntas fáceis não compensa uma nova falha de envio não autorizado. O conjunto deve apoiar a decisão de publicação e indicar onde investigar.

Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.