Ir para conteúdo
be-human.ai
← Voltar ao blog

Testes e confiabilidade

Avaliação de tom de voz para agentes de IA: seis testes que funcionam

Avalie respostas de agentes de IA contra suas regras de voz com seis testes de tom, uma regra simples de aprovação e um registro que o dono possa ler.

Capa tipográfica do Be Human com o título: Avaliação de tom de voz para agentes de IA: seis testes que funcionam
Ilustração conceitual criada com IA · Be Human

Avaliações de tom de voz para agentes de atendimento são testes pequenos e repetíveis que pontuam cada resposta do agente contra as regras escritas de voz da empresa. Um conjunto útil tem de cinco a sete testes de tom, cada um com uma condição de aprovação clara, aplicados a uma amostra de respostas reais e conferidos por alguém que responde pela marca. O objetivo não é uma nota de tom perfeita, e sim um registro que mostre quando as respostas se afastam do jeito que a empresa quer soar.

Principais pontos

  • Transforme cada regra de voz em uma afirmação que o revisor possa responder com sim ou não.
  • Comece com seis testes ou menos e acrescente novos apenas depois que uma falha real mostrar uma lacuna.
  • Avalie fatos e tom separadamente, para que uma resposta educada, mas errada, também seja pega.
  • Calibre cada avaliador, humano ou automático, com os mesmos exemplos antes de confiar nos resultados.
  • Revise uma amostra por semana e registre toda mudança nas regras ou no agente.

Por que a voz precisa de testes, e não apenas de um guia de estilo

Um guia de estilo diz ao redator como a marca deve soar. Ele não diz se as respostas da semana passada realmente soaram assim. Um agente produz textos que variam de uma conversa para outra, então uma regra que parece clara em um documento pode ser aplicada de forma frouxa na prática. As avaliações de voz fecham essa lacuna ao transformar as regras em perguntas que um revisor, ou um modelo de pontuação conferido por um revisor, consegue responder sobre uma amostra de respostas reais.

O esforço vale a pena sempre que as respostas ao cliente levam o nome da empresa e uma resposta tecnicamente correta ainda pode soar descuidada, insistente ou fria. Isso cobre a maioria dos agentes voltados ao cliente. Também cobre o período depois de uma mudança de prompt, de uma atualização da base de conhecimento ou de uma troca de modelo, quando o tom costuma mudar e ninguém percebe até que um cliente perceba.

Escreva as regras de voz como afirmações que um revisor possa checar

A maioria dos guias de voz está cheia de adjetivos como caloroso, confiante e claro. Essas palavras são um ponto de partida, mas nenhum revisor consegue avaliar uma resposta pelo critério 'caloroso' sem uma definição. Reescreva cada adjetivo como um comportamento observável. 'Caloroso' pode virar 'cita o pedido ou o produto do cliente na primeira frase e nunca começa com um pedido de desculpas de modelo'. 'Confiante' pode virar 'informa o próximo passo em uma frase e não empilha várias ressalvas'.

Mantenha a lista de regras curta. Algumas regras específicas funcionam melhor do que uma lista longa que se sobrepõe. Acrescente um pequeno glossário de termos aprovados e proibidos, além de duas ou três respostas de exemplo que mostrem as regras em uso. Esses exemplos se tornam o conjunto de calibração para tudo o que vem depois.

Monte seis testes de tom para cada resposta ao cliente

Um ponto de partida prático tem seis testes. Cada um devolve um sim ou não simples para uma única resposta, o que mantém baixa a divergência entre revisores e deixa as tendências visíveis ao longo do tempo.

  • Nome e saudação: a resposta trata o cliente na forma que as regras escritas especificam.
  • Linguagem simples: sem jargão interno e sem nenhuma expressão da lista de proibidos.
  • Responsabilidade sem culpa: a resposta diz o que acontece em seguida e não culpa o cliente nem um terceiro.
  • Limites honestos: quando o agente não pode agir, diz isso e indica o caminho até uma pessoa.
  • Termos aprovados: nomes de produto, política e assinatura coincidem exatamente com o glossário.
  • Fatos antes do tom: uma checagem separada confirma se o conteúdo está correto, de modo que uma resposta educada e errada seja reprovada.

Mantenha a checagem de fatos separada do restante. Se tom e precisão forem misturados em uma única nota, uma resposta simpática com uma data de entrega errada ainda pode passar, e essa é a falha que você mais precisa enxergar. Os testes de tom só julgam respostas que já estão corretas.

Método passo a passo para pontuar e definir a linha de aprovação

  • Passo 1: Retire uma amostra de respostas recentes de uma mesma intenção, como dúvidas de entrega, e inclua algumas que os clientes escalaram para uma pessoa.
  • Passo 2: Peça que dois revisores pontuem o mesmo pequeno lote, de forma independente, com os seis testes, e anote cada divergência.
  • Passo 3: Reescreva qualquer regra em que os revisores discordaram e acrescente ao conjunto de calibração um exemplo claro de resposta.
  • Passo 4: Defina a linha de aprovação de cada teste antes de pontuar um novo lote, e envie para uma pessoa qualquer resposta que falhe na checagem de fatos, independentemente da nota de tom.
  • Passo 5: Repita as mesmas checagens após cada mudança de prompt, atualização de modelo ou nova fonte de conhecimento, e compare os resultados com a rodada anterior.
  • Passo 6: Registre cada resposta reprovada, o teste em que falhou e a mudança que se seguiu, em um formato que o dono consiga ler sem abrir o código.

Se um juiz automático avaliar o tom, confira-o primeiro contra os revisores humanos. Um juiz pode premiar uma redação que parece polida, mas não segue as suas regras. O guia sobre avaliação de agentes com LLM como juiz detalha essa checagem.

Cenário ilustrativo: uma resposta sobre entrega que acerta os fatos e erra a voz

Cenário ilustrativo: uma loja que vende equipamentos de cozinha usa um agente para responder dúvidas sobre entrega. Um cliente pergunta por que o pedido atrasou. A resposta informa corretamente o status da transportadora, mas começa com um pedido de desculpas genérico, diz 'infelizmente não conseguimos acelerar isso' e termina com 'peço que aguarde'. A checagem de fatos passa. Os testes de responsabilidade e de linguagem simples reprovam a resposta, que entra no registro com a regra que deixou de cumprir.

A correção não é reescrever o prompt inteiro. A equipe acrescenta um exemplo aprovado que informa o status da transportadora, a data prevista e o que o cliente pode fazer se essa data passar, e depois repete a mesma amostra na semana seguinte. A falha original permanece no registro, para que o dono confirme que a mudança resolveu um padrão e não apenas uma conversa. O retorno dos revisores da própria equipe funciona da mesma forma, como descrito em como transformar correções da equipe em regras do agente.

Como a Be Human conduz as checagens de voz em uma operação gerenciada

A Be Human trata as checagens de voz como parte de uma operação gerenciada, e não como um ajuste pontual de prompt. O trabalho começa definindo o papel do agente, as regras de voz que ele deve seguir e os limites de aprovação para respostas que tocam em reembolsos, reclamações ou temas jurídicos. O conjunto de testes é montado a partir de conversas que a equipe do cliente já aceita, de modo que o padrão venha do negócio e não de um modelo genérico. As checagens rodam em uma agenda recorrente, respostas reprovadas ou no limite são encaminhadas para uma pessoa nomeada, e cada mudança nas regras ou no agente é escrita em um registro de alterações legível. A abordagem é a mesma para um único agente em um idioma ou para uma equipe de agentes que trabalha em inglês e em português.

Mantenha os testes de voz atualizados e transforme-os em hábito do dono

A voz muda devagar. Uma nova linha de produtos, uma política alterada ou uma temporada com perguntas diferentes dos clientes podem mudar as respostas de um agente, mesmo quando ninguém editou o prompt. Defina uma revisão recorrente, mantenha a amostra misturando conversas de rotina e conversas escaladas, e aposente qualquer teste que nunca falha porque deixou de medir algo útil. Revise o registro com a pessoa responsável pela marca e também com a equipe de operações, já que é essa pessoa quem pode dizer se uma resposta ainda soa como a empresa.

Faça o diagnóstico gratuito de IA da Be Human para encontrar a primeira tarefa que vale a pena entregar a um agente.

Perguntas frequentes

Quantos testes uma avaliação de voz de marca deve incluir? Comece com cinco a sete testes que correspondam a regras que sua equipe já aplica manualmente. Cada teste precisa de uma condição de aprovação clara que dois revisores aplicariam do mesmo jeito. Acrescente um teste novo somente depois que uma falha real mostrar que o conjunto atual deixa algo passar.

Um juiz baseado em LLM consegue pontuar a voz da marca automaticamente? Consegue, mas só depois de ser conferido contra revisores humanos nas mesmas respostas. Compare as notas dele com as de duas pessoas em um lote pequeno, estude as divergências e mantenha uma pessoa no processo para qualquer resposta que toque em dinheiro, reclamações ou temas jurídicos.

Com que frequência as avaliações de voz devem rodar? Rode o conjunto completo após qualquer mudança de prompt, atualização de modelo ou nova fonte de conhecimento, e faça amostras de respostas recentes em uma agenda regular, semanal no início. Ajuste a frequência depois de ver com que frequência as falhas aparecem e com que rapidez são corrigidas.

Quem deve ser o dono das regras de voz? A pessoa responsável pela marca, como um líder de marketing ou de atendimento, deve ser dona das regras e aprovar as mudanças nelas. A equipe de operações executa os testes e registra os resultados. Mantenha as regras em um documento ao qual toda alteração no agente faça referência, para que a responsabilidade fique clara quando uma resposta der errado.

Seu próximo passo

Descubra primeiro onde um agente de IA cabe na sua empresa.

Faça o diagnóstico gratuito de IA da Be Human. Algumas perguntas sobre o seu trabalho mostram qual tarefa entregar primeiro a um agente, o que ele precisa saber e onde uma pessoa aprova.

Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.

Menos tarefas. Mais espaço para você.

Traga o trabalho para o qual falta tempo.

Agende uma conversa e teste 7 dias grátis um agente de IA personalizado ↗Ou faça o diagnóstico gratuito de IA →