Como coletar feedback dos funcionários sobre o agente de IA e agir

Para coletar feedback dos funcionários sobre o agente de IA, ofereça uma forma rápida de sinalizar uma resposta boa ou ruim no momento em que ela acontece. Some a isso uma conversa curta e recorrente com alguns usuários frequentes e registre cada item com os mesmos poucos campos. Depois, agrupe os itens por causa, ordene por frequência e gravidade do impacto no trabalho e transforme os principais em mudanças específicas, testadas antes de ir ao ar.

Principais pontos

• Capture o feedback dentro da ferramenta que as pessoas já usam, no momento da resposta, com uma ação e uma frase opcional.
• Combine isso com uma conversa curta e recorrente com alguns usuários frequentes, porque botões não captam contexto nem silêncio.
• Registre cada item com os mesmos campos (tarefa, o que aconteceu, o que era esperado, consequência) para que as reclamações possam ser comparadas, e não discutidas.
• Ordene por frequência, gravidade e facilidade de correção, e então indique a camada que precisa mudar: instruções, conhecimento, ferramentas, permissões ou regras de aprovação.
• Toda mudança precisa de um teste construído a partir da reclamação original, e quem reclamou deve saber o que aconteceu.

Por que o feedback informal raramente melhora um agente?

A maioria das empresas começa perguntando: “O que você acha do agente?”. As respostas são opiniões: ajuda, incomoda, parece lento. Nada disso diz a alguém o que mudar na segunda-feira.

Três padrões se repetem. Primeiro, o feedback chega em corredores, conversas de chat e reuniões, então ninguém é dono dele e ninguém enxerga o padrão. Segundo, as reclamações vêm como sintomas. Cinco pessoas descrevem cinco incômodos diferentes, e a causa é um único documento desatualizado. Terceiro, as correções são feitas editando as instruções do agente na hora. Isso passa a impressão de agilidade, mas cada edição sem registro pode quebrar em silêncio algo que funcionava.

O remédio é tratar o feedback como dado operacional. Uma reclamação vira um evento com tarefa, resultado, expectativa e consequência. É a mesma ideia por trás da observabilidade em geral: não se melhora o que não se enxerga, e o que se enxerga precisa ser estruturado o bastante para permitir comparação. O material introdutório sobre observabilidade da documentação do OpenTelemetry explica bem essa lógica para sistemas de software, e ela vale também para o trabalho de um agente.

Há ainda uma razão ligada às pessoas para fazer isso direito. Quem relata um problema e nunca recebe retorno deixa de relatar. Se você ainda está construindo confiança na ferramenta, leia também Como engajar a equipe no uso de agentes de IA junto com este artigo.

Quais canais leves realmente são usados?

O melhor canal é o que exige menos esforço do funcionário. Ofereça vários, porque problemas diferentes aparecem de formas diferentes.

• Sinalização no fluxo: uma única reação em cada resposta, como útil, errada ou precisa de uma pessoa para olhar. Acrescente uma linha opcional de texto livre. Isso registra o momento enquanto o contexto está fresco.
• Endereço de encaminhamento: quando o agente trata mal um e-mail, um chamado ou um documento, o funcionário encaminha o item para uma caixa dedicada com uma nota de uma linha. Sem formulário, sem login.
• Modelo curto de registro: um formulário compartilhado ou uma mensagem em um canal, para problemas percebidos depois, com quatro perguntas: o que eu estava fazendo, o que o agente fez, o que eu esperava, o que isso me custou.
• Conversa recorrente: um bate-papo curto, semanal no início, com um pequeno grupo de pessoas que usam o agente em trabalho real. Peça os três últimos momentos de frustração e o último momento útil, não a impressão geral.
• Sessão observada: sente ao lado de alguém durante uma tarefa real e observe. As pessoas muitas vezes não relatam os contornos que já deixaram de notar.
• Sinais silenciosos: quantas vezes um rascunho é reescrito quase por inteiro, quantas vezes o trabalho volta para uma pessoa, quais perguntas são feitas duas vezes. Não são feedback no sentido estrito, mas indicam onde olhar.

Uma observação sobre privacidade e confiança. Diga às pessoas o que é registrado e quem lê. Mantenha o feedback sobre o agente separado da avaliação do funcionário. Se uma conversa sinalizada contiver dados sensíveis de clientes ou dados pessoais, o registro de feedback deve apontar para ela, respeitando as mesmas regras de acesso, em vez de copiá-la para uma planilha.

O que cada item de feedback deve registrar?

Consistência vale mais que detalhe. Se todo item tem os mesmos campos, dá para ordenar, contar e comparar. Mantenha o formulário curto o suficiente para que as pessoas o preencham mesmo ocupadas.

• A tarefa: o que a pessoa tentava fazer, nas palavras dela.
• O resultado ou a ação do agente, com um link para a conversa ou o log em vez de uma cópia colada.
• O que ela esperava no lugar, mesmo que de forma aproximada.
• A consequência: tempo perdido, retrabalho, um quase erro, uma mensagem errada enviada para fora da empresa.
• A função de quem relatou, para que seja possível fazer perguntas de acompanhamento e ver quais áreas são afetadas.
• Um tipo provisório: conteúdo errado, conhecimento ausente, uso errado de ferramenta, tom ou formato, lentidão, pergunta demais, faz coisa demais.

Guarde as palavras originais de quem relatou, sem editar. Quando alguém classificar o item depois, a frase original deve continuar lá, porque o primeiro rótulo costuma estar errado.

Como transformar reclamações em mudanças priorizadas e testáveis?

Faça uma revisão semanal com um responsável definido. Ela não precisa ser longa. O objetivo é levar cada item pelos mesmos passos.

• Passo um: reúna tudo em um só lugar. Una duplicatas e marque os itens que repetem o mesmo evento.
• Passo dois: agrupe por causa, não por redação. “Horário errado”, “ofereceu um dia fechado” e “contradiz o site” podem ser um único grupo.
• Passo três: indique a camada que precisa mudar. São as instruções, o conhecimento que o agente lê, uma ferramenta que ele chama, uma permissão que falta ou sobra, uma regra de aprovação ou o próprio modelo? Às vezes a resposta é que ninguém explicou às pessoas para que serve o agente, e aí a correção é treinamento. Veja Treinamento de funcionários para trabalhar com agentes de IA.
• Passo quatro: pontue cada grupo com três perguntas. Com que frequência acontece? Quanto custa quando acontece? É fácil corrigir com segurança? Não faça média cega das notas. Tudo que envolva uma ação errada fora da empresa ou a exposição de dados privados vai para o topo, independentemente da frequência.
• Passo cinco: escreva cada mudança como uma afirmação testável: “Quando um cliente perguntar sobre o horário de funcionamento, o agente responde a partir da página de horários atual e não oferece um dia marcado como fechado.” Se você não consegue escrever assim, a mudança ainda não foi compreendida.
• Passo seis: transforme as reclamações originais em casos de teste. Os exemplos que provocaram a reclamação passam a ser a prova de que ela foi resolvida.
• Passo sete: decida a liberação. Agrupe mudanças pequenas, defina um responsável e uma data, e registre o que você espera que melhore.
• Passo oito: feche o ciclo. Conte a quem relatou o que mudou, ou por que nada mudou.

A disciplina aqui é separar três coisas que as reclamações misturam: o que aconteceu, por que aconteceu e o que mudar. Só a última entra no plano.

Como isso funciona na prática?

Este é um cenário ilustrativo, não um caso real.

Uma empresa de serviços tem um agente que redige respostas a pedidos de agendamento, e a equipe revisa antes de enviar. Nas primeiras semanas do canal de feedback, a revisão mostra quatro tipos de comentário: o agente erra o horário de funcionamento, oferece um horário de sábado, escreve respostas longas demais e às vezes pede ao cliente dados que já estavam no pedido.

A responsável agrupa os comentários. Os dois primeiros têm a mesma causa: dois documentos que o agente lê trazem horários diferentes, e um deles está desatualizado. É um problema de conhecimento, não de instrução, e como uma oferta errada chega ao cliente, ele fica em primeiro lugar. O terceiro é questão de tom e formato, barata de corrigir e de baixo risco. O quarto afeta apenas pedidos que chegam por um formulário específico, o que sugere um problema de ferramenta ou de entrada e exige investigação antes de qualquer mudança.

O plano tem três itens. Corrigir a fonte de conhecimento e definir um responsável por ela (veja Como evitar que contexto antigo engane seu agente de IA). Acrescentar às instruções uma regra de tamanho e formato com dois exemplos de resposta. Investigar a entrada do formulário antes de mexer em qualquer outra coisa. Cada item recebe casos de teste tirados das reclamações reais. Quem relatou é informado de quais correções foram publicadas e de qual ainda está em investigação.

Repare no que não foi feito. Ninguém reescreveu todo o conjunto de instruções porque algumas pessoas ficaram irritadas.

Como testar uma mudança antes que todos a vejam?

A correção de uma reclamação pode causar outra. A proteção é um conjunto pequeno e estável de exemplos, executado antes e depois de cada mudança. As reclamações coletadas são a melhor matéria-prima para ele, junto com alguns exemplos de trabalho que o agente já faz bem, para que você perceba se uma correção os prejudica. Monte esse conjunto de referência com casos reais do seu fluxo, guardando para cada um o resultado esperado.

Para cada mudança, rode a versão antiga e a nova nos mesmos casos e compare. Confira se a reclamação visada foi resolvida, se os casos que já funcionavam continuam passando e se nada novo cruza um limite de aprovação. Os guias de avaliação dos provedores de modelos são uma boa referência para a parte mecânica. O guia de evals da OpenAI e o artigo da Anthropic “Demystifying evals for AI agents” insistem em definir primeiro o comportamento esperado e verificar os resultados contra ele repetidamente, não uma única vez.

Depois, libere com cuidado. Mostre a mudança primeiro a quem relatou o problema, já que essas pessoas conhecem melhor o caso. Mantenha a versão anterior disponível para poder reverter. Como atualizar agente de IA em produção sem quebrar nada detalha a mecânica da liberação.

Dois hábitos mantêm esse ciclo saudável ao longo do tempo. Verifique, algumas semanas depois, se uma reclamação corrigida continua corrigida, porque conhecimento e ferramentas mudam. E acompanhe se o número de reclamações por grupo cai, em vez do total de reclamações, já que uma base de usuários crescente pode elevar o total enquanto o agente melhora.

Como a Be Human conduz o ciclo de feedback dos funcionários?

A Be Human trata o feedback como parte do contexto operacional do agente, definido no primeiro trabalho conjunto, ao lado da função, da memória e das ferramentas, dos limites de aprovação e do critério de sucesso. Na operação gerenciada, os canais de coleta são montados onde a equipe já trabalha, os itens relatados são revisados de forma recorrente, e cada mudança aceita é escrita como uma afirmação testável, conferida contra exemplos de avaliação e liberada de maneira controlada. Mudanças que tocam permissões ou regras de aprovação são revisadas pela empresa antes de entrar no ar, e a empresa mantém o controle da identidade, da memória e dos acessos do agente.

Perguntas frequentes

Quem deve ser o dono do processo de feedback? Uma pessoa definida do lado do negócio deve cuidar da revisão semanal e da ordem de prioridade, porque entende o trabalho. O operador técnico, interno ou parceiro, cuida dos testes e da liberação das mudanças. Dividir assim mantém as prioridades ligadas ao impacto no negócio e as mudanças seguras.

Quanto feedback precisamos antes de mudar alguma coisa? Não é preciso um grande volume. Uma única falha séria, como uma mensagem errada enviada a um cliente, justifica correção imediata e um novo caso de teste. Para incômodos menores, espere um padrão aparecer entre várias pessoas ou várias semanas, para não ajustar o agente à preferência de uma só pessoa.

Os funcionários devem ver o que aconteceu com o feedback deles? Sim. Uma nota breve dizendo o que mudou, o que está em investigação e o que foi recusado, com o motivo, faz mais pela participação contínua do que qualquer incentivo. Ela também mostra que o agente é um sistema gerenciado, com responsáveis, e não um produto fixo que se deve tolerar.

E se os funcionários dizem que o agente é inútil e não dão detalhes? Trate isso como um sinal para observar, não para discutir. Sente com alguns usuários em uma tarefa real, veja onde eles contornam o agente e confira se a função dele cobre o trabalho que as pessoas de fato fazem. Às vezes a conclusão é que o agente está resolvendo a tarefa errada, o que é uma questão de definição de função e vale resolver antes de qualquer ajuste. O guia sobre critérios de sucesso para piloto de agente de IA pode ajudar a realinhar as expectativas.

Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.