Lacunas de agentes de IA: como registrar perguntas sem resposta

Uma lacuna de conhecimento de agente de IA é uma pergunta de um cliente ou de um membro da equipe que o agente não consegue responder corretamente com base na sua memória, nos seus documentos ou nas suas ferramentas. Você encontra essas lacunas registrando cada pergunta sem resposta ou escalada com os mesmos campos, sempre, e depois agrupando os registros por causa. Cada grupo vira uma correção de documentação, um item de memória, uma mudança em ferramenta ou uma regra de encaminhamento para uma pessoa. Registradas assim, as lacunas formam uma lista priorizada para agir, em vez de uma impressão vaga de que o agente não é bom o suficiente.

Principais pontos

• Uma lacuna é uma pergunta que o agente não soube responder corretamente. Uma resposta errada é outro problema e precisa de um registro próprio.
• Registre a pergunta, o contexto, o que o agente fez e como a pergunta foi resolvida no fim, sempre com os mesmos campos.
• Agrupe os registros por causa (documento ausente, fato desatualizado, falha de busca, ferramenta ou permissão ausente, política pouco clara) antes de decidir o que mudar.
• Priorize cada grupo pela frequência, pelo custo de uma resposta errada e pelo esforço da correção, e então dê a ele um único responsável e uma data de reteste.
• Feche o ciclo verificando se a próxima pergunta parecida recebe uma resposta correta, com uma fonte visível.

O que conta como lacuna de conhecimento?

Uma lacuna é qualquer pergunta para a qual o agente deveria ter uma resposta e não teve. Isso inclui uma recusa simples, como “não tenho essa informação”, uma resposta vaga que deixa a pessoa travada e um encaminhamento para um humano quando a resposta deveria estar disponível. Tome cuidado com duas categorias vizinhas. Uma resposta errada é mais grave do que uma lacuna, porque alguém pode agir com base nela, então registre-a separadamente, com a resposta que foi dada. Um limite é uma pergunta que o agente não deve responder, como um reembolso acima de um valor definido por você ou uma avaliação clínica, e o comportamento correto é passar a pergunta para uma pessoa. Os limites também devem estar no registro, porque mostram quais regras estão funcionando e quais pedidos continuam chegando ao lugar errado.

As perguntas internas importam tanto quanto as dos clientes. Um integrante da equipe que pergunta ao agente sobre uma exceção de garantia, o horário em um feriado ou o texto aprovado para avisar um atraso está mostrando uma lacuna no conhecimento compartilhado da empresa. Muitas dessas perguntas nunca chegam a uma fila de suporte. Aparecem no chat, recebem uma resposta fraca e são esquecidas.

Cenário ilustrativo: uma locadora de equipamentos pequena dá ao agente acesso à tabela de diárias, à política de devolução e à agenda de reservas. Ao longo de uma semana, a equipe faz várias perguntas sobre multas por devolução atrasada em locações de vários dias. A tabela cobre as diárias, mas não diz nada sobre multas, então o agente chuta ou encaminha. Sem registro, a equipe só ouve que o agente não é confiável. Com registro, ela vê uma lacuna repetida, com uma causa clara.

Quais campos cada registro deve ter?

O registro só é útil se os registros forem comparáveis. Uma planilha ou uma tabela simples na sua ferramenta de atendimento já basta para começar. Cada registro deve conter os seguintes campos:

• A pergunta como foi feita, com dados pessoais removidos ou trocados por um rótulo.
• O canal e o papel de quem perguntou, como cliente, técnico, gerente ou recepção.
• O tema ou a área do negócio a que a pergunta pertence.
• O que o agente devolveu: recusa, resposta errada, resposta parcial ou encaminhamento.
• Quais fontes ou ferramentas o agente usou, se usou alguma, e se tinha acesso às corretas.
• Como uma pessoa resolveu a pergunta e onde a resposta correta foi encontrada.
• Um palpite inicial sobre a causa, marcado como palpite, para ser confirmado na revisão.
• A data do registro e um responsável pelo acompanhamento.

Não cole registros completos de clientes no log. Guarde o mínimo necessário para reproduzir a pergunta. Se a pergunta contiver dados de saúde, financeiros ou de identidade, mantenha a categoria e omita o detalhe. As orientações sobre dados sensíveis na memória de agentes de IA valem também para os registros, porque eles também são dados armazenados.

Como começar a registrar sem montar um sistema grande?

Comece com um período de captura curto, com prazo definido, e uma regra clara sobre o que entra no registro. Uma equipe que tenta registrar tudo costuma desistir em uma semana. Uma equipe que registra apenas perguntas não resolvidas e encaminhamentos consegue manter o hábito.

• Passo um: escolha um canal ou um papel de agente em que as perguntas já chegam a uma pessoa, como a caixa de suporte ou o chat da operação.
• Passo dois: combine o gatilho. Registre toda recusa, todo encaminhamento causado por falta de informação e toda resposta que um integrante da equipe precisou corrigir.
• Passo três: designe uma pessoa para cuidar do registro durante o período de captura. Ela não precisa responder todas as perguntas, mas precisa garantir que os registros estejam completos.
• Passo quatro: adicione os campos da seção anterior e teste-os com dez registros reais. Remova os campos que ninguém preenche e acrescente qualquer campo que teria ajudado você a encontrar a resposta.
• Passo cinco: revise o registro em um horário fixo toda semana. Leia os registros novos, marque os duplicados e anote a primeira causa suspeita de cada padrão novo.
• Passo seis: ao fim do período de captura, decida quais grupos valem a correção e quais devem ficar como limites conhecidos.

A documentação de observabilidade do OpenTelemetry descreve a mesma disciplina em termos de engenharia: coletar sinais consistentes, com contexto suficiente para explicar o que aconteceu. Um registro de lacunas de conhecimento é uma versão mais simples e voltada ao negócio dessa ideia.

Como agrupar as lacunas por causa?

Agrupar é o que transforma a lista em algo útil. Duas perguntas com a mesma redação podem ter causas diferentes, e duas perguntas com redações diferentes podem compartilhar uma só causa. Classifique cada registro em uma causa principal:

• Fonte ausente: a resposta existe na cabeça de uma pessoa ou em um canal informal, mas nunca foi escrita. A correção é capturar esse conhecimento e revisá-lo antes que o agente o use.
• Fonte desatualizada: a resposta foi escrita, mas mudou depois. A correção é atualizar o documento, aposentar a versão antiga e garantir que o agente cite a versão atual.
• Falha de busca: a resposta existe em um documento que o agente podia acessar, mas ele não a encontrou. A correção pode ser títulos mais claros, uma divisão melhor do texto ou um teste de busca, não conteúdo novo.
• Ferramenta ou permissão ausente: a resposta depende de um sistema em tempo real, como o status de um pedido ou uma agenda, e o agente não tem acesso ou não tem um caminho aprovado até ele. A correção exige uma decisão sobre acesso, que deve passar por uma revisão de permissões.
• Política pouco clara: a resposta depende de um julgamento que a empresa nunca fez. A correção é uma decisão do gerente responsável, não um palpite escrito na memória do agente.
• Fora do escopo: a pergunta nunca deveria chegar ao agente. A correção é mudar o roteamento, não o conteúdo.

O processo de teste de qualidade da busca ajuda a separar a falha de busca da fonte ausente. Pergunte se a resposta existe em um documento que o agente pode ler e, depois, se ele a recupera com a redação exata da pergunta. Só depois disso faz sentido escrever documentação nova.

Como transformar grupos em uma lista priorizada?

Depois que cada registro tem uma causa, pontue os grupos. Mantenha a pontuação simples o bastante para que um gerente a aplique em uma revisão curta. Três critérios costumam bastar: com que frequência o grupo aparece no período de captura, quanto custa para o negócio uma resposta errada ou ausente e quanto esforço a correção exige. A frequência sozinha pode enganar, porque uma pergunta rara sobre reembolso pode importar mais do que uma pergunta comum sobre horário de funcionamento.

O guia de decisão abaixo transforma cada causa na próxima ação:

• Se a causa for fonte ausente ou desatualizada, escreva ou atualize o documento, designe um responsável e marque uma data de revisão.
• Se a causa for falha de busca, rode um teste de busca com a redação exata da pergunta e ajuste títulos e estrutura antes de acrescentar conteúdo.
• Se a causa for ferramenta ou permissão ausente, prepare um pedido de acesso com a fronteira de aprovação declarada, e não conceda acesso dentro da conversa do agente.
• Se a causa for política pouco clara, envie a pergunta ao responsável pela decisão e mantenha o agente em encaminhamento até que a resposta seja registrada.
• Se a causa for fora do escopo, altere o roteamento para que as pessoas não enviem esse pedido ao agente.

Cada item priorizado precisa de um responsável e de uma data de reteste. Sem responsável, a lista vira um documento que ninguém lê. Sem data de reteste, ninguém consegue saber se a correção funcionou.

Como confirmar que uma lacuna foi fechada?

Uma lacuna só está fechada quando o mesmo tipo de pergunta recebe uma resposta correta, com uma fonte que um integrante da equipe consegue conferir. Pegue as perguntas do grupo e mantenha-as como um conjunto pequeno de testes. Inclua a redação original, duas ou três variações e pelo menos uma pergunta que deve continuar sendo recusada. Depois de cada correção, rode o conjunto e registre o resultado. As orientações da Anthropic sobre avaliações de agentes de IA descrevem esse padrão de montar conjuntos de tarefas a partir de falhas reais e executá-los de novo após cada mudança, que é o hábito que um registro de lacunas precisa.

Mantenha esse conjunto de testes. As lacunas tendem a voltar depois que documentos mudam, ferramentas são atualizadas ou um novo integrante faz a mesma pergunta de outro jeito. Um conjunto pequeno e repetível é o alerta precoce mais barato que você pode ter.

Como a abordagem gerenciada da Be Human lida com isso?

A Be Human desenha o registro como parte do primeiro projeto, começando por um papel de agente e pelas perguntas que ele deve receber, para que os campos correspondam ao trabalho real. Na operação gerenciada, o registro alimenta avaliações recorrentes, em que os grupos são revisados e priorizados junto com o dono do negócio. Mudanças de documentação, atualizações de memória e mudanças de ferramentas são tratadas como melhorias controladas, cada uma com uma fronteira de aprovação, e revisões de permissão verificam se o agente deveria ter acesso às fontes por trás de uma correção. O trabalho da Be Human é manter a lista atualizada e as mudanças rastreáveis, enquanto as decisões sobre política continuam com as pessoas responsáveis por elas.

Manter o registro útil ao longo do tempo

Revise o registro em uma agenda fixa. A revisão semanal funciona bem no primeiro mês, e depois uma revisão mensal costuma bastar, quando os grupos principais já estiverem fechados. Arquive os grupos encerrados com a data e as evidências, para que você consiga explicar depois por que uma regra ou um documento existe. O AI Risk Management Framework do NIST trata a gestão de riscos como um trabalho contínuo ao longo da vida de um sistema, e um registro de lacunas é uma forma prática de manter esse trabalho visível. Se o seu agente tem uma função que importa, a primeira tarefa útil para entregar a ele costuma ser aquela que o seu registro já marcou como recorrente. Para identificar essa tarefa, faça o diagnóstico gratuito de IA da Be Human.

Perguntas frequentes

Qual é a diferença entre uma lacuna de conhecimento e uma resposta errada? Uma lacuna é uma pergunta que o agente não conseguiu responder corretamente, geralmente porque recusou, escalou ou deu uma resposta parcial sem fonte. Uma resposta errada é aquela que o agente deu com confiança e de forma incorreta, o que pode causar dano real, porque as pessoas podem agir com base nela. Registre as respostas erradas separadamente, com a resposta que foi dada, e revise-as primeiro.

Quantas perguntas preciso registrar para que a lista seja útil? Você não precisa de uma amostra grande para ver os primeiros padrões, mas precisa de dados suficientes para não ficar adivinhando. Faça um período de captura curto em um canal e em um papel de agente, e depois revise os registros em conjunto. Assim que a mesma causa aparecer mais de uma vez, você tem um grupo que vale a pena examinar, mesmo que o volume total ainda seja pequeno.

O agente deve aprender com as lacunas automaticamente? Não. As lacunas devem ser revisadas antes que qualquer resposta vire memória ou documentação, porque um fato errado guardado na memória pode ser repetido por meses. A equipe deve confirmar a resposta correta, indicar a fonte e marcar uma data de revisão. Só então o agente deve usá-la, e a mudança precisa ser registrada.

Quem deve ser o responsável pelo registro de lacunas? Uma pessoa nomeada deve ser dona do registro, geralmente um líder de operações ou um gerente que possa aprovar mudanças na documentação. Outros integrantes da equipe podem adicionar registros, mas o responsável mantém os campos completos, conduz a revisão semanal e designa cada grupo a alguém que possa corrigi-lo. Sem um único responsável, o registro se acumula e nenhum grupo chega a ser fechado.

Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.