Ir para conteúdo
be-human.ai
← Voltar ao blog

Testes e confiabilidade

Quando um agente de IA lê mal um PDF: as checagens antes da ação

Erros de extração de PDF em agentes de IA: checagens de totais, alertas de confiança, campos obrigatórios e pausa humana antes de qualquer ação.

Capa tipográfica do Be Human com o título: Quando um agente de IA lê mal um PDF: as checagens antes da ação
Ilustração conceitual criada com IA · Be Human

Os erros de extração de PDF em agentes de IA acontecem quando o agente transforma um documento digitalizado ou cheio de tabelas em campos estruturados e, em seguida, age sobre esses campos como se estivessem corretos. A correção prática não está só em um modelo melhor. Está em um conjunto de checagens que rodam antes de qualquer pagamento, agendamento, atualização de registro ou mensagem de saída: conciliação de totais, sinalizações de confiança por campo, regras de campos obrigatórios e um caminho de retenção para uma pessoa.

Principais pontos

  • Um PDF só vira dado utilizável depois que seus campos passam por checagens que não dependem do julgamento do próprio modelo.
  • A conciliação de totais é a checagem mais barata e mais forte, porque itens, subtotal, impostos e total precisam bater entre si.
  • Alertas de confiança devem encaminhar valores incertos para um revisor, e não apenas rotulá-los.
  • Uma checagem reprovada bloqueia a ação, e o agente não deve ajustar um valor para que a checagem passe.
  • Guarde a referência da página, os valores extraídos e o resultado das checagens no registro, para que uma leitura errada possa ser rastreada depois.

Por que erros de extração chegam a ações reais

A maioria dos erros de leitura em PDF é silenciosa. Uma vírgula decimal se desloca, duas colunas de uma tabela se misturam, uma data é lida com a ordem errada ou um carimbo cobre parte de um valor. A saída continua com aparência organizada, e o agente segue em frente porque nada no próprio processo indica problema. O risco cresce com o acesso de escrita. Um agente que pode criar um registro de fatura, trocar os dados bancários de um fornecedor ou agendar uma entrega transforma uma leitura ruim em um evento operacional real.

O problema de fundo é que a confiança do agente na própria leitura é o único controle do circuito, e esse é justamente o controle que falhou. Um desenho operacional sólido acrescenta um segundo caminho que não depende da mesma leitura. Checagens que comparam valores extraídos entre si, com o layout do documento de origem e com registros já existentes oferecem esse segundo caminho.

Comece pela conciliação de totais

A conciliação pergunta se o documento concorda consigo mesmo. Cada total de linha deve ser igual à quantidade multiplicada pelo preço unitário, dentro de uma regra de arredondamento escrita antecipadamente. Os totais de linha devem somar o subtotal informado, e o subtotal somado a impostos e taxas deve resultar no total informado. Quando essas relações falham, o documento não é utilizável como foi lido.

Uma divergência indica que algo está errado, mas não qual valor está errado. Por isso o agente nunca deve escolher o número que faz a conta fechar. Ele deve reter o item e mostrar ao revisor os valores conflitantes com a localização de cada um na página. Regras de conciliação que vale escrever antes de começar um piloto:

  • Totais de linha iguais à quantidade multiplicada pelo preço unitário, dentro de uma tolerância de arredondamento declarada.
  • Totais de linha somando o subtotal informado, na mesma página ou dentro da mesma tabela.
  • Subtotal somado a impostos e taxas igual ao total informado.
  • Datas dentro de uma janela esperada e em um único formato em todo o documento.
  • Moeda, identificador fiscal e nome do fornecedor iguais aos do registro existente, ou a diferença sinalizada.

Use sinalizações de confiança para direcionar o trabalho

Ferramentas de extração e modelos costumam informar um valor de confiança para cada campo. Esse valor só é útil quando altera o que acontece em seguida. Defina três faixas antecipadamente: aceito, revisado e bloqueado. Campos aceitos seguem para a próxima etapa. Campos revisados vão para uma pessoa, com a imagem da página ao lado. Campos bloqueados interrompem a ação até que alguém os resolva.

Trate a pontuação como um sinal, não como uma probabilidade confiável sem teste. O artigo sobre nível de confiança da IA explica como verificar se uma pontuação acompanha de fato a precisão nos seus documentos. Duas regras importam na prática. Sinalize baixa confiança em qualquer campo com consequência, como um valor, uma data de vencimento ou uma conta bancária, mesmo quando o restante do documento parece limpo. E trate digitalizações, manuscritos e imagens de baixa resolução como de maior risco por padrão. Um escore alto em um campo que falha na conciliação ainda deve ser retido, porque os dois sinais discordam, e essa discordância é o evento que precisa aparecer.

Uma sequência de validação antes de o agente agir

Uma sequência curta e fixa cobre a maioria dos casos. Mantenha-a como procedimento escrito, que o agente segue e um revisor consegue auditar.

  • Classifique o documento e confirme que ele pertence a um tipo que o agente tem permissão para processar.
  • Extraia texto e tabelas mantendo a página e a posição de cada valor.
  • Verifique o esquema: campos obrigatórios presentes, tipos válidos, identificadores no formato esperado.
  • Rode a conciliação de totais, datas e moeda.
  • Compare identificadores com o sistema de registro, e trate qualquer divergência com o fornecedor ou cliente cadastrado como bloqueio.
  • Encaminhe cada campo relevante conforme a faixa de confiança, enviando itens revisados e bloqueados a uma pessoa.
  • Deixe o agente apenas rascunhar a ação quando todas as checagens passarem, e aplique a regra de aprovação daquela classe de ação antes de qualquer execução.
  • Registre no log a referência do documento, os valores extraídos, as checagens executadas e a decisão final.

Um cenário ilustrativo: o total com dígitos trocados

Cenário ilustrativo, não é um caso de cliente: uma nota de fornecedor chega como PDF digitalizado, com nome do fornecedor e data de vencimento legíveis. O agente extrai os itens e o total. Dois dígitos do total são invertidos durante a extração, e por isso os itens somam um valor diferente do total informado. A checagem de conciliação falha, e o agente marca o total como bloqueado, em vez de enviar o registro para a etapa de contas a pagar.

O revisor vê lado a lado a imagem da página, o total extraído, os itens e a soma calculada. Ele confirma que os itens foram lidos corretamente e que o total impresso é o valor em questão, e então solicita ao fornecedor uma cópia corrigida. O registro só é criado depois que o documento corrigido passa por todas as checagens. O resultado útil não é que o agente foi engenhoso. O erro parou antes de chegar a um arquivo de pagamento, e o log mostra exatamente o motivo.

O que o agente nunca deve decidir sozinho

Algumas ações devem ficar fora da discrição do agente, por mais limpa que pareça uma extração. Ele não deve alterar um valor para fazer uma checagem passar, ignorar uma checagem reprovada, nem mudar dados de pagamento ou bancários com base em um único documento. Essas mudanças exigem uma segunda fonte e uma regra de aprovação escrita. Quando um item bloqueado não puder ser resolvido, envie a decisão para uma pessoa em vez de encaminhar o arquivo inteiro, como descrito em escalonamento humano em falhas de agentes de IA.

Documentos também carregam textos que nunca foram escritos como instruções para um agente. Um rodapé, um campo oculto ou uma linha em um anexo podem tentar direcionar o comportamento do agente. As boas práticas sobre injeção de prompt tratam conteúdo externo como entrada não confiável, então o texto do documento pertence ao caminho dos dados e nunca ao caminho das instruções. O artigo sobre prompt injection em documentos de negócio explica o que proteger e como testar.

Como a Be Human mantém essas checagens funcionando

A abordagem gerenciada da Be Human trata a leitura de documentos como um papel definido, com regras escritas, e não como um assistente geral com acesso irrestrito. O projeto registra os tipos de documento, as regras de conciliação, as faixas de confiança, as ações bloqueadas e a regra de aprovação de cada ação. A operação gerenciada revisa essas regras conforme o mix de documentos muda, faz amostragem de itens retidos e aceitos, e atualiza as integrações para que as checagens continuem lendo os mesmos campos. A memória e as ferramentas do agente ficam limitadas ao que esse papel precisa, e cada decisão é registrada com sua referência de origem. Se você quer descobrir a primeira tarefa com documentos que vale entregar a um agente, faça o diagnóstico gratuito de IA da Be Human.

Perguntas frequentes

Como impedir que um agente de IA aja sobre um PDF lido de forma errada? Coloque a validação entre a extração e a ação, de modo que o agente precise passar pelas checagens de esquema e conciliação antes de rascunhar qualquer mudança em registro. Encaminhe a uma pessoa os campos de baixa confiança que envolvem valores, datas ou dados bancários, e bloqueie a ação até que essas barreiras sejam liberadas. Escreva a regra de aprovação antes do piloto começar, e não depois do primeiro erro.

Pontuações de confiança de uma ferramenta de PDF bastam para dispensar a revisão humana? Não. A pontuação descreve a certeza interna da ferramenta, que pode não corresponder à precisão real nos seus documentos. Use as pontuações para direcionar o trabalho, teste-as contra uma amostra de documentos corrigidos e mantenha revisão em qualquer campo cujo erro seria caro.

O agente deve corrigir um total que não fecha? Não. Uma falha de conciliação mostra que o documento ou a extração é inconsistente, mas não mostra qual valor está certo. O agente deve reter o item, mostrar ao revisor os valores conflitantes com a localização de cada um na página e aguardar uma fonte corrigida ou uma decisão humana.

Documentos digitalizados precisam de checagens mais rigorosas que PDFs digitais? Geralmente, sim. Digitalizações, manuscritos, carimbos e imagens de baixa resolução aumentam a chance de erros de caractere, então trate-os como de maior risco por padrão, reduza o limite para revisão e revise uma parcela maior da saída. PDFs digitais também precisam de conciliação, porque a checagem aritmética não depende de como o texto foi produzido.

Seu próximo passo

Descubra primeiro onde um agente de IA cabe na sua empresa.

Faça o diagnóstico gratuito de IA da Be Human. Algumas perguntas sobre o seu trabalho mostram qual tarefa entregar primeiro a um agente, o que ele precisa saber e onde uma pessoa aprova.

Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.

Menos tarefas. Mais espaço para você.

Traga o trabalho para o qual falta tempo.

Agende uma conversa e teste 7 dias grátis um agente de IA personalizado ↗Ou faça o diagnóstico gratuito de IA →