Como melhorar a IA que a empresa já usa: auditoria passo a passo

Para melhorar a IA que a empresa já usa, pare de reescrever prompts e faça uma auditoria em ordem fixa. Defina o trabalho e o que significa "pronto", corrija o contexto e as fontes que a IA lê, restrinja ferramentas e permissões, e então teste com exemplos reais, mudando uma coisa por vez. Resultados inconsistentes costumam vir de tarefas mal definidas, informação desatualizada e acessos frouxos, e não do modelo em si.

Principais pontos

• Resultado inconsistente é sintoma. Descubra qual camada causa o problema (tarefa, contexto, ferramentas, permissões ou testes) antes de mudar qualquer coisa.
• Registre por escrito o trabalho, as entradas e a evidência de conclusão de cada uso de IA. Sem isso, ninguém consegue dizer se um resultado está certo.
• A maioria dos problemas de qualidade vem de fontes desatualizadas, duplicadas ou em conflito. Defina uma fonte oficial para cada informação.
• Reduza o acesso ao que a tarefa realmente exige e coloque aprovação humana antes de qualquer ação difícil de desfazer.
• Mantenha um conjunto pequeno de exemplos reais e rode-o de novo a cada mudança, para saber se a mudança ajudou.

Por que uma IA que funcionava no início fica inconsistente?

A maioria das empresas começa com poucas ferramentas e algumas pessoas entusiasmadas. Alguém escreve um bom prompt, outra pessoa cola um documento, uma terceira conecta o assistente à pasta compartilhada. Funciona bem o suficiente, e então se espalha. Meses depois, a mesma pergunta recebe respostas diferentes conforme quem pergunta, qual ferramenta usa e quais arquivos estavam ao alcance.

O padrão é comum porque setups pequenos crescem sem um desenho. As instruções ficam em históricos de chat pessoais. Os documentos são editados, mas as cópias antigas continuam por aí. As ferramentas são conectadas com o acesso mais fácil de conceder. Ninguém é responsável por verificar se o conjunto ainda faz o que o negócio precisa.

Por isso a solução é uma auditoria, e não um prompt melhor. Um ajuste de prompt pode esconder o problema por uma semana e depois ele reaparece em outro lugar. Uma revisão curta e ordenada mostra qual das cinco camadas é a responsável: a definição da tarefa, o contexto, as ferramentas, as permissões ou os testes. Para entender melhor como essas camadas se relacionam, veja as sete camadas da infraestrutura de IA empresarial.

Antes de começar, liste todos os lugares em que a IA é usada na empresa, quem a usa e o que ela deveria entregar. Mantenha a lista curta e honesta. Inclua os usos não oficiais, porque é neles que a inconsistência costuma se esconder.

Passo um: defina o trabalho e a evidência de conclusão

Escolha um uso de IA da sua lista, de preferência um em que as pessoas já confiam, e escreva a definição da tarefa em linguagem simples. Uma boa definição responde a cinco perguntas:

• O que dispara o trabalho e quem o solicita?
• Que entradas a IA recebe e de onde elas vêm?
• Como deve ser a saída e quem a recebe?
• O que a IA nunca deve fazer sozinha?
• Que evidência mostra que o trabalho foi feito corretamente?

A última pergunta é a mais importante. Se a resposta for "parece bom", você encontrou o primeiro problema. Um resultado que não pode ser verificado não pode ser melhorado. A evidência pode ser uma fonte citada, um registro atualizado com uma mudança visível ou um rascunho aprovado por uma pessoa identificada. O guia sobre como escrever um contrato de tarefa de IA testável mostra como transformar essas respostas em algo específico.

Espere que este passo revele divergências. Duas pessoas podem descrever o mesmo assistente como ajudante de pesquisa e como ferramenta de redação. Resolva isso agora. Um uso de IA com dois propósitos gera resultados que não satisfazem nenhum dos dois.

Com a definição escrita, compare-a com as instruções que a IA tem hoje. Se as instruções forem longas, contraditórias ou cheias de remendos acrescentados após cada falha, simplifique-as para que correspondam à definição. Instruções curtas e ordenadas são mais fáceis de manter e de testar.

Passo dois: audite contexto, memória e fontes

Com o trabalho claro, olhe para o que a IA realmente lê ao executá-lo. A orientação de engenharia da Anthropic sobre engenharia de contexto para agentes traz um ponto que vale guardar: o modelo só trabalha com o que é colocado diante dele, então a qualidade desse material define o teto da resposta. Para aprofundar, veja engenharia de contexto para agentes de negócio.

Faça esta auditoria como um checklist:

• Liste cada documento, pasta, base de dados ou nota de onde a IA pode tirar informação para essa tarefa.
• Marque quais estão atualizados, quais estão desatualizados e quais duplicam outros.
• Para cada informação importante (uma política, uma regra de tabela de preços, o status de um cliente), indique o único lugar que vale como oficial.
• Remova ou arquive o que está obsoleto e identifique os rascunhos para que não sejam confundidos com versões finais.
• Verifique o que a IA lembra entre sessões e se essas memórias ainda são verdadeiras.

O exercício de nomear a fonte é o que a maioria das equipes pula, e ele explica boa parte da inconsistência. Se uma política existe em três versões, a IA vai citar a que encontrar primeiro. Dar a cada informação um único lugar é a ideia central de como definir fontes oficiais para um agente de IA. Informação antiga que permanece é outra falha, tratada em como evitar que contexto antigo engane seu agente de IA.

Verifique também o sentido oposto: o que está faltando. Se as pessoas corrigem a IA sempre no mesmo ponto, provavelmente a resposta não está em nada do que ela consegue ler. Acrescente o material que falta de forma limpa e curta, em vez de colar documentos inteiros.

Por fim, trate tudo o que a IA lê de fora, como e-mails recebidos ou páginas da web, como não confiável. A orientação da OWASP sobre prevenção de prompt injection explica por que instruções escondidas em um conteúdo podem desviar um modelo, mais um motivo para manter as fontes sob controle.

Passos três e quatro: o que a IA pode tocar e quem aprova?

O terceiro passo é revisar ferramentas e conexões. Liste cada uma que a IA pode usar: e-mail, agenda, CRM, armazenamento de arquivos, mensagens. Para cada uma, anote se a IA só pode ler, se pode preparar um rascunho ou se pode enviar ou alterar algo. São três permissões diferentes, e muitos setups concedem silenciosamente a mais forte porque era o padrão.

Depois aplique uma regra simples: dê o menor acesso que permita à tarefa funcionar. Se a IA resume e-mails de clientes, ela não precisa enviá-los. Se propõe atualizações no CRM, não precisa gravá-las diretamente. O princípio aparece na orientação de autorização da OWASP e, para agentes em particular, em menor privilégio para agentes de IA.

O quarto passo é definir os limites de aprovação. Use este guia rápido para cada ação que a IA pode executar:

• Fácil de desfazer e de baixo impacto: a IA age e registra o que fez.
• Fácil de desfazer, mas visível para clientes ou colegas: a IA redige, uma pessoa envia.
• Difícil de desfazer, financeira ou jurídica: a IA prepara o caso, uma pessoa identificada decide.
• Não está claro quem é afetado: retire a permissão até que alguém saiba responder.

Revise também como as conexões falham. Logins expirados, campos alterados e pastas renomeadas causam erros silenciosos, em que a IA segue em frente com informação parcial e soa confiante. Decida de antemão o que ela deve fazer quando uma ferramenta estiver indisponível: parar, avisar e perguntar. Isso é bem melhor do que adivinhar.

Passo cinco: teste com exemplos reais e mude uma coisa por vez

Agora é possível medir. Reúna um conjunto pequeno de casos reais do trabalho que você definiu, incluindo alguns difíceis: informação faltando, fontes contraditórias, um pedido que deveria ser recusado. Para cada caso, escreva como seria um resultado correto. Mantenha o conjunto pequeno o bastante para que alguém realmente o execute. O artigo sobre como montar um conjunto de testes de referência explica como escolher os casos.

Rode o conjunto antes de mudar qualquer coisa, para ter uma linha de base. Depois faça uma mudança, por exemplo limpar uma fonte ou restringir uma permissão, e rode de novo. Se você mudar cinco coisas ao mesmo tempo, não vai saber qual ajudou e talvez nem perceba qual atrapalhou. O artigo da Anthropic sobre avaliações (evals) de agentes de IA descreve essa disciplina com mais profundidade. Veja também como avaliar agentes de IA em tarefas de negócio.

Acompanhe os testes com visibilidade básica no uso diário. Você deve conseguir ver o que a IA recebeu como pedido, o que leu, quais ferramentas chamou e o que produziu, para que um resultado ruim possa ser ligado a uma causa. Sem registro, toda falha vira uma discussão sobre o que provavelmente aconteceu.

Um cenário ilustrativo: uma empresa de serviços usa um assistente para redigir respostas a dúvidas de clientes sobre termos contratuais. As respostas variam entre os funcionários. A auditoria encontra três versões do documento de termos na pasta compartilhada, instruções que citam duas regras de escalonamento diferentes e uma conexão de e-mail que permite ao assistente enviar mensagens diretamente. A empresa define um único documento de termos vigente e arquiva os outros, reescreve as instruções com uma só regra e passa o assistente para o modo de rascunho, com uma pessoa identificada aprovando. Um conjunto de perguntas reais de clientes é rodado antes e depois de cada mudança. Agora a empresa consegue ver qual mudança melhorou as respostas e qual apenas alterou o tom.

Depois que o primeiro trabalho estiver estável, repita a sequência para o próximo. Não tente auditar tudo de uma vez. Se você pretende ampliar o setup, um plano de implantação em fases ajuda a decidir o que vem a seguir.

Como a abordagem gerenciada da Be Human trata isso?

A Be Human projeta, implementa e opera infraestrutura de IA para empresas, e uma auditoria como esta é um ponto de partida típico. Um primeiro projeto define uma função útil, a memória e as ferramentas de que ela precisa, os limites de aprovação e um critério de sucesso que pode ser observado. A operação gerenciada pode incluir monitoramento, avaliações recorrentes, manutenção de integrações, revisão de permissões, resposta a incidentes e melhorias controladas. Os agentes mantêm identidade, memória, canais, ferramentas e permissões sob controle humano, de modo que a auditoria se torna rotina, e não um resgate pontual. O atendimento é remoto, em português e inglês.

Perguntas frequentes

Quanto tempo leva a auditoria de uma IA que já está em uso? Depende de quantos usos de IA você tem, mas não é preciso revisar tudo de uma vez. Comece por um trabalho que importa, aplique os cinco passos e espere que a primeira rodada seja um período de trabalho focado, e não um projeto longo. Depois repita para o próximo trabalho.

Devemos trocar de modelo ou de ferramenta primeiro? Em geral, não. Um modelo diferente vai ler os mesmos documentos desatualizados e seguir as mesmas instruções pouco claras, e os problemas voltam de outra forma. Audite primeiro a tarefa, o contexto, o acesso e os testes, e só considere a troca se a evidência apontar para uma limitação real de capacidade.

Quem deve ser o responsável pela IA dentro da empresa? Dê a cada uso de IA um responsável identificado, que saiba dizer para que ele serve, aprovar mudanças e decidir quando a IA pode agir. Essa pessoa não precisa ser técnica, mas precisa ter autoridade para aposentar fontes antigas e restringir permissões. Responsabilidade compartilhada costuma significar que ninguém é responsável.

Como saber se as melhorias são reais? Compare os resultados do mesmo conjunto de exemplos reais antes e depois de cada mudança, e peça a alguém que conhece o trabalho que os avalie com base na evidência de conclusão que você definiu. Se não for possível mostrar a diferença nesses casos, trate a melhoria como não comprovada. Guarde o registro para que a próxima mudança parta de uma linha de base conhecida.

Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.