Ir para conteúdo
be-human.ai
← Voltar ao blog

Infraestrutura de IA personalizada

Dívida técnica em agentes de IA: prompts e ferramentas sem dono

Prompts sem dono, esquemas de ferramentas desatualizados e permissões não documentadas travam agentes de IA. Veja como localizá-los antes do próximo modelo.

Capa tipográfica do Be Human com o título: Dívida técnica em agentes de IA: prompts e ferramentas sem dono
Ilustração conceitual criada com IA · Be Human

Dívida técnica em agentes de IA é o conjunto acumulado de prompts, definições de ferramentas, concessões de permissão e notas operacionais que a empresa usa, mas que ninguém assume formalmente. Quando o modelo por baixo melhora, esses itens sem dono seguram o agente: ninguém sabe quais instruções podem ser alteradas com segurança, quais esquemas de ferramenta ainda correspondem aos sistemas em produção ou por que um escopo foi concedido para início. Localizar e atribuir esses itens é o primeiro passo prático para ter uma camada de IA da empresa que melhora a cada geração de modelo, em vez de resistir a ela.

Principais pontos

  • A dívida técnica de agentes está em quatro lugares: prompts, esquemas de ferramentas, escopos de permissão e notas operacionais.
  • Um item sem dono nomeado não pode ser alterado com segurança, então um modelo mais forte aumenta o risco em vez de gerar valor.
  • Encontre os itens sem dono rastreando cada ação do agente até a instrução, a ferramenta e o escopo que a produziram.
  • Dê a cada prompt e ferramenta um dono, uma finalidade declarada e um caso de avaliação antes de trocar o modelo por baixo.
  • Trate mudanças como liberações controladas, com registro, e não como edições silenciosas feitas por quem estiver disponível.

Por que prompts sem dono travam a melhoria

Um prompt normalmente começa como um remendo rápido. Alguém acrescenta uma linha depois que o agente erra uma resposta sobre reembolso, outra pessoa inclui uma regra de formatação para o relatório semanal, e uma terceira cola um parágrafo de um procedimento antigo. Com o tempo, o prompt vira uma pilha de remendos, e ninguém consegue dizer quais linhas são política, quais são contornos e quais foram escritas apenas para o piloto original.

Essa ambiguidade pesa quando o modelo muda. Um contorno escrito para a fraqueza de um modelo antigo pode ser desnecessário hoje, mas removê-lo é arriscado se a mesma linha também carrega uma regra de negócio. Um modelo mais capaz também segue instruções com mais fidelidade, então uma linha contraditória que antes era ignorada agora pode moldar respostas de maneiras que ninguém pretendia. Sem dono, a equipe tem duas opções ruins: deixar tudo como está e pagar o custo de orientações desatualizadas, ou mudar às cegas e torcer para que as respostas continuem parecendo corretas.

A solução é um registro, não um prompt melhor. Cada bloco de instrução precisa de uma finalidade, de um dono nomeado, da regra de negócio que sustenta (se houver) e dos casos de avaliação que mostram que ele ainda funciona. A documentação de engenharia da Anthropic sobre engenharia de contexto para agentes trata as informações que o agente recebe como uma decisão de projeto, e não como subproduto de edições passadas. O checklist de inventário de componentes da Be Human, em O que é uma camada de superinteligência? As partes que a empresa controla, ajuda a decidir quais partes da camada devem constar desse registro.

Esquemas de ferramentas desatualizados: a divergência silenciosa

Um esquema de ferramenta diz ao agente como a ferramenta se chama, o que faz e quais parâmetros aceita. O agente toma decisões com base nessas descrições, então um esquema que não corresponde mais ao sistema em produção é uma fonte silenciosa de erro. Um campo renomeado em um sistema de clientes, um código de status que mudou de significado ou um endpoint de busca que agora devolve resultados paginados podem, cada um, deixar o agente com dados parciais ou enganosos.

Modelos mais fortes podem tornar isso mais difícil de perceber. Um modelo capaz raciocina com fluidez sobre o que recebe, então pode produzir uma resposta bem escrita a partir de um resultado descompassado, em vez de parar para sinalizar o problema. A saída parece certa, e é exatamente por isso que a divergência sobrevive à revisão. As orientações da Anthropic sobre como escrever ferramentas para agentes recomendam descrições claras e específicas, com parâmetros difíceis de usar de forma errada. Esse padrão funciona bem como pergunta de auditoria: este esquema ainda descreve o que o sistema realmente faz?

Para cada ferramenta, faça duas perguntas. Quem mantém o sistema em produção que ela chama? E quem foi avisado da última vez que esse sistema mudou? Se a resposta para as duas for ninguém, a ferramenta não tem dono, mesmo que o código ainda funcione.

Escopos sem documentação: permissões que ninguém consegue explicar

Escopos definem o que um agente pode ler, escrever, enviar ou aprovar. Muitos são concedidos durante uma demonstração, quando acesso amplo é a forma mais rápida de mostrar valor, e nunca são reduzidos. Meses depois, o agente consegue editar registros que nunca precisa tocar, e ninguém sabe dizer se isso foi uma escolha deliberada ou uma comodidade que ficou.

Escopo sem documentação fica mais perigoso à medida que os agentes melhoram. Um agente mais capaz encadeia ações com mais eficiência, então combinações de permissões que ninguém testou viram caminhos realistas. As orientações de autorização da OWASP recomendam conceder o mínimo de acesso necessário e verificar o acesso em cada requisição. Para um agente, isso significa que cada escopo precisa de um motivo por escrito, de um aprovador e de um limite que defina quais ações ainda exigem uma pessoa. A injeção de prompt acrescenta outro motivo. As orientações da OWASP sobre injeção de prompt alertam que instruções escondidas em conteúdos que o agente lê podem tentar disparar ações, então escopos amplos aumentam o custo de qualquer injeção bem-sucedida.

Uma revisão trimestral é a forma mais simples de manter os escopos honestos. O método está descrito em Revisão trimestral de permissões de agentes de IA: checklist prático.

Figura de substituição para a imagem de natureza morta.

Como achar os itens: um método de rastreamento

Você não precisa de uma plataforma nova para começar. Precisa de uma lista completa do que o agente carrega e de uma forma de ligar cada comportamento visível à sua origem. Conceitos de observabilidade, como acompanhar uma única requisição por cada etapa que ela toca, são um bom modelo aqui, e a introdução de observabilidade da OpenTelemetry descreve essa ideia em termos gerais. Os passos abaixo funcionam com os registros e documentos que você já tem.

  • Exporte cada prompt de sistema, bloco de instrução e definição de ferramenta em uso, em todos os lugares onde o agente roda, incluindo cópias que as pessoas guardam em documentos compartilhados.
  • Retire dos registros um conjunto recente de ações do agente e rastreie cada uma até a instrução, a ferramenta e o escopo que a produziram.
  • Marque todo item sem dono nomeado, sem finalidade escrita ou sem ligação com uma regra de negócio atual.
  • Compare cada esquema de ferramenta com o sistema em produção que ele chama, campo por campo, e sinalize cada nome, tipo ou significado que se afastou.
  • Liste cada permissão que o agente possui, escreva o motivo ao lado de cada uma e remova qualquer escopo que não tenha motivo.
  • Atribua um dono a cada item que sobrar e defina uma cadência de revisão compatível com a frequência com que o sistema por baixo muda.
  • Guarde o inventário onde os donos possam editá-lo e onde cada mudança deixe um registro datado.

Espere que a primeira passada seja desconfortável. A maioria das equipes encontra pelo menos uma linha de prompt que ninguém consegue explicar e pelo menos um escopo anterior ao processo atual.

O que decidir antes da próxima troca de modelo

Cenário ilustrativo: uma distribuidora regional mantém um assistente que responde perguntas sobre status de pedidos para a equipe de vendas. O prompt dele ainda descreve uma linha de produtos já descontinuada, a ferramenta de consulta de pedidos espera um código de depósito que foi desativado, e ele tem acesso de escrita às notas de pedidos, concedido durante o piloto original. Depois que a equipe migrou para um modelo mais novo, o assistente passou a responder sobre a linha descontinuada com mais confiança do que antes. O rastreamento mostrou o prompt, o parâmetro desatualizado e o escopo de escrita sem uso em uma mesma cadeia, e nenhum dos três tinha dono.

A equipe da distribuidora pôde então decidir cada achado com base nos próprios termos:

  • Se uma linha do prompt registra uma regra de negócio atual, mova a regra para um documento de política mantido e referencie-o no prompt.
  • Se uma linha apenas corrige uma fraqueza de modelo antigo, remova-a em uma rodada de teste contra seus casos de avaliação antes de apagá-la da produção.
  • Se um esquema de ferramenta não corresponde mais ao sistema em produção, corrija o esquema antes de qualquer troca de modelo, porque um modelo melhor não consegue consertar uma entrada errada.
  • Se um escopo não tem motivo por escrito, remova-o e acompanhe os registros em busca de tarefas que falhem por precisar dele, usando uma janela de observação combinada antecipadamente.
  • Se duas equipes dependem do mesmo prompt ou da mesma ferramenta, dê a ele um único dono e ofereça à outra equipe um caminho documentado para pedidos de mudança.
  • Se qualquer uma dessas mudanças for necessária, passe-a por um pedido escrito com etapa de aprovação, do mesmo modo que se faz com qualquer alteração em um agente gerenciado.

O objetivo do exercício não é um arquivo impecável. É que cada mudança agora tenha um motivo, um dono e um teste capaz de mostrar se a atualização tornou o agente melhor ou apenas diferente.

Mantenha o inventário atualizado

A dívida técnica volta quando o inventário deixa de ser mantido. As operações gerenciadas da Be Human incluem monitoramento, avaliações recorrentes, manutenção de integrações e revisão de permissões, de modo que cada prompt, ferramenta e escopo tenha um dono registrado, um motivo declarado e um ponto de revisão agendado. As mudanças passam por um pedido, um teste contra o conjunto de avaliação e uma aprovação do dono do negócio antes de chegar à produção. Assim, o contexto operacional do agente continua sob controle da empresa, e não na memória de quem editou por último. Faça o diagnóstico gratuito de IA da Be Human para identificar a primeira tarefa que vale a pena entregar a um agente.

Perguntas frequentes

O que é dívida técnica em agentes de IA? É o acúmulo de prompts, definições de ferramentas, escopos de permissão e notas operacionais de que um agente depende sem dono nomeado nem finalidade escrita. Ela vira problema quando chega um modelo melhor e a equipe não consegue alterar esses itens com segurança, então a empresa aproveita menos a atualização. Geralmente a dívida é de conhecimento que faltou, e não de código quebrado.

Uma empresa pequena precisa de um inventário formal para isso? Sim, mas ele pode ser um único documento que liste cada bloco de prompt, ferramenta e escopo, com dono e motivo. A primeira passada costuma ser administrável para uma equipe pequena, porque o número de itens é limitado. O mais importante é que a lista continue atualizada e que cada mudança deixe registro.

Quem deve ser dono de um prompt ou de uma ferramenta? O dono deve ser a pessoa responsável pelo resultado de negócio que o item sustenta, e não simplesmente quem o escreveu. No caso de uma ferramenta, o dono também precisa ser avisado sobre mudanças no sistema em produção que ela chama. A responsabilidade pode ser compartilhada na revisão, mas nunca deve ser ambígua.

Devemos corrigir prompts sem dono antes de atualizar o modelo? Normalmente sim, pelo menos para itens que carregam regras de negócio ou chamam sistemas em produção. Uma atualização testada sobre uma configuração pouco clara não mostra se o novo comportamento é melhor ou pior. Depois que o inventário estiver pronto, rode a atualização contra seus casos de avaliação e então decida o que mudar.

Seu próximo passo

Descubra primeiro onde um agente de IA cabe na sua empresa.

Faça o diagnóstico gratuito de IA da Be Human. Algumas perguntas sobre o seu trabalho mostram qual tarefa entregar primeiro a um agente, o que ele precisa saber e onde uma pessoa aprova.

Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.

Menos tarefas. Mais espaço para você.

Traga o trabalho para o qual falta tempo.

Agende uma conversa e teste 7 dias grátis um agente de IA personalizado ↗Ou faça o diagnóstico gratuito de IA →