Primeiros meses com um agente de IA gerenciado: o que esperar

A integração de um agente de IA gerenciado depois do lançamento costuma passar por três etapas que se sobrepõem: supervisão próxima enquanto o agente atua em um papel estreito, ajustes com base no que o trabalho real revela e uma ampliação cuidadosa do escopo, feita só quando há evidência. Durante todo o período, uma pessoa nomeada do seu lado mantém a aprovação sobre permissões, novas ferramentas e qualquer mudança no que o agente pode fazer. Os primeiros meses não servem para o agente se provar uma única vez. Servem para construir uma rotina de revisão que continua.

Principais pontos

• O lançamento inicia o período de aprendizado. A maior parte do que melhora o agente vem de observá-lo em trabalho real, não da preparação anterior ao go-live.
• A supervisão é mais intensa no começo e só diminui quando os registros mostram comportamento estável, nunca por padrão nem por calendário.
• Os ajustes funcionam melhor quando cada problema é classificado antes (instruções, conhecimento, ferramentas, permissões ou modelo) e uma mudança é feita por vez.
• O escopo deve crescer em uma dimensão de cada vez, e cada passo precisa de um responsável, um limite e uma forma de verificar se funcionou.
• O controle continua com você por meio de pontos de revisão fixos: quem aprova mudanças, a que o agente tem acesso e quando um papel é mantido, corrigido ou encerrado.

O que acontece nos primeiros dias após o lançamento?

O agente começa a trabalhar no único papel definido durante a configuração, com a memória, as ferramentas e os limites de aprovação combinados para ele. Nos primeiros dias, quase tudo o que ele produz é visto por uma pessoa. Ações que alteram algo fora do agente, como enviar uma mensagem, atualizar um registro ou agendar uma tarefa, normalmente esperam aprovação. O padrão é gerar rascunhos, não executar diretamente.

É nesta etapa que a distância entre o plano e a rotina real fica visível. Os achados típicos são comuns: uma instrução que duas pessoas leem de formas diferentes, um documento que o agente deveria ter usado mas nunca recebeu, uma ferramenta que demora a responder nos horários de pico, um tipo de pedido em que ninguém pensou. Nada disso significa que o projeto falhou. É justamente para isso que o período inicial existe.

As pessoas também se comportam de modo diferente do esperado. Alguns colaboradores pedem ao agente coisas fora do papel dele. Outros evitam usá-lo por não saberem o que ele pode fazer. Um aviso curto e claro à equipe, dizendo para que o agente serve e para onde enviar feedback, evita muita confusão. Para o lado humano desta etapa, veja Como engajar a equipe no uso de agentes de IA: guia prático.

Por que a supervisão vem antes da velocidade?

Um agente que age rápido com base em um mal-entendido gera retrabalho mais depressa do que uma pessoa geraria. Por isso, a supervisão inicial serve para tornar o comportamento do agente legível antes de torná-lo mais rápido. Você precisa ver o que ele fez, por quê e em que se apoiou.

Isso depende de observabilidade, ou seja, de o agente deixar registros que permitam entender seu comportamento por fora. O guia introdutório de observabilidade do projeto OpenTelemetry descreve a ideia geral para sistemas de software, e ela vale aqui também: se você não consegue reconstituir o que aconteceu, não consegue ajustar com responsabilidade.

Um revisor, no período inicial, observa um conjunto consistente de itens:

• Qual pedido chegou, e de quem ou de qual canal.
• Que conhecimento o agente consultou, e se era a fonte certa.
• Quais ferramentas ele chamou, com quais dados de entrada e o que voltou.
• Onde pediu aprovação, e se uma pessoa alterou ou rejeitou a proposta.
• Onde recusou ou escalou, e se isso estava correto.
• Qualquer afirmação que não tinha respaldo em uma fonte a que ele tinha acesso.

No início, a revisão cobre todas as interações, ou quase todas. À medida que os registros mostram comportamento estável em um tipo de pedido, a revisão passa a ser por amostragem, com atenção extra a casos incomuns, rascunhos rejeitados e tudo o que algum usuário sinalizou. O gatilho para relaxar é a evidência nos registros, não a passagem do tempo. Se surgir um novo tipo de pedido, a supervisão desse tipo volta a ser intensa.

Como funcionam os ajustes e o que realmente muda?

Ajustar é a versão disciplinada de corrigir problemas. A disciplina está em perguntar que tipo de problema é antes de mexer em qualquer coisa. A maioria das falhas se encaixa em poucas causas, e cada uma tem um remédio diferente.

Use este guia de decisão:

• O agente afirma algo errado ou desatualizado: verifique primeiro a fonte de conhecimento. O documento pode estar ausente, velho ou contraditório, ou a busca pode estar trazendo o trecho errado. Corrigir a fonte vale mais do que reescrever a instrução.
• O agente entende a tarefa, mas a executa no estilo ou na ordem errados: ajuste as instruções do papel, com um exemplo concreto do resultado desejado.
• O agente esquece entre conversas um contexto que deveria lembrar: revise o que está guardado na memória, como está organizado e o que deliberadamente não é mantido.
• O agente falha ao usar um sistema: examine a definição da ferramenta, os dados de entrada que ela aceita e as mensagens de erro que devolve. Descrições claras das ferramentas importam muito, como explica o guia da Anthropic sobre como escrever ferramentas para agentes.
• O agente tenta algo que não deveria conseguir fazer: é um problema de permissões, não de redação. Restrinja o acesso, em vez de apenas pedir que ele se comporte.
• A qualidade é irregular em um tipo específico de tarefa, mesmo com os demais pontos em ordem: avalie se outro modelo serve melhor para essa tarefa e teste antes de trocar.

Dois hábitos mantêm os ajustes seguros. Primeiro, mude uma coisa por vez, para saber o que causou a diferença. Segundo, guarde um pequeno conjunto de exemplos reais, incluindo erros passados, e rode-os de novo após cada mudança. Esse é o núcleo prático de uma avaliação, e a visão geral da Anthropic sobre avaliações (evals) de agentes de IA é uma boa referência para montar uma. Para a mecânica de liberar uma mudança sem causar transtorno, veja Como atualizar agente de IA em produção sem quebrar nada.

Quando ampliar o escopo do agente?

A tentação aparece cedo, em geral depois de uma boa semana: se ele dá conta disso, que dê conta daquilo também. Resista a ampliar até que o papel atual esteja entediante, isto é, previsível, revisado e estável. Um escopo maior multiplica a superfície que você precisa supervisionar.

O escopo pode crescer de formas diferentes, e cada uma traz riscos distintos:

• Mais volume no mesmo papel. É o menor risco, mas confira se os limites das ferramentas e a capacidade de revisão acompanham.
• Mais canais para o mesmo papel. Cada canal muda a forma como as pessoas formulam pedidos e a identidade que o agente apresenta.
• Mais ferramentas ou sistemas. Cada nova conexão acrescenta um acesso que precisa ser justificado e revisado.
• Mais autonomia, como agir sem aprovação em uma classe definida de tarefas de baixo risco. Exige a evidência mais sólida.
• Um novo papel. Trate como um novo projeto, com definição própria, e não como uma extensão.

Antes de qualquer passo, faça um conjunto curto de perguntas:

• O papel atual se manteve estável em uma variedade relevante de pedidos reais, inclusive os incômodos?
• Existe um responsável nomeado do seu lado para a nova área?
• Qual é o menor limite que torna a nova capacidade útil?
• O que veríamos nos registros se algo estivesse dando errado?
• Como desligamos ou restringimos de novo, e quem decide?

Se alguma resposta for vaga, o passo ainda não está pronto. Ampliar uma dimensão por vez também mantém clara a relação entre causa e efeito. Quando o comportamento do agente muda, você quer ter apenas uma mudança recente sob suspeita.

Quais pontos de revisão mantêm o controle com você?

Controle não é a sensação de estar informado. É um conjunto de decisões que só o seu lado pode tomar, registradas por escrito e exercidas em um calendário. Um ritmo viável tem três níveis.

Uma revisão de trabalho frequente, mais intensa no início, olha as interações recentes, os rascunhos rejeitados, o feedback dos usuários e as pendências abertas. Participam as pessoas mais próximas do trabalho, e o resultado é uma lista curta de mudanças a testar. A coleta estruturada desse feedback está em Como coletar feedback dos funcionários sobre o agente de IA e agir.

Uma revisão periódica de permissões e escopo verifica a que o agente tem acesso e por quê. O princípio é o do menor privilégio: cada acesso existe porque o papel precisa dele, e tudo o que não é usado é removido. O guia Authorization Cheat Sheet, da OWASP, expõe a prática por trás disso. É também o momento de confirmar que o agente continua usando contas próprias, e não as de uma pessoa.

Uma revisão estratégica, menos frequente, pergunta se o papel vale a pena ser mantido. Para cada papel, decida entre manter, corrigir ou encerrar, usando o critério de sucesso combinado. O texto Revisão trimestral de IA na empresa: manter, corrigir ou encerrar descreve essa conversa em detalhe. Para um quadro mais amplo sobre risco, o NIST AI Risk Management Framework é uma referência crível para organizar as perguntas.

Algumas decisões devem ficar sempre com você, por melhor que as coisas estejam indo:

• Aprovar qualquer nova ferramenta, conexão com sistema ou fonte de dados.
• Aprovar qualquer passagem de rascunho para ação autônoma.
• Decidir o que o agente pode lembrar e por quanto tempo.
• Pausar ou encerrar o papel.

Como é na prática? Um cenário ilustrativo

Cenário ilustrativo: uma distribuidora de médio porte lança um agente cujo único papel é redigir respostas a clientes sobre o status de entregas. No lançamento, ele lê o sistema de pedidos e escreve rascunhos que uma pessoa do atendimento aprova antes do envio.

No período inicial, os revisores percebem que o agente às vezes informa um status que o sistema de pedidos já atualizou. A causa é uma ferramenta que devolve dados em cache, e não as instruções. A correção é feita na ferramenta, e os exemplos guardados são executados de novo. Os revisores também notam que os clientes perguntam com frequência sobre devoluções, o que está fora do papel. O agente recusa e escala corretamente, e a equipe registra o padrão.

Mais tarde, com rascunhos estáveis e poucas edições, a empresa considera deixar o agente enviar respostas por conta própria em uma classe de perguntas simples sobre status. O responsável aprova apenas essa classe, com o limite de que tudo o que mencione reclamação vai para uma pessoa. Devoluções viram uma proposta de papel separada, com escopo e revisão próprios. O agente cresceu em dois passos distintos, cada um com responsável, limite e algo para observar.

Como a Be Human conduz esses meses?

A Be Human opera o agente depois do lançamento como parte de um contrato gerenciado. Isso inclui monitoramento do comportamento e das ferramentas do agente, avaliações recorrentes com base em exemplos guardados, manutenção das integrações, revisão periódica de permissões, resposta a incidentes e melhorias controladas. As mudanças são propostas com sua justificativa e testadas antes da liberação, e os limites de aprovação permanecem sob o seu controle. O escopo desse trabalho recorrente está descrito em Serviços gerenciados de IA para empresas: o que está incluso.

Perguntas frequentes

Quanto tempo até podermos confiar no agente com menos supervisão? Não há data fixa, porque a confiança é específica de cada papel e se baseia em registros. Quando um tipo de pedido foi tratado de forma estável em casos reais variados, a revisão desse tipo pode passar de item a item para amostragem. Um novo tipo de pedido ou uma nova ferramenta reinicia a revisão próxima naquela área.

E se a equipe quase não usar o agente depois do lançamento? Trate isso como informação sobre o papel ou sobre o encaixe dele, não como falha da equipe. Pergunte o que o agente faz que as pessoas acham pouco útil ou confuso, verifique se ele está onde elas realmente trabalham e restrinja ou ajuste o papel, se preciso. Uso que continua baixo após os ajustes é motivo para encerrar ou redesenhar o papel.

Podemos pausar ou reverter o agente se algo der errado? Deveria ser possível, e isso precisa ser combinado antes do lançamento. Pausar um canal, retirar o acesso a uma ferramenta ou voltar a uma configuração anterior são controles comuns, e o responsável do seu lado precisa saber quem os aciona. Depois, os incidentes são revisados para decidir o que mudar.

Quem do nosso lado precisa estar envolvido? Você precisa de um responsável pelo papel, algumas pessoas que fazem o trabalho relacionado e revisam as saídas, e alguém que possa aprovar acessos a sistemas. Em empresas menores, podem ser a mesma pessoa, mas as decisões devem continuar nomeadas para não se perderem entre as pessoas.

Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.