Como encerrar um piloto de IA sem desperdiçar o trabalho já feito

Para encerrar bem um piloto de IA, combine antes quais evidências decretam o fim e depois faça um desligamento curto: congele as mudanças, registre os resultados, exporte a configuração e os dados que valem a pena guardar, revogue os acessos e escreva a decisão de encerrar, pausar ou continuar. O trabalho só é desperdiçado se ninguém conseguir encontrá-lo depois. Um piloto que termina com um registro claro é um experimento concluído, não um fracasso.

Principais pontos

• Escreva os critérios de encerramento antes de o piloto começar. Assim, terminar é aplicar uma regra, e não ganhar uma discussão.
• Pausar e encerrar são decisões diferentes. Pause quando as condições forem temporárias, encerre quando o próprio caso de uso não se sustentar.
• Preserve cinco itens: a definição da função, a configuração, as fontes de conhecimento, os casos de avaliação e as lições aprendidas.
• Feche os acessos de forma deliberada. Tokens, contas de serviço, canais e dados mantidos pelo fornecedor continuam abertos até alguém fechá-los.
• Termine com um registro de decisão de uma página, um responsável nomeado e uma data de revisão, para que a próxima tentativa parta de evidências.

Por que definir os critérios de encerramento antes de começar o piloto?

A maioria dos pilotos nasce com uma ideia clara do que é sucesso e nenhuma ideia do que é terminar. Quando os resultados ficam no meio-termo, a equipe segue em frente porque parar parece admitir um erro. O piloto fica à deriva, os acessos continuam abertos, ninguém responde por ele e as lições ficam na cabeça de uma única pessoa.

Os critérios de encerramento resolvem isso ao levar a conversa difícil para o início, quando todos estão tranquilos. Eles pertencem ao mesmo documento dos critérios de sucesso. Se você ainda não os escreveu, o artigo Critérios de sucesso para piloto de agente de IA: como definir mostra como torná-los observáveis. Para cada critério de sucesso, acrescente o espelho dele: o resultado que, até um ponto definido do piloto, significa que você encerra.

Bons critérios de encerramento têm algumas características em comum:

• Referem-se a algo que você consegue observar, como respostas revisadas, escalonamentos ou tempo economizado em uma tarefa definida.
• Indicam um ponto de revisão, e não um “vamos ver” sem prazo.
• Dizem quem decide, e essa pessoa é um responsável de negócio, não apenas o líder técnico.
• Cobrem risco e também desempenho: um limite de dados que não pode ser cumprido, ou uma ação do agente fora dos limites de aprovação.

O NIST AI Risk Management Framework trata o descomissionamento e a capacidade de desligar um sistema como parte da gestão de risco ao longo de todo o ciclo de vida, e não como um detalhe de última hora. O piloto é o lugar mais barato para praticar essa disciplina.

Quais sinais indicam encerrar e quais indicam pausar?

Pausar e encerrar levam a trabalhos diferentes. Na pausa, você mantém a opção de retomar: preserva o estado e mantém um pouco de manutenção. No encerramento, você fecha o piloto: preserva o conhecimento e remove todo o resto.

Use este guia de decisão em cada ponto de revisão. Leia de cima para baixo e aja na primeira linha que se aplicar.

• Encerre se o critério de sucesso não puder ser atingido dentro do escopo atual e você não souber apontar uma mudança específica que alteraria isso.
• Encerre se o agente precisar de dados ou acessos que a sua política não permite e não existir alternativa aprovada.
• Encerre se o piloto não tiver um responsável de negócio e ninguém puder ser nomeado.
• Encerre se um incidente mostrou que os limites de aprovação não se sustentam e a correção custa mais do que o valor que ainda resta no piloto.
• Pause se um sistema do qual o agente depende estiver sendo substituído ou migrado e a integração precisaria ser refeita de qualquer forma.
• Pause se os usuários do piloto estiverem indisponíveis por um período, por exemplo num pico sazonal, e os resultados ficariam distorcidos.
• Pause se um incidente precisar de investigação antes de alguém poder avaliar os resultados.
• Continue com um escopo menor se os resultados forem mistos, mas você entende o motivo e a causa é algo que você pode mudar.
• Avance para a produção se o critério foi atingido e os controles estão no lugar. O artigo Por que pilotos de IA não saem do papel e como levá-los à produção explica o que essa etapa precisa demonstrar.

Dois cuidados. Primeiro, uso baixo é um sinal, não um veredito. Antes de encerrar, verifique se as pessoas foram treinadas, se o agente está no lugar onde elas trabalham e se os primeiros usuários eram os certos. Segundo, não encerre um piloto só porque ele surpreendeu alguém. Surpresas são a razão de existir um piloto.

O que preservar quando um piloto termina?

O ativo de um piloto não é o agente que está rodando hoje. É o conhecimento de qual deve ser a função, como ela foi configurada, contra o que foi testada e o que aconteceu quando pessoas reais a usaram. Guarde estes itens em um lugar que pertença à empresa.

• A definição da função: qual trabalho o agente deveria fazer, para quem, com quais limites, em linguagem simples.
• A configuração: instruções, definição das ferramentas, ajustes, escolhas de modelo e o histórico de versões mostrando o que mudou e por quê.
• As fontes de conhecimento: quais documentos e sistemas o agente consultou, como foram preparados e o que ficou de fora de propósito.
• O conjunto de avaliação: os casos de teste, os resultados esperados e os últimos resultados pontuados. Costuma ser o item mais reaproveitável, porque permite medir uma tentativa futura, com outro modelo ou outro fornecedor, pelo mesmo critério. A orientação da Anthropic sobre avaliação de agentes explica por que um conjunto mantido de tarefas de teste transforma uma impressão em evidência.
• Logs e trilha de auditoria: conversas amostradas, ações executadas, aprovações concedidas e negadas e eventuais incidentes.
• Feedback dos usuários: o que as pessoas aprovaram, o que contornaram e o que pediram e o agente não conseguiu fazer.
• Notas de integração: quais contas, escopos e endpoints foram conectados, para que uma equipe futura não precise redescobrir tudo.
• O registro de decisão: o resumo de uma página descrito mais abaixo.

Guarde esses itens em formatos que você consiga ler sem as ferramentas do fornecedor original. Documentos simples, texto exportado e arquivos estruturados valem mais do que a captura de tela de um painel. O artigo Como migrar agentes de IA para outro fornecedor, passo a passo aprofunda a portabilidade. Quanto ao backup, teste a restauração: um backup que você nunca abriu é uma esperança, não um ativo.

Seja seletivo com conversas e dados pessoais. Guarde o que você precisa para aprender e o que é obrigado a reter, e aplique as regras normais de retenção ao restante. Aqui, mais não é mais seguro.

Como desligar acessos, dados e usuários?

Este é o plano a seguir depois que a decisão foi tomada. A ordem importa: você captura antes de fechar e fecha antes de anunciar que acabou.

• Comunique aos usuários do piloto a data de término e o motivo, e diga o que acontece com tudo o que eles guardaram ou produziram com o agente.
• Congele as mudanças. Nenhuma instrução, ferramenta ou fonte de conhecimento nova durante o desligamento, para que o registro final corresponda ao que foi testado.
• Tire um instantâneo final da configuração e anote o identificador da versão.
• Rode o conjunto de avaliação uma última vez contra a versão final e registre os resultados, inclusive as falhas.
• Exporte os logs, as conversas e os resultados que você decidiu guardar e aplique as regras de retenção ao restante.
• Revise e revogue os acessos. Liste todas as contas, identidades de serviço, chaves de API e autorizações que o agente tinha e remova uma por uma. A documentação de OAuth do Google descreve como revogar tokens concedidos, e a orientação de autorização da OWASP reforça o hábito de conceder o menor privilégio e retirá-lo quando a necessidade acaba. O artigo De quem devem ser as contas e chaves de API do agente de IA? ajuda a montar essa lista.
• Desative os canais de entrada, como caixas de e-mail compartilhadas, integrações de chat e webhooks, e deixe uma mensagem curta de redirecionamento para que ninguém escreva a um agente que não responde mais.
• Peça a qualquer fornecedor que tenha guardado dados da empresa uma confirmação por escrito do que será apagado ou devolvido e do que, se for o caso, será retido.
• Desligue franquias de uso, assinaturas e rotinas agendadas e dê o aviso contratual quando exigido.
• Faça uma revisão rápida com o responsável de negócio e alguns usuários do piloto e escreva o que foi aprendido.
• Arquive tudo sob um responsável nomeado, com data de revisão, e registre onde está guardado.

Se o piloto for pausado, e não encerrado, faça os passos de um a cinco e o tratamento dos canais, mas mantenha a configuração em estado restaurável e reduza os acessos ao mínimo, e não a zero. Marque uma data no calendário para decidir de novo, porque uma pausa sem data é um encerramento silencioso com portas abertas.

A equipe também precisa saber. Quem usava o agente não deve descobrir que ele sumiu por uma mensagem de erro. O artigo Como apresentar a IA para os funcionários: modelos de mensagem pode ser adaptado para a mensagem de encerramento, porque as perguntas são as mesmas: o que mudou, por quê e o que fazer no lugar.

Como é um desligamento na prática?

Cenário ilustrativo: uma distribuidora testa um agente que redige respostas a perguntas sobre o status de pedidos para a equipe de atendimento. O critério de sucesso é que os revisores aceitem a maioria dos rascunhos com pequenos ajustes. Os critérios de encerramento dizem que o piloto termina se os dados dos pedidos não puderem ser lidos de forma confiável e é pausado se o sistema de pedidos mudar.

No meio do caminho, a empresa decide trocar o sistema de pedidos. A integração do agente teria de ser refeita, então a revisão aplica o guia de decisão e escolhe pausar, e não encerrar. A equipe congela as mudanças, roda o conjunto de avaliação contra a versão final e registra os resultados. Exporta as instruções, as definições das ferramentas e a lista de fontes de conhecimento, remove o acesso de escrita do agente e mantém a conexão somente leitura fechada até o novo sistema ficar pronto. A integração com a caixa de e-mail compartilhada é desligada, com uma nota curta de redirecionamento para os contatos internos dos clientes.

O registro de decisão diz o que funcionou (a qualidade dos rascunhos em perguntas de rotina), o que não funcionou (alterações incomuns de pedido exigiam uma pessoa) e o que precisa ser verdade para retomar (uma conexão estável com o novo sistema e um conjunto de avaliação atualizado). Meses depois, a equipe retoma a partir de um registro escrito, e não da memória. Se tivesse decidido encerrar, os mesmos artefatos estariam no arquivo, prontos para uma tentativa futura com outro escopo.

Como a abordagem gerenciada da Be Human trata o fim de um piloto?

O primeiro projeto da Be Human define uma função útil, a memória e as ferramentas de que ela precisa, os limites de aprovação e um critério de sucesso observável. As condições de pausa e encerramento podem ser combinadas nessa mesma etapa de definição de escopo, de modo que o fim de um piloto seja um evento planejado. Na operação gerenciada, as mudanças de configuração são versionadas, as permissões são revisadas em intervalos regulares e as avaliações são repetidas, o que significa que os materiais de que um desligamento precisa já existem. Quando um piloto termina, o trabalho consiste sobretudo em exportar o que a empresa possui, revogar acessos e registrar a decisão, em vez de reconstruir o que foi feito.

Como escrever a decisão final?

Um registro de decisão de uma página é o artefato que faz o resto valer a pena. Ele deve ser legível por alguém que não esteve na sala. Inclua estas partes:

• A decisão: encerrar, pausar até uma data definida ou continuar com um escopo alterado.
• O motivo, ligado aos critérios de encerramento escritos com antecedência.
• As evidências: resultados da avaliação, padrões de uso e exemplos revisados de boas e más respostas.
• O que foi aprendido sobre o processo, os dados e as pessoas que usaram o agente.
• O que foi preservado e onde está guardado.
• Quais acessos foram fechados, por quem e quando.
• As condições para tentar de novo e o responsável que vai avaliá-las.

Mantenha tudo em afirmações simples. Se o ciclo de vida depois do lançamento ainda é território novo para você, o artigo O que é AgentOps? Como operar um agente de IA no dia a dia mostra onde esse registro se encaixa entre as etapas pelas quais um agente passa.

Perguntas frequentes

Encerrar um piloto significa que ele fracassou? Não, se você aprendeu o que se propôs a aprender. Um piloto existe para descobrir, a baixo custo, se uma função combina com um agente no seu ambiente. Um não claro, sustentado por evidências e por um registro, é um resultado útil. O fracasso é o piloto que se arrasta sem uma decisão.

Por quanto tempo um piloto pausado deve ficar pausado? Apenas pelo tempo da condição que justificou a pausa, e sempre com data de revisão. Se a data chegar e a condição não tiver mudado, decida de novo: prorrogue com uma nova data ou converta a pausa em encerramento. Pausas sem prazo mantêm acessos, assinaturas e responsabilidades vivos sem que ninguém use nada disso.

Quem deve decidir encerrar um piloto de IA? Quem deve decidir é o responsável de negócio que patrocinou o piloto, informado por quem o opera e por quem o usa. A equipe técnica fornece as evidências, mas a decisão é sobre se a função merece continuar, o que é um julgamento de negócio. Se os critérios de encerramento foram escritos com antecedência, a decisão consiste, na maior parte, em confirmar qual linha foi cruzada.

Devemos apagar os dados quando o piloto termina? Apague o que você não tem motivo nem obrigação de guardar e mantenha o que precisa para aprendizado, auditoria ou retenção legal. Aplique as regras normais de retenção e peça confirmação por escrito de qualquer fornecedor que tenha guardado dados da empresa sobre o que será apagado ou devolvido. Decida isso antes do desligamento, e não depois, para que a exportação e a exclusão não entrem em conflito.

Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.