Revisão trimestral de IA na empresa: manter, corrigir ou encerrar

A revisão trimestral de IA na empresa é uma reunião curta e recorrente de liderança em que cada fluxo de agente é comparado ao seu propósito original e termina em uma de três decisões: manter, corrigir ou encerrar. Ela funciona quando cada fluxo tem um responsável nomeado, um pacote enxuto de evidências e um critério de sucesso escrito, de modo que a decisão se apoie no que o fluxo realmente fez, e não na impressão que as pessoas têm dele. O resultado da reunião é um registro de decisões, não uma apresentação de slides.

Principais pontos

• Revise os fluxos um a um, não o programa de IA como um todo. Todo fluxo sai da sala com o rótulo manter, corrigir ou encerrar e um responsável nomeado.
• Envie um pacote curto de evidências antes da reunião: propósito, trabalho concluído, correções, incidentes, custo por tarefa concluída e permissões em uso.
• Faça o “manter” merecer seu lugar. Um fluxo que não consegue mostrar que ainda cumpre seu propósito não deve continuar por padrão.
• Toda correção precisa de um responsável, uma mudança específica, uma data e uma nova checagem. Um fluxo corrigido duas vezes que continua falhando vira candidato a encerramento.
• Trate o encerramento como um resultado normal. Ele inclui revogar acessos, exportar o que vale guardar e avisar quem usava o fluxo.

Por que uma operação de IA precisa de revisão recorrente?

Fluxos de agentes se desviam com o tempo. O modelo por trás deles muda, uma ferramenta conectada altera seu comportamento, os documentos em que eles se apoiam ficam desatualizados e o processo real da equipe avança enquanto o fluxo permanece parado. Enquanto isso, as permissões se acumulam, porque é sempre mais fácil conceder acesso do que removê-lo.

Nada disso se anuncia. Um fluxo raramente quebra de forma barulhenta. O mais comum é as pessoas pararem de confiar nele, começarem a conferir cada resultado ou passarem a contorná-lo. Sem um momento marcado para olhar, todo fluxo vira “manter” por inércia, e o custo dessa escolha fica invisível.

Uma revisão recorrente troca a inércia por uma decisão. O formato de três saídas importa porque elimina a quarta opção confortável: “deixa assim e vamos ver”. Referências como o NIST AI Risk Management Framework descrevem a gestão de IA como um ciclo contínuo de mapear, medir e gerenciar, não como uma aprovação única. A cadência trimestral é uma forma prática de tornar esse ciclo real para uma empresa que não tem um departamento de riscos dedicado.

Essa revisão é diferente da revisão de um piloto. O piloto pergunta se uma ideia merece entrar em produção. A revisão trimestral pergunta se algo que já está no ar ainda merece seu lugar, seu orçamento e seu acesso. Se você ainda não escreveu o que significa sucesso para um fluxo, comece por como definir critérios de sucesso para um piloto de agente de IA, porque a revisão depende dessa definição.

Quem deve participar e como conduzir a sessão?

Mantenha o grupo pequeno e dê a cada pessoa uma função clara.

• Quem decide: um patrocinador executivo que possa aprovar um encerramento ou uma mudança de orçamento na hora.
• Responsáveis pelos fluxos: a pessoa de negócio que responde pelo resultado de cada fluxo, e não quem o configurou.
• O operador: quem cuida do lado técnico, seja um engenheiro interno ou um parceiro externo. Responde sobre incidentes, integrações e mudanças.
• Uma voz de risco e dados: alguém que fale sobre permissões, dados sensíveis e as regras que a empresa se comprometeu a seguir.

Se você não tem certeza de quem deve assumir esses papéis, o artigo modelo operacional de IA para empresas: quem é dono, revisa e opera apresenta uma divisão de responsabilidades que combina bem com essa reunião.

O pacote de evidências deve chegar antes da sessão. Se os primeiros dez minutos forem de pessoas lendo os números pela primeira vez, a revisão vira uma reunião de status. A reunião serve para julgamento: o que as evidências significam e o que fazer a respeito.

Que evidências cada fluxo deve levar?

O objetivo é um resumo de uma página por fluxo, que qualquer pessoa na sala consiga ler rapidamente. Ele deve responder às mesmas perguntas a cada trimestre, para que as tendências apareçam. Use esta lista.

• Propósito e critério de sucesso: a frase que diz para que o fluxo serve e o resultado observável que mostra que ele funciona.
• Trabalho concluído: quanto trabalho terminou corretamente de ponta a ponta, em vez de quanto foi iniciado ou quantas mensagens foram trocadas.
• Correções humanas e escalonamentos: com que frequência as pessoas precisaram corrigir o resultado ou assumir a tarefa, e quais tipos de erro se repetiram.
• Incidentes e quase incidentes: tudo o que deu errado, quase deu errado ou exigiu reversão, e o que mudou depois.
• Custo por tarefa concluída: o custo total de operação dividido pelo trabalho finalizado, conforme discutido em custo total de propriedade de agente de IA: o que contar além da licença. A orientação da FinOps Foundation sobre economia unitária é uma boa referência para entender por que uma medida unitária vale mais que um total.
• Permissões em uso: o que o fluxo pode ler, redigir e enviar, comparado com o que ele de fato usou durante o trimestre.
• Atualidade do conhecimento: quando os documentos e a memória de que ele depende foram revisados pela última vez, e por quem.
• Percepção dos usuários: uma nota curta de quem trabalha com o fluxo, incluindo se ainda o usam e o que fazem no lugar quando não usam.

Duas práticas de apoio tornam essa evidência confiável. Primeiro, mantenha um pequeno conjunto de casos de teste representativos para cada fluxo e rode-os a cada trimestre, para comparar o comportamento ao longo do tempo. Os textos da Anthropic sobre avaliação de agentes e o guia de evals da OpenAI descrevem esse hábito de testar com tarefas realistas. Segundo, garanta que existam logs e rastros, para que o operador possa responder “o que aconteceu” sem adivinhar. A introdução do OpenTelemetry à observabilidade explica o vocabulário básico de logs, métricas e traces.

Se parte dessa evidência ainda não existe, esse é o primeiro achado. Registre como uma correção de monitoramento e decida o fluxo com as evidências que você tem.

Como decidir entre manter, corrigir ou encerrar?

Use uma regra consistente para cada rótulo, escrita, para que as decisões não dependam de quem argumenta melhor.

• Manter quando o fluxo ainda cumpre o critério de sucesso, as correções estão estáveis ou em queda, as permissões batem com o uso real e o responsável confirma que o processo que ele apoia não mudou. Manter também gera uma ação: a data da próxima revisão e algum item pequeno de manutenção.
• Corrigir quando o propósito continua válido, mas as evidências mostram um problema específico e identificável: conhecimento desatualizado, uma integração que se desviou, uma permissão ampla demais, uma etapa de aprovação ausente ou uma classe de erros que se repete. Toda correção deve indicar a mudança, o responsável, a data e como saber se funcionou.
• Encerrar quando o propósito deixou de existir, o processo foi para outro lugar, as pessoas pararam de usar o fluxo, o custo por tarefa concluída deixou de fazer sentido ou o risco não cabe mais nos limites definidos. Encerre também quando um fluxo já foi corrigido duas vezes e o mesmo problema volta.

Algumas regras mantêm o formato honesto.

• Só quem decide pode aprovar “manter” para um fluxo sem critério de sucesso atual. Se ninguém sabe dizer o que é sucesso, o padrão é corrigir, e a correção é escrever esse critério.
• Uma correção atravessa no máximo uma revisão. Se não estiver resolvida na sessão seguinte, deve ser convertida em encerramento ou escalada com um novo plano.
• Todo fluxo que ganhou autoridade de escrita ou envio durante o trimestre merece um novo olhar sobre seus limites de aprovação. Definir onde o agente de IA deve parar e pedir confirmação é parte desse trabalho.
• Encerrar é uma lista de verificação, não um interruptor: revogue acessos e credenciais, pare as execuções agendadas, exporte a documentação e qualquer memória que valha preservar, arquive o registro da decisão e avise quem usava o fluxo o que passa a substituí-lo.

Um fluxo que você não consegue encerrar com limpeza é um fluxo que você não controla por completo.

Como é uma revisão passo a passo na prática?

Este é um plano que você pode executar como está na primeira revisão e depois ajustar.

• Passo um, duas semanas antes: o operador monta o inventário de todos os fluxos em produção, inclusive os informais que pessoas configuraram por conta própria. O que não estiver na lista não será revisado, por isso a lista precisa estar completa.
• Passo dois, uma semana antes: cada responsável recebe seu resumo de evidências de uma página e acrescenta uma nota curta sobre se o processo de fundo mudou.
• Passo três, no início da sessão: confirme as regras de decisão e leia o resumo de incidentes de todo o trimestre antes de olhar os fluxos individualmente.
• Passo quatro, por fluxo: o responsável diz o propósito em uma frase, o operador destaca as evidências que chamam atenção e o grupo discute apenas o que for surpreendente.
• Passo cinco, por fluxo: quem decide nomeia o rótulo. Se o grupo discordar, pergunte qual evidência isolada mudaria a resposta e designe alguém para obtê-la.
• Passo seis, no final: leia em voz alta o registro de decisões, com responsáveis e datas para cada correção e encerramento.
• Passo sete, em até uma semana: o operador executa as mudanças, seguindo uma rotina de liberação cuidadosa. Como atualizar um agente de IA em produção sem quebrar nada é um bom complemento nesse ponto.
• Passo oito, na revisão seguinte: abra com as correções e encerramentos do trimestre anterior. Aconteceram? Funcionaram?

O passo oito é o mais pulado, e é ele que transforma uma reunião em uma prática de gestão.

Como isso fica em um conjunto real de fluxos?

Cenário ilustrativo: uma empresa de serviços profissionais tem três fluxos em produção. O primeiro redige respostas a solicitações de clientes para aprovação humana. O segundo compila um resumo semanal de status a partir de notas de projeto. O terceiro confere contratos recebidos com uma lista de cláusulas padrão.

O fluxo de redação de respostas mostra uso constante, correções estáveis e permissões limitadas a redigir. O responsável confirma que o processo não mudou. Decisão: manter, com um item pequeno de manutenção para atualizar a orientação de tom que a equipe revisou recentemente.

O resumo semanal de status ainda roda, mas a equipe de projetos migrou para outra ferramenta de acompanhamento durante o trimestre e o fluxo agora lê uma fonte antiga. As pessoas voltaram a escrever o resumo à mão. O propósito continua válido. Decisão: corrigir, com a integração redirecionada para a nova fonte, um responsável nomeado, uma data e uma nova checagem na próxima revisão.

O verificador de cláusulas foi criado quando a empresa usava um único modelo de contrato. Desde então, a maioria dos acordos chega no papel do cliente, a lista de cláusulas não é revisada há muito tempo e o líder jurídico relata que ninguém abre o resultado. Decisão: encerrar. O acesso é revogado, a lista de cláusulas é exportada para a pasta da própria equipe jurídica e o responsável avisa o time o que usar no lugar.

Repare que nenhuma das três decisões precisou de um número dramático. Precisaram de um retrato honesto de uso, precisão e aderência.

Como a Be Human conduz isso dentro da operação gerenciada?

A Be Human trata a revisão como parte do trabalho recorrente de operação, não como um exercício de consultoria separado. O operador prepara o inventário e o pacote de evidências, mantém os casos de teste representativos atualizados, sinaliza permissões que foram concedidas e não usadas e executa as correções e os encerramentos acordados com os mesmos controles de mudança de qualquer atualização em produção. As decisões continuam com as suas pessoas. O artigo serviços gerenciados de IA para empresas: o que está incluso descreve o conjunto mais amplo de tarefas recorrentes em torno disso, e os limites de aprovação e os critérios de sucesso definidos no primeiro projeto passam a ser o padrão contra o qual cada fluxo é revisado.

Perguntas frequentes

Com que frequência a empresa deve fazer uma revisão de IA? A cada trimestre serve para a maioria das empresas, porque é frequente o bastante para pegar desvios e espaçado o bastante para haver evidência real a examinar. Se um fluxo trata dados sensíveis ou tem autoridade para enviar mensagens externas, acrescente uma checagem mensal mais leve de incidentes e permissões, e deixe a decisão completa para a sessão trimestral.

Quem deve tomar a decisão final entre manter, corrigir ou encerrar? O patrocinador executivo, com a contribuição do responsável pelo fluxo e do operador. O responsável responde pelo resultado de negócio e o operador pelos fatos técnicos, mas alguém com autoridade sobre orçamento e acesso precisa decidir, senão correções e encerramentos ficam parados.

E se ainda não temos métricas para um fluxo? Comece pelo que dá para observar: se as pessoas ainda o usam, com que frequência o corrigem e se ele já causou algum incidente. Depois faça da primeira correção a criação de um critério de sucesso escrito e de uma forma básica de medi-lo, para que a próxima revisão tenha evidência de verdade.

Encerrar um fluxo significa que o projeto de IA fracassou? Não. Processos mudam, ferramentas mudam e alguns fluxos foram úteis apenas por um período. Encerrar um fluxo com limpeza libera atenção, reduz risco e abre espaço para um papel melhor delimitado, e mostra que a sua revisão está cumprindo sua função.

Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.