Ir para conteúdo
be-human.ai
← Voltar ao blog

Supervisão humana

Registro de riscos de superinteligência para empresas: um modelo simples

Modelo de uma página para registrar riscos de agentes de IA, com responsáveis, notas de probabilidade, mitigações e revisões após trocas de modelo.

Capa tipográfica do Be Human com o título: Registro de riscos de superinteligência para empresas: um modelo simples
Ilustração conceitual criada com IA · Be Human

Um registro de riscos de superinteligência para empresas é uma tabela de uma página que lista cada agente, o que ele pode fazer, o dano que poderia causar se falhar ou for mal utilizado, a pessoa que responde por esse risco, uma nota simples sobre a probabilidade do dano e os controles que o limitam. O registro só é útil se for revisado em uma data fixa e sempre que o modelo, as ferramentas, a memória ou as permissões mudarem. O modelo abaixo foi escrito para o dono do negócio ou o líder de operações que precisa decidir o que um agente pode fazer neste trimestre.

Principais pontos

  • Mantenha uma linha por agente, com um responsável nomeado e uma data de próxima revisão em cada linha.
  • Escreva a probabilidade como evidência e condições de alerta, não como números precisos que você não consegue defender.
  • Escolha mitigações que você possa testar, como permissões mais restritas, etapas de aprovação, logs legíveis e um caminho de parada.
  • Reavalie uma linha sempre que o modelo, as ferramentas, o escopo de memória ou os dados acessados mudarem, e não apenas uma vez por ano.
  • Limite o registro a uma página para que as pessoas leiam e mantenham o documento atualizado.

Por que um registro de riscos pertence à operação dos agentes

A maioria das equipes de operações já mantém alguma lista de riscos para pagamentos, equipe ou dados de clientes. Os agentes trazem um tipo diferente de exposição. Eles executam ações em vários sistemas, e o conjunto de coisas que conseguem alcançar costuma crescer mais rápido do que o processo que os aprovou no início. Um registro transforma esse crescimento em uma lista visível, com uma pessoa nomeada responsável por cada item. O NIST AI Risk Management Framework descreve um ciclo contínuo de governar, mapear, medir e gerenciar riscos de IA, e o registro é o documento de trabalho mais simples que torna esse ciclo concreto para uma empresa. Para uma visão mais ampla de como esses riscos aparecem no dia a dia, veja modelo de registro de riscos de IA, que trata do caso geral.

O registro não é uma previsão sobre o quão capazes serão os sistemas futuros. Ele responde perguntas mais restritas: o que este agente toca hoje, quanto um resultado ruim custaria para o negócio, quem decide quando a resposta mudar e quais controles foram de fato verificados. Manter o escopo estreito é o que permite terminar o documento em uma única sessão e mantê-lo vivo depois.

O modelo de uma página, coluna por coluna

Use uma planilha ou uma tabela em um único documento, com estas colunas, nesta ordem.

  • Agente e função: o nome do agente e uma frase descrevendo a única tarefa que ele executa.
  • Ações possíveis: ler, gravar, enviar, pagar, excluir ou publicar, e qual sistema cada ação toca.
  • Dano se algo der errado: o resultado concreto para um cliente, um funcionário, a contabilidade ou a marca.
  • Responsável pelo risco: uma pessoa nomeada com autoridade sobre o dano descrito, não um apelido de equipe.
  • Nota de probabilidade: duas ou três frases de evidência, descritas na seção seguinte.
  • Controles atuais: as permissões, etapas de aprovação, monitoramento e caminhos de parada em vigor hoje.
  • Mitigações planejadas: as próximas duas ou três mudanças, cada uma com data de entrega e um testador que não tenha construído o agente.
  • Gatilhos de nova revisão: os eventos que obrigam a reavaliar a linha, listados na seção final.
  • Data da próxima revisão: uma data no calendário, com no máximo um trimestre de distância.
  • Situação: aberto, em andamento ou aceito, com o nome da pessoa que aceitou qualquer risco residual.

Mantenha uma linha por agente. Se um mesmo agente executa duas funções com permissões diferentes, separe-o em duas linhas, porque os controles e os responsáveis costumam ser diferentes.

Como escrever uma nota de probabilidade sem precisão falsa

Líderes de negócio são frequentemente solicitados a informar uma probabilidade, e a resposta honesta costuma ser que a empresa ainda não tem histórico suficiente para estimá-la. Uma nota de probabilidade substitui o número por evidência. Ela diz o que foi observado, o que ainda não foi testado e o que tornaria o dano mais provável. Atribua uma classificação de baixa, média ou alta somente depois que a nota estiver escrita, para que a classificação decorra do raciocínio e não o contrário.

Exemplo de nota: durante o piloto, o agente redigiu respostas sem registro de envio para destinatário errado, mas ainda não foi testado com mensagens que misturam duas contas de clientes ou chegam em outro idioma. E-mails recebidos são texto não confiável, então uma mensagem pode conter instruções que o agente não deveria seguir. Classificação: média, até que haja um teste com mensagens de contas misturadas.

Eleve a classificação quando um novo canal, ferramenta ou fonte de dados for adicionado, quando o modelo subjacente for substituído ou quando o agente passar a ler textos vindos de fora da empresa. Reduza a classificação apenas quando um teste tiver sido executado e o resultado estiver registrado na nota.

Montando o primeiro registro em uma sessão de trabalho

Uma primeira versão pode ser produzida em uma única sessão com o dono do negócio, um líder de operações e a pessoa que mantém as integrações. Siga estas etapas na ordem.

  • Liste todos os agentes ou assistentes com acesso aos sistemas da empresa, incluindo ferramentas que os próprios funcionários configuraram. Como encontrar essas ferramentas ocultas está tratado em shadow AI no ambiente de trabalho sem punir.
  • Para cada um, escreva a única tarefa que ele executa e as ações exatas que pode tomar.
  • Nomeie o responsável pelo risco de cada linha antes de discutir o risco, para que a responsabilidade não se dissolva no grupo.
  • Descreva o pior resultado plausível em termos de negócio: um reembolso errado, uma mensagem enviada ao cliente errado, um arquivo excluído, um registro alterado.
  • Escreva a nota de probabilidade a partir de evidências que você de fato possui e marque as linhas em que a evidência está ausente.
  • Verifique cada controle existente no próprio sistema, e não no documento de política que o descreve.
  • Para cada linha com classificação alta, escolha duas mitigações e atribua cada uma a um testador.
  • Defina a próxima data de revisão e coloque-a no calendário antes de encerrar a reunião.

Cenário ilustrativo: um agente de acompanhamento de clientes

Cenário ilustrativo, não é uma empresa real. Um distribuidor usa um agente para responder perguntas sobre o status de pedidos e redigir e-mails de acompanhamento para a equipe comercial. A linha do registro indica o gerente de operações comerciais como responsável. Na coluna de dano, constam dois resultados: uma mensagem de status que revela o pedido de um cliente a outro cliente e uma data de entrega prometida que o armazém ainda não confirmou.

O controle atual é que o agente pode ler os registros de pedidos, mas não pode enviar e-mails, porque um membro da equipe precisa aprovar cada rascunho. As mitigações planejadas são restringir o acesso do agente aos pedidos da conta que fez a solicitação e montar um conjunto de testes com mensagens que misturam nomes de contas. A nota de probabilidade cita os resultados do piloto, informa que o teste de contas misturadas ainda não foi executado e sinaliza os e-mails recebidos como texto não confiável. Quando o armazém adicionar uma segunda transportadora, a linha é reavaliada na mesma semana, e a permissão de envio continua desligada até que o novo conjunto de testes seja aprovado.

Mitigações que reduzem a exposição, não a burocracia

Uma mitigação só conta se mudar o que o agente pode fazer ou a velocidade com que as pessoas percebem um problema. Quatro tipos costumam valer o esforço: permissões mais estreitas, concedidas por ação e por sistema; aprovação humana nas etapas em que o dano é alto; logs completos que a equipe consiga ler; e um caminho de parada que interrompa novas ações sem perder o trabalho já enfileirado. O OWASP Top 10 for LLM Applications lista a injeção de prompt e a autonomia excessiva entre as principais classes de risco, então qualquer linha de um agente que lê texto externo deve ter uma mitigação que limite o que instruções injetadas poderiam provocar.

Teste cada mitigação com perguntas concretas:

  • Se o agente ler uma instrução malformada dentro da mensagem de um cliente, ele ainda consegue enviar algo fora do caminho aprovado?
  • Se o caminho de parada for acionado no meio do dia, o que acontece com o trabalho que o agente já havia enfileirado, e quem é avisado?
  • Um gerente que não participou da configuração consegue ver qual ação o agente tomou, sobre quais dados e por qual motivo?
  • Se uma permissão foi removida no mês passado, você consegue demonstrar que o agente não a possui mais?

Se a resposta a qualquer uma dessas perguntas for incerta, a linha ainda não está controlada. Para um desenho prático de parada, veja botão de parada para agentes de IA.

Revisando o registro conforme a capacidade do modelo cresce

O registro é um documento vivo. Reavalie uma linha quando ocorrer um gatilho: uma nova versão do modelo, uma nova ferramenta ou conector, um escopo de memória mais amplo, uma nova fonte de dados, um novo segmento de clientes ou jurisdição, um incidente ou a troca de responsável. Cada gatilho deve reabrir a nota de probabilidade, e não apenas a classificação, porque é a evidência que muda. As avaliações são a forma como a evidência se acumula. O guia de evals da OpenAI descreve a construção de testes que medem o comportamento do modelo contra critérios definidos, e esse tipo de teste é o que transforma uma nota de probabilidade em algo além de uma opinião. A autonomia também pode se mover nos dois sentidos, então uma reavaliação pode justificar a redução das permissões de um agente. O princípio de liberar cada etapa somente após evidência está desenvolvido em níveis de autonomia para agentes de IA.

A Be Human projeta, implanta e opera infraestrutura de IA personalizada para empresas, e o registro faz parte desse trabalho operacional. Um primeiro projeto define uma função útil, a memória e as ferramentas de que ela precisa, os limites de aprovação e um critério de sucesso observável. A operação gerenciada inclui monitoramento, avaliações recorrentes, manutenção de integrações, revisão de permissões, resposta a incidentes e melhorias controladas, de modo que cada linha do registro aponte para um controle atual e para uma pessoa que o revisa. O serviço é remoto e está disponível em inglês e em português.

Se você não tem certeza de qual tarefa de agente merece a primeira linha do seu registro, o diagnóstico gratuito de IA da Be Human pode ajudar a identificar a primeira tarefa que vale a pena entregar a um agente.

Perguntas frequentes

Com que frequência o registro deve ser revisado? Pelo menos uma vez por trimestre, com uma data no calendário em cada linha. Revise antes sempre que ocorrer um gatilho listado no registro, como uma nova ferramenta, uma troca de modelo ou um incidente. A revisão das linhas que não mudaram costuma ser curta, e por isso uma cadência fixa é mais fácil de manter do que uma revisão profunda ocasional.

Quem deve ser o dono do registro? Um executivo nomeado ou um líder de operações deve ser responsável pelo documento e manter o formato consistente. Cada linha ainda precisa de um responsável pelo risco com autoridade sobre o dano descrito. Entregar o registro inteiro apenas à TI é um erro comum, porque o dano geralmente recai sobre operações, clientes ou finanças.

Um registro de riscos basta para a conformidade regulatória? Não. O registro apoia a governança, mas não substitui a análise jurídica. Dependendo de onde você atua e de quais dados pessoais o agente trata, regras como o AI Act europeu ou a LGPD brasileira podem se aplicar, então confirme as exigências com seu advogado. Os pontos levantados em LGPD e agentes de IA nas empresas são um ponto de partida razoável para uma checagem inicial.

E se não conseguirmos estimar a probabilidade de jeito nenhum? Registre a evidência que você tem e diga claramente onde ela está ausente. Marque a linha como pendente de teste e agende esse teste antes da próxima revisão. Um teste que ainda não foi feito é um achado legítimo, e muitas vezes é a linha mais útil de todo o registro.

Seu próximo passo

Descubra primeiro onde um agente de IA cabe na sua empresa.

Faça o diagnóstico gratuito de IA da Be Human. Algumas perguntas sobre o seu trabalho mostram qual tarefa entregar primeiro a um agente, o que ele precisa saber e onde uma pessoa aprova.

Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.

Menos tarefas. Mais espaço para você.

Traga o trabalho para o qual falta tempo.

Agende uma conversa e teste 7 dias grátis um agente de IA personalizado ↗Ou faça o diagnóstico gratuito de IA →