Perguntas do conselho sobre superinteligência: o que cobrar da gestão

As perguntas do conselho sobre superinteligência se resumem a quatro, feitas à gestão: onde a empresa está exposta a uma IA mais capaz, quem responde pelos resultados com nome e sobrenome, quais controles limitam o que os sistemas de IA podem fazer e quão preparada a empresa está quando os modelos melhoram ou mudam. O conselho não precisa prever quando ou se a superinteligência chega. Precisa de evidências de que o trabalho com IA de hoje é delimitado, tem dono e pode ser revertido, para que a empresa absorva mais capacidade sem sustos.

Principais pontos

• Supervisionar não exige previsão. Exige evidência de que o trabalho atual com IA é delimitado, tem dono e pode ser revertido.
• Peça um inventário de onde a IA já toca clientes, dinheiro, dados e decisões, incluindo ferramentas que os funcionários adotaram por conta própria.
• Todo sistema de IA precisa de um executivo responsável, com nome, e o conselho deve saber qual comitê recebe os relatórios.
• Controles valem mais do que boas intenções: permissões estreitas, limites de aprovação por escrito, um jeito testado de parar um agente e registros que alguém realmente lê.
• Prontidão significa que a troca de modelo, a troca de fornecedor ou um salto de capacidade disparam uma revisão definida, e não uma surpresa.

O que a supervisão do conselho sobre superinteligência realmente cobre?

Os conselheiros costumam encontrar o tema em dois enquadramentos ruins. No primeiro, é especulação distante: interessante, mas sem nada para fazer. No segundo, é um assunto técnico delegado por inteiro à área de TI. Nenhum dos dois ajuda um conselho que responde por risco, alocação de capital e pela confiabilidade do que a empresa diz a clientes e reguladores.

Um enquadramento mais útil trata a superinteligência como uma direção de caminho: modelos cada vez mais capazes de raciocinar, planejar e agir por meio de ferramentas. Ninguém no seu conselho sabe dizer quando certos limiares serão cruzados, e a gestão também não sabe. O que o conselho pode examinar é como a empresa se comporta à medida que a capacidade aumenta: o que ela permite que a IA faça, quem responde por isso e com que rapidez percebe que algo mudou. Essas perguntas valem tanto para um avanço gradual quanto para um abrupto.

Já existe vocabulário útil. O NIST AI Risk Management Framework organiza o trabalho em governar, mapear, medir e gerenciar riscos, e os Princípios de IA da OCDE destacam responsabilidade, robustez e transparência. Nenhum dos dois diz o que comprar, mas ambos ajudam o conselho a dizer o que espera ver. A gestão também pode partir do material sobre como preparar a empresa para IA superinteligente e adaptá-lo à realidade da empresa.

As seções abaixo usam quatro eixos, exposição, responsabilidade, controles e prontidão, porque dão ao conselho uma estrutura compacta que não depende de profundidade técnica.

Exposição: onde uma IA mais capaz pode alcançar o negócio?

Comece pelo que já existe. Exposição não é apenas o agente que a empresa construiu de propósito. Inclui todo lugar em que um modelo de IA pode ler informações da empresa, produzir algo que um cliente vê ou influenciar uma decisão. Peça à gestão que preste contas de cada um destes canais:

• Saídas voltadas ao cliente, como respostas, orçamentos ou recomendações redigidos ou enviados por IA.
• Agentes internos com acesso a sistemas da empresa, como e-mail, agendas, documentos, CRM ou ferramentas financeiras.
• Funcionários usando contas pessoais ou gratuitas de IA com dados da empresa.
• Fornecedores que incluíram recursos de IA em softwares que a empresa já usa.
• Decisões apoiadas por resultados de IA, como previsões, triagens ou priorizações, em que ninguém confere o raciocínio.

O pedido mais útil é um inventário de uma página, com um responsável ao lado de cada linha. Na primeira vez ele será incompleto, e essa incompletude já é informação. Um conselho que receber uma lista curta e confiante deve perguntar como a gestão sabe que nada ficou de fora.

A segunda pergunta de exposição é dependência. Se o principal fornecedor de modelo mudasse seus termos, aposentasse uma versão ou sofresse uma queda longa, quais processos parariam e quais apenas ficariam mais lentos? A gestão deve responder em termos de negócio, não técnicos. Se a resposta honesta for que ninguém verificou, isso é um achado que vale registrar. O artigo sobre como manter os ganhos dentro da empresa quando os modelos mudam explica como as empresas reduzem essa dependência na prática.

Responsabilidade: quem responde, com nome?

Um sistema de IA com dono compartilhado não tem dono. O conselho deve pedir um executivo nomeado por sistema, alguém com autoridade sobre o processo que o sistema atende, e não apenas alguém que entende a tecnologia. Quando um agente envia uma mensagem errada a um cliente, quem responde deve ser a pessoa dona da relação com esse cliente.

A responsabilidade tem alguns testes práticos. Um dono nomeado deve conseguir responder a isto sem preparação:

• O que o sistema pode fazer e o que lhe é proibido fazer.
• Que evidência mostra que ele ainda funciona.
• Qual foi o último incidente ou quase incidente e o que mudou depois.
• Quanto custa operá-lo e qual orçamento arca com esse custo.
• Como pausá-lo e quem mais pode fazer isso.

O papel do patrocinador executivo merece atenção, porque é onde a responsabilidade costuma se diluir. O texto sobre o líder interno de IA na empresa descreve o tempo e a autoridade que o papel exige. O conselho também deve perguntar o que acontece quando essa pessoa sai, porque a continuidade da responsabilidade é um controle por si só.

Por fim, decida onde o relatório chega. Muitas empresas colocam o risco de IA no comitê de auditoria ou de riscos, outras no conselho pleno por um período. Ambos podem funcionar. O que não funciona é deixar sem atribuição. Para empresas sem estrutura formal, o conteúdo sobre superinteligência empresarial e governança de agentes de IA oferece um mínimo viável.

Controles: o que os agentes podem fazer e quem pode pará-los?

Intenções não limitam um agente de IA. Permissões limitam. A pergunta do conselho não é se a gestão confia no sistema, mas o que o sistema é tecnicamente capaz de fazer se se comportar mal, for manipulado ou simplesmente errar. As orientações da OWASP sobre autorização são uma boa referência para o princípio do menor privilégio, e o OWASP Top 10 para aplicações com LLMs cataloga as formas específicas de abuso desses sistemas, incluindo a injeção de prompt por meio de e-mails, páginas web e documentos que o agente lê.

Peça à gestão que demonstre, e não apenas descreva, os controles a seguir:

• Menor privilégio: cada agente tem somente o acesso que sua função exige, concedido sistema por sistema e revisado em intervalos definidos.
• Limites de aprovação: uma lista escrita de ações que o agente pode executar sozinho, ações que exigem aprovação humana e ações proibidas.
• Mecanismo de parada: uma pessoa nomeada, um jeito testado de pausar o agente e a capacidade de revogar rapidamente suas credenciais.
• Registros: um histórico do que o agente leu, decidiu e fez, guardado por tempo suficiente para investigar um incidente.
• Tratamento de entradas não confiáveis: defesas contra instruções escondidas em conteúdos que o agente processa.
• Backup e recuperação: a memória e a configuração do agente podem ser restauradas para um estado conhecido e correto.

A palavra testado importa. Um botão de parada que ninguém usou na prática é uma esperança. Pergunte quando foi o último exercício e o que ele revelou. Uma revisão recorrente fecha o ciclo: o guia da revisão trimestral de IA na empresa mostra que evidências a gestão pode levar ao conselho a cada ciclo.

Prontidão: o que acontece quando o modelo muda?

Uma IA mais capaz costuma chegar como atualização, não como anúncio. O fornecedor lança uma versão melhor, um padrão muda, uma ferramenta ganha novas habilidades. A pergunta ao conselho é se a empresa tem uma resposta definida ou se o primeiro sinal de mudança será a reclamação de um cliente.

Cenário ilustrativo: uma distribuidora usa um agente que redige respostas a fornecedores e atualiza anotações de pedidos. O fornecedor do modelo lança uma versão mais forte, e a nova é mais persuasiva e mais disposta a propor prazos de entrega por conta própria. Uma empresa sem referência de comparação só perceberia quando um fornecedor citasse um compromisso que ninguém aprovou. Uma empresa com um conjunto fixo de casos de teste, a versão de produção registrada e um limite de aprovação por escrito veria a diferença antes de trocar e manteria o agente dentro de sua alçada.

Essa diferença vem de um plano que a gestão pode mostrar ao conselho. Um procedimento sólido de mudança tem este formato:

• Registrar qual versão do modelo está em produção e fixá-la onde o fornecedor permitir.
• Manter um conjunto fixo de casos representativos do trabalho real, com resultados acordados pelo dono do processo.
• Rodar o novo modelo nos mesmos casos, ao lado do antigo, antes de mudar qualquer coisa em produção.
• Comparar o comportamento além da precisão: tom, disposição para agir, recusas e tratamento de pedidos ambíguos.
• Reler permissões e limites de aprovação, já que um modelo mais capaz pode tentar mais do que antes.
• Liberar primeiro para um grupo pequeno, com um caminho de reversão por escrito.
• Registrar a decisão e as evidências e reportá-las ao dono.

O conselho não precisa aprovar cada atualização de modelo. Deve confirmar que esse procedimento existe, que alguém é responsável por ele e que ele foi usado pelo menos uma vez.

Quais perguntas o conselho deve fazer à gestão?

A lista abaixo é curta de propósito. Pode ser levantada em uma reunião regular e respondida por escrito, uma página por pergunta, com o nome de um responsável.

• Exposição: quais processos, clientes e bases de dados a IA toca hoje, incluindo ferramentas que ninguém aprovou formalmente?
• Dependência: quais fornecedores seriam difíceis de substituir e o que perderíamos em uma semana se um deles suspendesse o serviço?
• Responsabilidade: quem responde por cada sistema e qual comitê do conselho recebe o relatório?
• Autoridade: o que cada agente pode fazer sem um humano e quem aprovou esses limites?
• Parada: quem pode pausar um agente, com que rapidez e quando isso foi testado pela última vez?
• Evidência: que avaliação recorrente mostra que o sistema ainda cumpre sua função e o que ela mostra agora?
• Mudança: o que acontece quando um modelo é atualizado ou substituído e quem dá a aprovação final?
• Incidentes: o que deu errado desde o último relatório, o que mudou em consequência e como o conselho saberia do próximo?

Trate a qualidade das respostas como o sinal. Respostas específicas, curtas e com dono sugerem uma empresa preparada. Respostas longas sobre visão, ou que remetem ao fornecedor, sugerem que o trabalho ainda não começou. Nenhuma das duas situações é uma falha em si, mas o conselho deve saber qual delas tem diante de si.

Como uma abordagem gerenciada apoia os relatórios ao conselho?

A Be Human projeta, implementa e opera infraestrutura de IA personalizada para empresas. Um primeiro projeto define uma função útil para um agente, a memória e as ferramentas de que ele precisa, seus limites de aprovação e um critério de sucesso observável. A operação gerenciada pode incluir monitoramento, avaliações recorrentes, manutenção de integrações, revisão de permissões, resposta a incidentes e melhorias controladas. Em termos de conselho, isso gera material para as perguntas acima: um inventário do que o agente alcança, um registro de suas permissões e aprovações, resultados de avaliação ao longo do tempo e um histórico de incidentes e mudanças. A empresa mantém o controle de identidade, memória, canais, ferramentas e permissões, e a gestão decide o que o conselho vê.

Perguntas frequentes

O conselho de uma empresa de médio porte realmente precisa discutir superinteligência? Não precisa debater prazos nem filosofia. Precisa saber quanto do negócio já depende de IA e se essa dependência está sob controle. Essas perguntas importam agora e ganham peso à medida que os modelos melhoram.

O conselho deve criar um comitê separado de IA? Em geral, não no início. Atribuir o relatório de IA a um comitê de auditoria ou de riscos já existente, com um responsável nomeado na gestão, basta para a maioria das empresas de médio porte. Um comitê dedicado passa a fazer sentido quando a IA afeta produtos centrais ou decisões reguladas.

Com que frequência a gestão deve reportar sobre IA ao conselho? Uma atualização escrita e curta nas reuniões regulares costuma bastar, com relato imediato de qualquer incidente que afete clientes, dados ou dinheiro. A atualização deve cobrir mudanças no inventário, mudanças de permissões, resultados de avaliação e trocas de modelo. A consistência do formato importa mais do que a extensão.

E se a gestão disser que o fornecedor cuida de tudo isso? Fornecedores podem entregar ferramentas e evidências, mas a responsabilidade continua com a empresa. Peça à gestão que mostre quais controles o fornecedor oferece, quais a própria empresa opera e como verificaria cada um. Um bom parceiro vai receber bem essa pergunta e respondê-la por escrito.

Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.