Avaliação de prontidão para superinteligência: 12 perguntas para pontuar

Uma avaliação de prontidão para superinteligência é uma checagem curta e honesta para saber se a estrutura de IA da sua empresa se sustentaria caso os modelos por trás dela ficassem muito mais capazes. As doze perguntas abaixo pontuam seis camadas: papel, memória, ferramentas, permissões, evidências e operação. A camada com a menor pontuação é a que limitaria você primeiro, e raramente é o modelo.

Principais pontos

• Prontidão tem a ver, na maior parte, com o que cerca o modelo: o papel que ele ocupa, o conhecimento que ele lê, as ferramentas que ele pode tocar, os limites do seu acesso, a prova de que funciona e as pessoas que o mantêm em operação.
• Dê a cada uma das doze perguntas a nota 0, 1 ou 2 e some as duas respostas de cada camada. A camada mais baixa é sua primeira restrição, qualquer que seja o total.
• Um único zero pode limitar uma estrutura que, de resto, é forte. Por isso, leia as notas por camada e não como uma nota única.
• Em caso de empate, dê atenção primeiro a permissões e evidências, porque um agente mais capaz amplifica o acesso e os pontos cegos que já existem.
• A checagem serve com um agente ou com nenhum. Os zeros apenas mostram o que preparar antes de o primeiro agente começar a trabalhar.

O que uma avaliação de prontidão para superinteligência realmente mede?

Você não controla quando os modelos vão melhorar, e ninguém pode honestamente lhe dar uma data. O que você controla é tudo o que cerca o modelo: quem é dono do trabalho, o que o agente pode ler, em que ele pode agir, como seu acesso é limitado, como você sabe que ele vai bem e quem o mantém funcionando. A avaliação olha para essas coisas e deixa de lado a especulação sobre os modelos em si.

O raciocínio é simples. Um modelo mais capaz colocado dentro de uma estrutura fraca não corrige a estrutura. Ele usa o mesmo login compartilhado, lê os mesmos documentos desatualizados e fica sem conferência do mesmo jeito, só que mais rápido e em maior escala. Uma empresa com papéis claros, memória controlada, permissões estreitas e o hábito de testar pode trocar o modelo por um mais forte e se beneficiar. Uma empresa sem isso herda os mesmos problemas em escala maior.

Esta checagem é mais estreita que um programa completo para a liderança. Se você quer a agenda mais ampla, com estratégia e governança, veja como preparar a empresa para IA superinteligente hoje. Se quer um retrato mais completo das partes envolvidas, as sete camadas da infraestrutura de IA empresarial são explicadas com mais profundidade. Este artigo faz uma coisa só: ajuda você a encontrar a camada com maior chance de segurar a empresa.

Como pontuar as doze perguntas?

Pontue todas as perguntas do mesmo jeito:

• 0: Não, ou ninguém sabe dizer.
• 1: Em parte, ou sim, mas nunca foi testado nem registrado por escrito.
• 2: Sim, está registrado por escrito e foi verificado recentemente.

Responda para um agente ou um fluxo de trabalho, não para a empresa inteira. Se você ainda não tem nenhum agente, responda para o primeiro papel que daria a um. Seja rigoroso. Achar que provavelmente está tudo bem vale 1, no máximo. Ajuda ter na sala as pessoas que de fato tocam o trabalho, e não só o patrocinador.

Perguntas 1 a 6: papel, memória e ferramentas

Essas três camadas definem se o agente tem uma função clara, o conhecimento certo e uma forma segura de agir.

• Papel, pergunta 1: Você consegue descrever o papel do agente em uma frase e dizer o nome da pessoa responsável pelos resultados dele?
• Papel, pergunta 2: Existe uma lista escrita do que o agente não pode fazer, e uma pessoa ou equipe definida para quem ele repassa o trabalho quando chega a esse limite?
• Memória, pergunta 3: O agente lê o conhecimento da empresa (políticas, fatos de produto, histórico de clientes) em fontes que você controla, e não no que alguém colou em uma conversa?
• Memória, pergunta 4: Uma pessoa definida mantém esse conhecimento atualizado, e você consegue ver quais fontes o agente usou em determinada resposta?
• Ferramentas, pergunta 5: O agente age por meio de conexões definidas, com cada ação registrada, e não por logins compartilhados ou gambiarras que ninguém documentou?
• Ferramentas, pergunta 6: Você poderia trocar o modelo por trás do agente sem refazer as ferramentas, o conhecimento e as instruções dele?

Algumas notas sobre por que isso importa. As perguntas 1 e 2 tratam de responsabilidade. Um agente com papel vago produz resultados vagos, e ninguém consegue dizer se ele está dando certo. As perguntas 3 e 4 tratam de contexto. Um modelo só age sobre o que é colocado diante dele, e escolher e manter esse material é uma disciplina própria. A equipe de engenharia da Anthropic publicou um texto sobre engenharia de contexto eficaz para agentes, e o ponto central vale para qualquer empresa: a qualidade do trabalho de um agente acompanha a qualidade do que ele lê.

A pergunta 6 é a que mais líderes pulam. Se suas instruções, seu conhecimento e as conexões das ferramentas vivem dentro do produto de um único fornecedor, um modelo melhor em outro lugar fica fora de alcance. Se vivem em ativos que são seus, um modelo melhor é uma mudança de configuração seguida de um teste.

Perguntas 7 a 12: permissões, evidências e operação

Essas três camadas definem se você pode confiar no agente, comprovar o trabalho dele e mantê-lo de pé.

• Permissões, pergunta 7: O agente tem identidade própria, com o menor acesso de que precisa, separada da conta de qualquer funcionário?
• Permissões, pergunta 8: Existem ações definidas que exigem aprovação humana antes de acontecer, e cada aprovação fica registrada?
• Evidências, pergunta 9: Você tem um conjunto de tarefas reais de exemplo, com resultados bons já conhecidos, que roda de novo sempre que o modelo, as instruções ou as ferramentas mudam?
• Evidências, pergunta 10: Para qualquer resultado, você consegue ver o que o agente leu, quais ferramentas chamou e quanto custou produzi-lo?
• Operação, pergunta 11: Existe uma rotina, com responsáveis definidos, para revisar permissões, consertar integrações e tratar incidentes?
• Operação, pergunta 12: Você consegue parar o agente, desfazer uma mudança e restaurar a configuração e a memória dele, e já tentou isso de verdade?

Permissões se resumem a um princípio antigo de segurança: dar a cada agente só o que ele precisa. O guia de autorização da OWASP descreve o privilégio mínimo e as verificações de negação por padrão em termos que se aplicam diretamente a um agente. Um agente mais capaz com acesso amplo é um risco maior, não menor.

Evidência é o que transforma opinião em decisão. Um conjunto fixo de tarefas de exemplo permite comparar um modelo novo com o antigo no seu próprio trabalho. O artigo da Anthropic sobre avaliações (evals) de agentes de IA explica como as equipes montam esses conjuntos e por que eles importam quando qualquer coisa muda. A pergunta 10 acrescenta rastreabilidade: se você não vê o que aconteceu, não consegue corrigir.

Operação é a camada que parece menos empolgante e falha de forma mais silenciosa. Integrações quebram quando um sistema conectado muda. Permissões se desviam quando as pessoas trocam de função. A pergunta 12 é um teste direto: restauração que nunca foi testada é esperança, não controle.

Como interpretar sua pontuação?

Some as duas respostas de cada camada. Cada camada fica entre 0 e 4. Depois, use este guia:

• Uma camada em 0 ou 1 é um bloqueio. Corrija antes de ampliar o que o agente faz ou de trocar o modelo.
• Uma camada em 2 ou 3 é utilizável, mas frágil. Nomeie a peça que falta e agende a correção.
• Uma camada em 4 está forte. Reveja sempre que o modelo, as ferramentas ou o escopo mudarem.
• Se duas camadas empatarem na pontuação mais baixa, comece pela que vem antes na lista (papel, memória, ferramentas, permissões, evidências, operação), porque as camadas seguintes dependem das anteriores.
• A exceção: um zero na pergunta 7 ou na 8 sempre vem primeiro. Acesso irrestrito sem aprovações é a única lacuna que piora conforme os modelos melhoram.
• Não trate o total geral como veredito. Um total alto com um único zero ainda tem um teto, e um total modesto sem nenhuma camada fraca é uma base melhor para construir.

Não compare sua pontuação com a de outras empresas. A checagem mede a sua estrutura contra o seu próprio trabalho, e o valor dela está na conversa que provoca entre quem é dono do processo, dos dados e do acesso.

Como isso fica na prática? Um cenário ilustrativo

Este é um exemplo inventado, não um cliente real. Uma distribuidora tem um agente que redige respostas a dúvidas de fornecedores para a equipe de compras. Os líderes pontuam as doze perguntas e chegam a estes totais por camada: papel 4, memória 3, ferramentas 3, permissões 1, evidências 2, operação 1.

O total parece respeitável, mas as camadas contam outra história. O agente trabalha pelo login de um gerente sênior de compras, e é por isso que permissões ficou baixa. Ele pode ver e alterar muito mais do que sua função exige, e ninguém aprovou isso de propósito. Operação também ficou baixa, porque ninguém é responsável por revisar esse acesso e ninguém jamais tentou restaurar a configuração do agente depois de uma falha.

A equipe vinha planejando trocar para um modelo mais forte. A checagem mostra por que esse seria o primeiro passo errado. Um modelo mais forte atrás do mesmo login compartilhado agiria com todos os direitos do gerente, com erros menos evidentes. O primeiro trabalho é menor e mais útil: dar ao agente uma identidade própria, limitada à correspondência com fornecedores, exigir aprovação antes de qualquer mudança em condições ou preços, designar um responsável pela revisão trimestral de acesso e fazer um teste de restauração. Só então a troca de modelo faz sentido, e a equipe pode rodar suas tarefas de exemplo para confirmar que ela ajuda.

O que fazer depois de pontuar?

Um plano curto evita que o resultado vire um documento que ninguém lê:

• Registre os seis totais por camada e a camada mais baixa, com os números das perguntas que ficaram em 0 ou 1.
• Designe um responsável para essa camada e combine como seria um 2 em cada uma das perguntas dela.
• Corrija primeiro a camada mais baixa, com a menor mudança capaz de elevar sua nota. Não comece duas camadas ao mesmo tempo.
• Pontue de novo depois da mudança, e outra vez sempre que o modelo, as ferramentas ou o escopo mudarem.
• Defina uma medida de sucesso observável para o trabalho do agente, como o número de rascunhos aprovados sem edição em uma semana. A avaliação de desempenho de agente de IA mostra como fazer isso.

A abordagem gerenciada da Be Human segue a mesma ordem. Um primeiro projeto define um papel útil, a memória e as ferramentas de que ele precisa, os limites de aprovação e um critério de sucesso observável. A operação gerenciada cobre então o trabalho recorrente por trás das perguntas 9 a 12: monitoramento, avaliações periódicas, manutenção de integrações, revisão de permissões, resposta a incidentes e melhorias controladas. Acesso e aprovações continuam sob controle humano, e uma revisão recorrente, como a revisão trimestral de IA na empresa, evita que a camada de permissões se desvie.

Se você quer uma referência neutra para o lado de risco desse trabalho, o NIST AI Risk Management Framework oferece um vocabulário para mapear, medir e gerenciar riscos de IA que combina com esta checagem.

Para encontrar a primeira tarefa que vale entregar a um agente, faça o diagnóstico de IA gratuito da Be Human.

Perguntas frequentes

Com que frequência devemos repetir a avaliação de prontidão? Repita sempre que o modelo, as ferramentas ou o escopo do agente mudarem e, fora isso, em um ritmo regular, como a cada trimestre. Permissões e integrações se desviam em silêncio, então as camadas de operação e permissões ganham mais com uma revisão recorrente.

Quem deve responder às doze perguntas? Chame quem toca o trabalho: o dono do processo, quem cuida dos dados e das fontes de conhecimento e quem controla os acessos. O patrocinador executivo deve ler os resultados, mas patrocinadores sozinhos tendem a pontuar de forma generosa, então trate a divergência entre respostas como informação útil.

Uma empresa que ainda não tem agente de IA pode usar essa avaliação? Pode. Responda para o primeiro papel que você daria a um agente e espere muitos zeros. Esses zeros são uma lista de preparação: quem será dono do papel, de que conhecimento ele precisa, qual acesso deve ter e como você vai testá-lo.

Uma pontuação alta significa que estamos prontos para a superinteligência? Não. A pontuação mostra se a sua estrutura permitiria que um modelo mais capaz fizesse trabalho útil sob controle humano, mas não diz nada sobre quando esses modelos vão existir nem como vão se comportar. Trate-a como uma medida de quanto sua empresa consegue absorver melhorias e continue reavaliando conforme a estrutura muda.

Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.