Checklist de prontidão para superinteligência: guia para líderes

Um checklist de prontidão para superinteligência testa cinco alicerces da sua empresa: se os dados são confiáveis, se a memória do agente é governada, se as permissões são estreitas e revisáveis, se é possível avaliar um modelo mais forte com o seu próprio trabalho e se pessoas nomeadas respondem pelo resultado. Se esses alicerces se sustentam, um modelo mais capaz vira uma atualização adotada de propósito. Se não, mais capacidade significa, na maior parte das vezes, erros mais rápidos.

Principais pontos

• Prontidão é uma propriedade dos alicerces da empresa, não uma previsão de quando um modelo específico vai chegar.
• Os dados precisam de responsáveis, datas e uma fonte de verdade declarada antes que um modelo mais forte consiga usá-los bem.
• Memória e permissões devem estar por escrito e ser estreitas, para que ganhos de capacidade não ampliem o acesso por acidente.
• Mantenha um conjunto de avaliação privado, montado com o trabalho real, para testar qualquer modelo novo antes que ele toque a produção.
• Todo agente precisa de um responsável nomeado, de tempo reservado para acompanhamento e de um jeito de ser pausado.

O que significa, na prática, estar pronto para a superinteligência?

Ninguém sabe dizer quando, nem de que forma, sistemas de IA vão superar pessoas qualificadas na maior parte do trabalho intelectual. Planejar em torno de uma data é um mau uso do tempo da liderança. Planejar em torno de condições é melhor: o que precisa ser verdade dentro da empresa para que qualquer sistema muito mais capaz possa ser usado com segurança e com proveito?

Essa mudança de enfoque transforma uma preocupação vaga em uma pergunta operacional. Um modelo mais forte vai ler o que você der a ele, agir onde você permitir e ser julgado pelo que você medir. Seus dados, sua memória, suas permissões, suas avaliações e seus responsáveis são as interfaces entre a empresa e o modelo. Se essas interfaces estão limpas, o modelo por baixo pode mudar com frequência sem grande drama.

Se você quer primeiro o contexto conceitual, o texto O que é superinteligência? Guia simples para líderes de empresas apresenta o vocabulário. Este artigo parte do princípio de que você quer um teste de trabalho, não uma definição.

Dados: um modelo mais forte consegue encontrar e confiar no conhecimento da sua empresa?

Um modelo mais capaz não conserta entradas pouco confiáveis. Ele apenas as lê com mais fluência. Se dois documentos discordam sobre a política de devolução, um modelo melhor ainda terá de escolher um deles, e pode escolher o errado com muita convicção. Prontidão de dados é, em grande parte, eliminar essa ambiguidade antes que o modelo a encontre.

Aplique estes testes ao conhecimento em que o seu primeiro agente vai se apoiar:

• Cada fonte tem um responsável nomeado, capaz de dizer se ela está atualizada.
• Quando duas fontes entram em conflito, uma é declarada fonte de verdade e a outra é aposentada ou sinalizada.
• Os documentos têm data ou versão, para que uma política antiga não passe por vigente.
• O material sensível (dados pessoais, contratos, registros financeiros) está classificado e você sabe onde ele é armazenado.
• O agente busca informações em fontes aprovadas, e não em qualquer coisa que esteja numa pasta compartilhada.

O último teste é o mais importante. Arquiteturas de recuperação, em que o sistema consulta o material aprovado no momento da pergunta, mantêm o conhecimento editável e auditável de um jeito que embuti-lo no modelo não permite. O objetivo é um acervo pequeno e bem cuidado, não um acervo grande e abandonado.

Uma ressalva. Dados que o agente lê podem conter instruções escritas por outra pessoa, como um e-mail colado ou uma página da web. Trate todo conteúdo recuperado como entrada não confiável. O OWASP Top 10 para aplicações com LLMs descreve essa classe de risco, e uma empresa preparada pelo menos já fez a pergunta.

Memória: o agente lembra do que deve e esquece o que não deve?

Memória é a camada que permite ao agente levar contexto de uma conversa para outra: preferências, decisões passadas, o jeito como a sua equipe nomeia as coisas. É o que faz um agente parecer um colega. É também onde problemas silenciosos se acumulam, porque uma memória que ninguém revisa se desvia com o tempo.

Um modelo mais forte vai usar a memória com mais habilidade, o que eleva o risco do que está guardado. Verifique:

• Você consegue listar, em linguagem simples e sob demanda, o que o agente lembra.
• A memória é separada por finalidade: fatos da empresa, preferências da equipe e anotações individuais não ficam misturados numa só pilha.
• Alguém pode corrigir ou apagar uma memória errada, e a correção realmente vale.
• Detalhes pessoais e confidenciais não são guardados sem um motivo e uma regra de retenção.
• A memória pode ser copiada e restaurada, de modo que uma alteração ruim seja reversível.

Contexto é um recurso limitado, mesmo para modelos fortes. Decidir o que o agente deve ver em cada etapa, e o que deve deixar de fora, é uma tarefa de projeto por si só. O artigo da Anthropic sobre engenharia de contexto eficaz para agentes de IA é uma boa referência técnica para quem constrói essa camada.

Permissões: o que o agente pode fazer e quem autorizou?

Capacidade e autoridade são coisas diferentes. Um modelo que raciocina melhor não deve poder, automaticamente, enviar mais e-mails, editar mais registros ou gastar mais. Permissões são o modo de manter a autoridade como uma decisão humana.

Uma empresa preparada responde a estas perguntas sem precisar pesquisar:

• Cada agente tem identidade e credenciais próprias, e não o login emprestado de um funcionário.
• O acesso é concedido por ferramenta e por ação, como ler, redigir ou enviar, e não como acesso amplo a um sistema.
• Ações com efeito externo ou financeiro exigem aprovação humana, e a aprovação fica registrada.
• Existe uma lista de tudo a que o agente tem acesso, revisada recentemente.
• Retirar um acesso leva minutos, e alguém sabe como fazer isso.

O princípio por trás disso é o do menor privilégio, e o OWASP Authorization Cheat Sheet o resume bem: negar por padrão, verificar a cada requisição, conceder apenas o que a tarefa exige. O hábito prático é uma revisão recorrente. Nosso guia sobre a revisão trimestral de IA na empresa mostra os passos e as evidências que vale guardar.

Avaliações: como saber se um modelo mais forte é melhor para você?

Benchmarks públicos mostram como um modelo se sai nos problemas dos outros. Eles não dizem se o modelo lida com as suas exceções de reembolso, com as manias de nomenclatura dos seus fornecedores ou com o seu tom com clientes antigos. O único teste confiável é o seu próprio trabalho, reexecutado.

Um conjunto de avaliação é uma coleção de tarefas reais com definições combinadas do que é um bom resultado. Ele não precisa ser grande para ser útil. Precisa ser representativo, mantido em sigilo e reutilizado toda vez que algo mudar: um modelo novo, um prompt novo, uma ferramenta nova.

Cenário ilustrativo: uma distribuidora regional quer testar um modelo mais novo no agente de atendimento de pedidos. O responsável de operações reúne pedidos antigos de clientes, incluindo os difíceis: entregas parciais, notas fiscais divergentes, um cliente que escreve em dois idiomas. Para cada caso, a equipe registrou como seriam a resposta correta e a ação correta. O modelo novo roda o conjunto inteiro ao lado do atual. Ele escreve respostas melhores, mas, em vários casos, propõe uma ação fora do limite de aprovação. A equipe mantém o modelo antigo em produção, ajusta os limites das ferramentas e roda o conjunto de novo. A decisão se apoia em evidências do próprio trabalho, não em um anúncio de fornecedor.

Testes para a sua empresa:

• Você tem um conjunto de tarefas reais com definições escritas de sucesso.
• O conjunto inclui casos de falha e casos-limite, não apenas o caminho fácil.
• É possível rodá-lo contra um modelo novo em ambiente de teste antes da produção.
• Os resultados são comparados com a configuração atual, e uma pessoa aprova a troca.
• O comportamento em produção é registrado o bastante para encontrar a próxima falha.

Para o método, o guia da Anthropic sobre avaliações (evals) de agentes de IA é uma leitura prática. Para um enquadramento de risco que a alta liderança possa usar, o NIST AI Risk Management Framework organiza o trabalho em governar, mapear, medir e gerenciar.

Responsabilidade: quem responde quando algo dá errado?

A maioria das falhas de IA nas empresas não é exótica. Um agente continua rodando depois que o processo mudou, uma permissão sobrevive ao projeto para o qual foi concedida, ou quem liderava o tema sai e ninguém sabe como o sistema funciona. Ter responsáveis claros é a disciplina que evita isso.

Verifique estes pontos:

• Cada agente tem um responsável de negócio nomeado e, se for outra pessoa, um responsável técnico nomeado.
• Há um patrocinador executivo que pode decidir sobre escopo, risco e orçamento. O papel de quem cuida da IA no dia a dia está descrito em Líder interno de IA na empresa: quem é o dono da IA no dia a dia.
• Mudanças em prompts, ferramentas, modelos e permissões passam por um pedido e uma etapa de aprovação.
• Existe um modo documentado de pausar o agente, e as pessoas autorizadas a usá-lo o conhecem.
• Se quem montou a configuração sair, outra pessoa consegue operá-la a partir da documentação.

A responsabilidade também cobre o lado humano: quem treina a equipe, quem recebe as reclamações e quem decide se um resultado é bom o bastante. Um modelo que melhora a cada poucos meses não reduz a necessidade desses papéis. Ele os torna mais importantes, porque o sistema muda com mais frequência do que o organograma.

Como aplicar este checklist em uma única sessão de trabalho?

Você não precisa de um programa longo para saber onde está. Uma sessão focada, com as pessoas certas, costuma revelar as lacunas.

• Escolha um papel para o agente, como atendimento de pedidos ou busca no conhecimento interno. É mais fácil avaliar a prontidão para um papel concreto do que para a empresa em geral.
• Convide o responsável de negócio, quem administra os sistemas envolvidos, alguém responsável por segurança ou conformidade e um executivo que possa decidir.
• Percorra as cinco áreas acima. Para cada teste, marque sim, em parte ou não, e anote a evidência de cada sim. Um sim sem evidência conta como em parte.
• Classifique os resultados. Qualquer não em permissões ou responsabilidade é um bloqueio. Um não em dados ou memória limita o escopo. Um não em avaliações significa que ainda não dá para trocar de modelo com segurança.
• Escolha o menor conjunto de correções que libera o papel e dê a cada uma um responsável e uma data.
• Repita a sessão depois que as primeiras correções entrarem e sempre que considerar um modelo novo ou um papel novo.

Se a maioria das respostas for sim com evidência, você está pronto para testar um modelo mais capaz em uma tarefa delimitada e compará-lo com o seu conjunto de avaliação. Se as respostas sobre permissões ou responsabilidade forem em sua maioria não, pare e corrija esses pontos primeiro. Nosso artigo sobre como preparar a empresa para IA superinteligente hoje explica como esses alicerces se encaixam em uma estrutura que melhora à medida que os modelos melhoram.

Como a Be Human trata esses alicerces?

A Be Human projeta, implementa e opera infraestrutura de IA personalizada para empresas. Um primeiro projeto define um papel útil, a memória e as ferramentas de que ele precisa, os limites de aprovação e um critério de sucesso observável. A operação gerenciada pode então incluir monitoramento, avaliações recorrentes, manutenção de integrações, revisão de permissões, resposta a incidentes e melhorias controladas, de modo que o checklist acima vire rotina e não um exercício pontual. A identidade, a memória e as permissões do agente continuam sob o seu controle, e mudanças no modelo de base passam pela mesma revisão de qualquer outra mudança.

Perguntas frequentes

Precisamos esperar a superinteligência para fazer algo disso? Não. Cada item do checklist melhora a confiabilidade da IA que você usa hoje, e nenhum depende de um modelo futuro específico. Começar agora significa que o seu primeiro modelo mais forte vai encontrar uma empresa preparada.

Quem deve liderar a avaliação de prontidão? Um patrocinador executivo com autoridade sobre escopo e risco deve ser o dono do processo, com o responsável de negócio do papel em questão conduzindo a sessão. A equipe técnica ou um parceiro fornece as evidências sobre dados, acessos e registros. Evite delegar tudo à TI, porque vários testes tratam de decisões de negócio.

Com que frequência devemos repetir o checklist? Repita sempre que adicionar um papel, trocar de modelo ou alterar uma integração importante, e revise as permissões em um calendário regular. Uma revisão leve a cada trimestre é um ritmo sensato para a maioria das equipes. O objetivo é pegar o desvio antes que ele vire um incidente.

E se falharmos em vários testes? É normal e útil, porque mostra onde concentrar esforço. Corrija primeiro permissões e responsabilidade, depois dados e avaliações, e mantenha o escopo do agente pequeno até as respostas melhorarem. Um agente restrito com alicerces sólidos vale mais do que um agente amplo sem eles.

Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.