Avaliação de prontidão para superinteligência: meça sua empresa hoje

Uma avaliação de prontidão para superinteligência é uma verificação estruturada para saber se sua empresa consegue dar a agentes de IA mais capazes um trabalho útil e delimitado, sem perder o controle sobre dados, acessos ou qualidade. Ela pontua cinco áreas em uma mesma escala: dados, memória, ferramentas, permissões e hábitos de revisão. Líderes que pontuam cada área com evidência escrita conseguem ver quais lacunas fechar primeiro, sem depender de uma previsão sobre o que os próximos modelos farão.

Principais pontos

• Pontue cinco áreas em uma mesma escala: dados, memória, ferramentas, permissões e hábitos de revisão.
• Permissões e hábitos de revisão merecem atenção primeiro, porque limitam o estrago que qualquer agente pode causar.
• Toda nota precisa de evidência escrita. Uma nota sem evidência é apenas uma opinião.
• Escolha uma ou duas lacunas para o próximo ciclo, cada uma com um responsável nomeado e uma verificação que possa ser repetida.
• Trate o resultado como uma linha de base para medir de novo, e não como um veredito sobre a empresa.

Por que a prontidão depende da sua empresa, não do modelo

A capacidade dos modelos muda no cronograma do fornecedor, e sua empresa não controla isso. O que permanece com a empresa é a estrutura ao redor do modelo: onde fica o conhecimento, o que um agente pode lembrar, quais sistemas ele pode acionar, quem aprovou esse acesso e se alguém lê o que ele fez. Uma empresa com registros organizados, permissões restritas e o hábito de revisar consegue adotar um modelo mais forte com uma mudança de configuração e uma rodada de testes. Uma empresa sem essas bases precisa reconstruí-las sob pressão.

Por isso, a avaliação mede as condições operacionais atuais, e não palpites sobre o que vem depois. O NIST AI Risk Management Framework organiza o risco de IA em torno de governar, mapear, medir e gerenciar, o que é uma lente útil para as mesmas perguntas. Use-o como uma lista de preocupações e depois compare suas evidências com cada uma delas.

As cinco áreas a pontuar

Dados são o lugar onde o conhecimento da empresa vive, quem é dono de cada fonte, quão atualizada ela está e se alguém decidiu quais fontes um agente pode ler. Pergunte se as políticas, orientações de preço e documentos de processo que um agente precisaria estão em um único lugar revisado ou espalhados por drives pessoais e caixas de e-mail.

Memória cobre o que o agente pode guardar entre sessões, onde essa memória é armazenada, quem pode visualizá-la e apagá-la, e como ela permanece separada entre clientes, equipes ou projetos. Memória sem dono cria risco nos dois sentidos: fatos desatualizados são repetidos, e detalhes sensíveis persistem onde não deveriam.

Ferramentas são as ações que um agente pode executar por meio de sistemas conectados, como um CRM, uma agenda, um repositório de documentos ou uma interface de faturamento. Um inventário de ferramentas lista cada ação, suas entradas, o que ela altera e se pode ser desfeita. Uma ação genérica única, como atualizar registros, é mais difícil de permissionar e mais difícil de auditar do que cinco ações estreitas.

Permissões definem com qual identidade o agente atua, quais escopos ele possui e quem aprova uma alteração. O princípio de trabalho é o menor privilégio. O OWASP Authorization Cheat Sheet é uma referência prática para verificar se o acesso é imposto pelos próprios sistemas, e não presumido a partir da interface. Em um desenho sólido, o acesso de leitura é mais amplo que o de escrita, e gravações que tocam dinheiro, registros de clientes ou mensagens externas exigem uma etapa de aprovação explícita.

Hábitos de revisão descrevem se alguém olha o que o agente fez, com que frequência, e o que acontece quando ele erra. Isso inclui registros legíveis, um conjunto pequeno de tarefas de teste realistas e um caminho claro para incidentes. A introdução do OpenTelemetry sobre observabilidade explica a ideia de base: não é possível revisar aquilo que não foi registrado.

Como pontuar cada área de 0 a 3

Use a mesma escala para as cinco áreas. Atribua o nível mais alto que você consegue demonstrar hoje, e não o nível que pretende alcançar.

• 0: Ausente. Ninguém consegue dizer o que existe ou quem é o responsável.
• 1: Improvisado. Existe algo, mas depende da memória ou dos hábitos de uma pessoa.
• 2: Documentado e parcialmente testado. Há um responsável nomeado, uma lista escrita e pelo menos uma verificação que já foi executada.
• 3: Com dono, testado e revisado em cronograma, com as evidências da última revisão arquivadas.

Um total combinado de quinze pontos é útil para comparar áreas e acompanhar a evolução ao longo do tempo. Mas leia primeiro as notas individuais. Um zero em permissões importa mais do que um total forte em dados, porque as permissões determinam até onde um erro consegue chegar.

Faça a avaliação em uma semana de trabalho

• Passo um: Nomeie o revisor. Escolha um líder que seja dono do resultado e possa aprovar a lista de lacunas. Sem isso, as notas não se transformarão em decisões.
• Passo dois: Liste de cinco a dez fluxos recorrentes em que um agente poderia ajudar, como responder dúvidas rotineiras de fornecedores ou preparar rascunhos de propostas.
• Passo três: Para os dois ou três candidatos mais promissores, anote quais dados cada tarefa lê, o que o agente deve lembrar, quais ferramentas ele acionaria, qual identidade usaria e quem revisaria a saída.
• Passo quatro: Pontue cada uma das cinco áreas para cada candidato, anexando uma evidência por nota, como um link de documento, uma exportação de permissões ou um exemplo de registro.
• Passo cinco: Para cada área, escreva a lacuna em uma frase que nomeie o responsável e o artefato que falta.
• Passo seis: Escolha as duas lacunas que precisam ser fechadas antes que qualquer agente receba acesso de escrita, e agende a próxima sessão de pontuação antes do fim da reunião.

Cenário ilustrativo: uma pequena prestadora de serviços

Cenário ilustrativo, não é uma empresa real: uma pequena prestadora de serviços quer que um agente redija retornos aos clientes a partir da caixa de entrada compartilhada e das pastas de projeto. A avaliação mostra dados no nível 2, porque a pasta de projetos está bem organizada, mas as orientações de preço ficam nas anotações de um único sócio. Memória recebe 1, porque ninguém decidiu se o agente pode recordar detalhes de clientes entre projetos. Ferramentas recebem 1, porque a única conexão é um editor de documentos genérico. Permissões recebem 0, porque a conta de teste tem privilégios de administrador em todo o drive compartilhado. Hábitos de revisão recebem 1, porque os rascunhos só são lidos quando alguém tem tempo livre.

A equipe não começa escolhendo um modelo mais capaz. Ela substitui a conta de administrador por uma identidade somente leitura, define uma ferramenta estreita que cria rascunhos de resposta que uma pessoa precisa enviar, e move as orientações de preço para a pasta revisada. Depois, executa o agente em três retornos reais e confere cada rascunho com uma lista curta. Nesse cenário, a nota de permissões passaria de 0 para 2 e a de revisão de 1 para 2, enquanto a equipe mantém o agente impedido de enviar qualquer coisa por conta própria.

Como ler o resultado: um guia de decisão

• Se permissões recebem 0 ou 1, não dê ao agente acesso de escrita a registros de clientes, dinheiro ou mensagens externas até que isso mude.
• Se memória recebe 0 ou 1, limite o agente a uma sessão de tarefa única, sem dados pessoais ou de clientes armazenados.
• Se ferramentas recebem 0 ou 1, reduza o agente a uma ou duas ações nomeadas e escreva uma descrição curta do que cada uma altera.
• Se hábitos de revisão recebem 0 ou 1, inclua uma etapa de aprovação humana antes que qualquer saída deixe a empresa.
• Se dados recebem 0 ou 1 e o fluxo depende desses dados, escolha outro fluxo primeiro.
• Se todas as áreas recebem 2 ou mais, escolha o fluxo com o critério de sucesso mais claro e execute um piloto controlado.

Antes de começar esse piloto, defina os critérios de sucesso para que o teste tenha uma condição clara de aprovação e um motivo claro para parar.

Mantenha a pontuação atualizada entre as avaliações

A pontuação perde validade quando pessoas, ferramentas e fontes de dados mudam, por isso precisa de um ritmo fixo. Revise as áreas de permissões e revisão sempre que uma nova pessoa, sistema ou fonte de dados entrar no fluxo, e faça a pontuação completa em um intervalo definido pelo revisor. Uma revisão trimestral de IA na empresa é uma forma prática de dar a essa nota de permissões o ritmo necessário, e o guia sobre as camadas da infraestrutura de IA empresarial mostra onde cada área se encaixa no conjunto maior.

A Be Human projeta, implementa e opera infraestrutura de IA personalizada, e esta avaliação é o primeiro passo de como esse trabalho começa. Uma primeira contratação define um papel útil, a memória e as ferramentas que esse papel precisa, seus limites de aprovação e um critério de sucesso observável. Na operação gerenciada, as mesmas cinco áreas são revisitadas por meio de monitoramento, avaliações recorrentes, manutenção de integrações, revisão de permissões e resposta a incidentes, para que a pontuação de hoje continue sendo um registro de trabalho e não um documento que fica desatualizado. O serviço é remoto e disponível em inglês e português.

Se você quer um ponto de partida, o diagnóstico gratuito de IA da Be Human pode ajudar a encontrar a primeira tarefa que vale a pena passar para um agente.

Perguntas frequentes

Quanto tempo leva uma avaliação de prontidão? Uma versão focada cabe em uma semana de trabalho para um único departamento, porque a maior parte do tempo vai para listar fluxos e reunir evidências, e não para discutir notas. Empresas com muitos sistemas ou responsabilidades pouco claras precisam de mais tempo para localizar os artefatos. O objetivo é uma nota defensável, não uma auditoria completa.

Quem deve pontuar a empresa? O líder que é dono do fluxo deve patrocinar o resultado, enquanto as pessoas que operam os sistemas fornecem as evidências. Notas tiradas apenas da diretoria tendem a superestimar a documentação, e notas tiradas apenas da equipe técnica podem deixar passar as lacunas de aprovação que importam para o negócio.

Precisamos de uma nota alta antes de começar um piloto com agente? Não, porque um piloto é útil justamente por expor lacunas. A exigência é que o piloto use apenas as permissões, a memória e as ferramentas que suas notas sustentam, e que pare se atingir um limite que não lhe foi dado. Notas baixas indicam quais limites definir antes de o piloto começar.

Com que frequência devemos repetir a avaliação? Refaça a pontuação completa em um intervalo definido pelo revisor, e revise as áreas de permissões e revisão sempre que uma nova ferramenta, pessoa ou fonte de dados entrar no fluxo. Esperar apenas pelo calendário não basta, porque uma única nova integração pode alterar o quadro de permissões sem que ninguém perceba.

Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.