O que uma consultoria em superinteligência deve entregar à sua empresa

Uma consultoria em superinteligência deve entregar artefatos de trabalho para a sua empresa, não previsões sobre modelos futuros. O conjunto essencial é um mapa de camadas da sua pilha de IA, um modelo de permissões que declara o que um agente pode ler, escrever e aprovar, um plano de avaliação ligado a um único critério de sucesso observável e um repasse que a sua própria equipe consiga operar. Uma proposta que lista previsões e não traz nenhum desses itens está vendendo perspectiva, não capacidade.

Principais pontos

• Peça artefatos que você possa inspecionar: mapa de camadas, modelo de permissões, plano de avaliação e repasse.
• Avalie a consultoria pelas mudanças que ela faz na operação diária em semanas, não pela visão que ela tem da capacidade futura dos modelos.
• Cada permissão do agente deve nomear os sistemas que ele lê, os sistemas onde escreve e as ações que uma pessoa específica precisa aprovar.
• Combine um critério de sucesso observável antes de qualquer construção e mantenha registro de como ele é medido.
• Mantenha memória, instruções, configurações de ferramentas e registros de acesso sob o seu controle, para que a troca de fornecedor não apague o trabalho.

O que uma consultoria em superinteligência deve entregar de fato

A palavra superinteligência descreve sistemas que poderiam superar a capacidade humana em muitos domínios. Ninguém consegue dar um calendário confiável para isso, o que significa que uma consultoria que vende datas ou previsões não pode ser cobrada por elas. O que a empresa pode cobrar é a operação que existe depois do projeto: qual papel um agente exerce, que memória e ferramentas ele usa, o que pode fazer sozinho e como alguém vai saber se ele está funcionando.

Na prática, as entregas se dividem em cinco grupos:

• Um mapa de camadas da pilha de IA atual e planejada, com um responsável nomeado para cada camada.
• Um modelo de permissões listando cada sistema que o agente alcança, o nível de acesso em cada um e o limite de aprovação.
• Um plano de avaliação com um critério de sucesso, um conjunto fixo de casos de teste e um ritmo de revisão.
• Um repasse operacional com runbooks, inventário de acessos, passos de backup e caminho de escalonamento.
• Uma lista de decisões de liderança em aberto, cada uma com o padrão que vale se ninguém decidir.

Cada grupo deve estar escrito em linguagem simples, que o responsável de operações consiga ler sem o consultor presente. Se o material só faz sentido para quem o escreveu, o trabalho não foi transferido.

Comece pelo mapa de camadas, não pela comparação de modelos

Um mapa de camadas mostra como as peças de um agente se encaixam: o papel de negócio e o seu processo, as fontes de memória e conhecimento, as ferramentas e integrações, identidade e permissões, o modelo e o seu fornecedor, avaliação e monitoramento, e a governança que decide quem muda o quê. O mapa é útil porque separa elementos que costumam ficar misturados. Um modelo pode ser trocado. Um documento de política do qual o agente depende não muda quando o modelo muda. O roteiro de uma página Revisão da arquitetura de IA da empresa: ache a camada mais fraca mostra um formato que funciona.

Para cada camada, o mapa deve declarar o responsável, o ponto de falha e o custo de substituição. Essas três respostas mostram onde a atenção precisa estar. Uma camada sem dono é a primeira coisa a corrigir, mesmo antes de qualquer agente ser construído.

Cenário ilustrativo: um distribuidor regional quer um agente que responda perguntas sobre o status de pedidos. O mapa de camadas mostra que os dados de pedidos estão no ERP, que as regras de resposta vêm de um documento de política que ninguém em particular mantém e que o modelo poderia vir de vários fornecedores. O mapa transforma um projeto vago em duas tarefas concretas: definir um dono para o documento de política e confirmar quais campos o agente pode ler no ERP.

Escreva o modelo de permissões antes de conectar qualquer ferramenta

Um modelo de permissões responde a quatro perguntas para cada ferramenta: o que o agente pode ler, o que pode escrever, quais ações exigem aprovação humana e como cada ação é registrada. Comece da negação e acrescente acesso apenas onde o papel exige. A orientação de autorização da OWASP defende o mesmo ponto em termos de software: o acesso deve ser verificado contra uma política explícita a cada requisição, e não presumido pelo contexto.

Isso importa mais para agentes de linguagem do que para software comum, porque um agente pode ser induzido a pedir ações que não deveria executar. Uma mensagem dentro de um e-mail de cliente, uma página web que o agente lê ou um documento na memória podem conter instruções escritas para mudar o seu comportamento. O controle contra isso é o modelo de permissões, não a redação do prompt. Bons prompts ajudam, mas não são uma fronteira.

Uma sequência prática:

• Liste todos os sistemas que o agente poderia tocar, incluindo caminhos indiretos como pastas compartilhadas e caixas de entrada.
• Para cada sistema, marque leitura, escrita ou nenhum acesso, e escolha o escopo mais restrito que atenda ao papel.
• Marque como exigindo aprovação qualquer ação que altere um registro de cliente, envie mensagem externa, gaste dinheiro ou apague dados.
• Nomeie quem aprova cada classe de ação e o prazo que essa pessoa tem para responder.
• Dê ao agente identidade própria, para que cada ação apareça no registro sob essa identidade, e não em uma conta compartilhada.
• Defina uma data de revisão. Os passos dessa revisão estão em Reestruturação da empresa e agentes de IA: donos, permissões e rotas.

As permissões também precisam de um caminho de revogação. Registre como o acesso é removido, quem pode removê-lo e em quanto tempo a remoção passa a valer. Uma permissão que não pode ser retirada rapidamente é um risco, mesmo quando nunca é usada.

Desenhe o plano de avaliação em torno de um critério de sucesso

Um plano de avaliação transforma a pergunta o agente fez um bom trabalho? em um teste que outra pessoa consegue repetir. Comece com um único critério de sucesso observável. Para o distribuidor acima, pode ser a proporção de respostas sobre status de pedido que batem com o registro do ERP e citam a cláusula da política usada, medida em um conjunto fixo de perguntas passadas. Um critério desse tipo pode ser verificado sem depender da impressão de alguém sobre a resposta.

O plano deve conter quatro partes. Primeiro, um conjunto de testes tirado de casos reais passados, com o resultado esperado escrito. Segundo, uma rodada de regressão que repete os mesmos testes após cada mudança em prompts, ferramentas ou no modelo subjacente. Terceiro, um limiar acordado antes da construção, para que um resultado abaixo dele dispare uma decisão, e não um debate. Quarto, uma amostra semanal de conversas reais revisada por uma pessoa. Os rastros de cada chamada de ferramenta, registrados com campos consistentes, mostram onde uma falha começou. A introdução da OpenTelemetry à observabilidade descreve a prática geral de coletar rastros, métricas e logs para que um sistema possa ser entendido a partir das suas saídas.

Escolher o critério costuma ser mais difícil do que montar o teste. O texto Avaliação de desempenho de agente de IA: metas, evidências e ajustes explica como escolher um critério que importe para o negócio, e não apenas um que seja fácil de contar.

Planeje o repasse para que a sua equipe opere sem o consultor

O repasse está completo quando a sua equipe consegue responder perguntas de rotina e lidar com um dia ruim sem chamar o consultor. Isso exige um runbook para a operação normal e para os incidentes mais prováveis, um inventário de acessos com cada credencial e o seu responsável, cópias versionadas das instruções e dos prompts, uma lista das fontes de memória com seus donos e um procedimento de backup e restauração que tenha sido de fato testado. Backups que nunca foram restaurados são uma esperança, não um plano.

O repasse também precisa de um caminho para mudanças. Ajustes contínuos devem passar por uma sequência visível de solicitação, revisão e aprovação, e não ser feitos diretamente em produção.

A Be Human projeta, implementa e opera infraestrutura de IA personalizada para empresas, com agentes que mantêm sob controle humano a sua identidade, memória, canais, ferramentas, permissões e contexto operacional. Um primeiro projeto define um papel útil, a memória e as ferramentas de que ele precisa, os limites de aprovação e um critério de sucesso observável. A operação gerenciada pode depois incluir monitoramento, avaliações recorrentes, manutenção de integrações, revisão de permissões, resposta a incidentes e melhorias controladas. O repasse registra cada uma dessas decisões em documentos que a sua equipe guarda, para que a configuração continue visível para a empresa.

Como checar uma proposta antes de assinar

Antes de fechar com qualquer consultoria, leia a proposta contra uma lista curta:

• Ela nomeia um único papel e declara o que o agente não fará?
• As permissões estão escritas por sistema, com pontos de aprovação e caminho de revogação?
• O critério de sucesso é mensurável sem depender do julgamento da própria consultoria?
• Quem é dono da memória, dos registros e das instruções, e você consegue exportá-los em formato utilizável?
• Se o trabalho parar, o que continua nas suas mãos e em que formato?
• Ela usa um vocabulário de risco reconhecido, como o NIST AI Risk Management Framework, ao descrever como os riscos são identificados e revisados?

Uma proposta que responde a essas perguntas em termos concretos merece uma comparação séria. Uma que responde com previsões, promessas genéricas ou longas listas de capacidades está pedindo que você confie na perspectiva, e não no trabalho.

Se você quer descobrir a primeira tarefa que vale entregar a um agente, faça o diagnóstico gratuito de IA da Be Human.

Perguntas frequentes

Uma consultoria em superinteligência é diferente de uma consultoria em IA? O termo é usado de forma frouxa, e uma consultoria que o utiliza deveria entregar os mesmos artefatos concretos de qualquer assessoria séria em implementação de IA. A pergunta útil é se o trabalho produz uma camada operacional que a sua empresa consegue inspecionar hoje. O rótulo da proposta importa menos do que as entregas listadas nela.

A empresa deve esperar modelos mais capazes antes de contratar uma consultoria? Esperar raramente elimina a necessidade do básico. Um mapa de camadas, um modelo de permissões e um critério de sucesso claro são necessários qualquer que seja o modelo usado, e facilitam a absorção de trocas de modelo no futuro. Um primeiro papel pode começar agora, com o escopo mantido restrito.

Quanto tempo leva para produzir o repasse? O esforço depende de quantos sistemas o agente toca e de quantas pessoas vão operá-lo. As partes essenciais são o runbook, o inventário de acessos e o teste de restauração, e uma proposta deve dizer quando cada uma será entregue. Peça para ver um rascunho do repasse no início do projeto, e não apenas no final.

Uma empresa pequena pode usar essa lista de verificação? Sim. Uma equipe pequena pode aplicar os mesmos cinco grupos em escala menor, com um responsável cobrindo várias camadas. A exigência principal é que alguém seja nomeado para cada permissão e cada decisão, mesmo quando essa pessoa tem muitas outras responsabilidades.

Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.