Promessas de superinteligência de fornecedores: como identificar exageros

Uma afirmação de fornecedor sobre superinteligência é uma declaração sobre capacidade geral de máquina que o comprador não consegue testar hoje. Uma afirmação que merece orçamento pode ser reduzida a uma tarefa nomeada, um resultado medido e um responsável claro pelos erros. Se a proposta não puder ser reduzida dessa forma, trate a palavra superinteligência como marketing, e não como especificação.

Principais pontos

• Peça que cada afirmação do fornecedor indique uma tarefa, suas entradas, suas saídas e a medida usada para julgá-la.
• Trate a palavra superinteligência como indefinida até que o fornecedor a defina em termos operacionais que você possa verificar.
• Exija evidências que você mesmo possa repetir, e não apenas uma demonstração escolhida pelo vendedor.
• Leia os limites de aprovação, as permissões e o plano de reversão antes de ler qualquer afirmação de desempenho.
• Comece com um papel bem delimitado e um critério de sucesso escrito antes da primeira reunião.

Por que superinteligência não é uma afirmação testável

O termo descreve um nível de capacidade geral acima do desempenho humano na maior parte do trabalho cognitivo. Nenhum produto disponível no mercado pode ser verificado contra essa definição durante uma reunião de compras, e nenhum fornecedor consegue apresentar uma demonstração que a comprove. Quando uma proposta usa a palavra, a frase normalmente faz uma de três coisas: define uma direção de longo prazo, toma emprestada credibilidade de pesquisas que o comprador não leu, ou sugere que o produto vai continuar melhorando sem nenhum trabalho do comprador.

Nenhuma dessas coisas é uma capacidade que você consiga escrever em contrato ou medir em uma revisão trimestral. Seu trabalho não é debater a definição. Seu trabalho é perguntar o que a frase significa para um trabalho específico que a equipe faz nesta semana.

Separar afirmações de capacidade da linguagem de marketing

Uma afirmação de capacidade tem três partes: uma tarefa, uma condição e uma medida. Por exemplo, a afirmação de que um agente redige as primeiras respostas a dúvidas de fornecedores sobre notas fiscais, usando apenas a política de pagamento aprovada, e encaminha para uma pessoa nomeada qualquer disputa acima de um limite definido. A linguagem de marketing não tem nenhuma dessas partes. Ela diz que o sistema é inteligente, que aprende com tudo ou que funciona no nível humano, e deixa para o comprador descobrir o que isso quer dizer.

Algumas expressões merecem uma pausa imediata:

• "Totalmente autônomo" sem uma lista das ações que ainda exigem uma pessoa.
• "Aprende com o seu negócio" sem descrição de quais dados são lidos, armazenados ou reutilizados.
• "Nível humano" ou "nível especialista" sem nenhuma tarefa nomeada.
• "Padrão empresarial" sem menção a controles de acesso, registros ou etapas de revisão.
• "Modelo proprietário" sem explicação do que o modelo faz no seu fluxo de trabalho e do que não faz.

Nenhuma dessas expressões é automaticamente falsa. Cada uma delas é um pedido de uma frase que possa ser verificada.

Um checklist para toda proposta de superinteligência

Use estas perguntas na primeira reunião e de novo antes de qualquer discussão contratual. Anote as respostas e marque qualquer pergunta que o fornecedor responda apenas com uma afirmação genérica.

• Qual tarefa exata esta afirmação cobre, e o que está explicitamente fora do escopo?
• Quais entradas o sistema lê, de onde elas vêm e quem é o dono delas?
• Qual saída é considerada correta, e quem do nosso lado decide isso?
• Qual conjunto de testes ou amostra produziu este resultado, e podemos submeter nossos próprios casos?
• Como o sistema se sai nos casos difíceis que mais importam para nós, e como isso foi medido?
• Quais ações ele pode executar sem aprovação, e quais exigem que uma pessoa nomeada confirme?
• Como as permissões são concedidas, revisadas e revogadas?
• O que acontece com nossos documentos, memória, prompts e registros se deixarmos de trabalhar juntos?
• Quem responde quando uma saída causa perda financeira, jurídica ou de cliente?

Se o fornecedor não conseguir responder às três primeiras perguntas, o restante da conversa é prematuro.

Como testar uma afirmação com os seus próprios casos

Demonstrações, estudos de caso e notas de benchmarks públicos são úteis, mas nenhum deles mostra como um sistema se comporta no seu processo, com os seus dados e dentro das suas regras. Benchmarks medem tarefas gerais. Estudos de caso são selecionados pela parte que quer vender. Peça, no lugar disso, um teste repetível montado com o seu histórico de trabalho, incluindo os casos confusos que não deram certo na primeira vez. Materiais públicos sobre avaliação de agentes, como os publicados pela Anthropic, tratam a avaliação como um conjunto de tarefas definidas com resultados graduados, e não como uma execução isolada e impressionante. Aplique a mesma lógica às afirmações do fornecedor. Para um método mais detalhado de leitura de resultados publicados, veja como ler casos de sucesso de IA sem se deixar enganar.

Cenário ilustrativo (não é caso de cliente): Um distribuidor regional recebe a oferta de um agente que vai "cuidar de compras de forma inteligente". O responsável de operações pede a lista dos tipos de pedido incluídos no escopo e um conjunto de exceções passadas, incluindo as que a equipe ainda comenta. O fornecedor roda os casos em um ambiente de testes diante da equipe. Vários resultados falham de formas que a demonstração nunca mostrou, e o escopo é reduzido a perguntas sobre o status de pedidos antes que qualquer condição de preço ou contrato seja discutida. A afirmação não desapareceu, mas se tornou algo que a empresa conseguia avaliar.

Verifique permissões e recuperação antes do desempenho

Uma capacidade só é tão segura quanto o acesso que recebe. Um agente que lê e-mails, uma pasta compartilhada e uma fila de chamados de clientes pode ser influenciado por qualquer texto que leia, inclusive texto escrito por alguém de fora da sua empresa. O OWASP Top 10 para aplicações com LLM descreve essa classe de risco, e as orientações de autorização do OWASP explicam por que cada ferramenta deve receber apenas o acesso que a tarefa exige. Pergunte ao fornecedor quais credenciais o agente usa, se essas credenciais são limitadas à leitura ou à escrita, quais ações exigem aprovação humana e como o agente é interrompido se seu comportamento mudar.

Afirmações de desempenho merecem menos peso do que essas respostas. Um sistema que funciona bem mas tem acesso amplo e sem revisão representa um risco maior do que um sistema mais restrito, cujos limites estão escritos, testados e revisados em um calendário. Para a rotina de revisão em si, veja como definir donos, permissões e rotas dos agentes.

Um plano passo a passo antes de assinar

Use esta sequência para transformar uma proposta ampla em uma decisão que você consiga defender internamente:

• Escreva a tarefa única e o critério de sucesso em frases simples, antes da apresentação do fornecedor.
• Reúna uma amostra de casos reais passados, incluindo os difíceis, com a resposta correta quando ela for conhecida.
• Peça ao fornecedor que rode essa amostra e devolva as saídas reais, e não um resumo delas.
• Avalie as saídas com alguém que conheça o trabalho, usando o critério escrito no primeiro passo.
• Liste cada ação que o sistema executaria e atribua a cada uma um nível de aprovação.
• Revise o que o fornecedor diz sobre retenção de dados, memória, registros e saída antes de uma segunda reunião.
• Decida entre seguir para um piloto delimitado, reduzir o escopo ou parar. Um piloto interrompido ainda deve deixar registros úteis. O guia sobre como definir metas e evidências para avaliar um agente de IA pode ajudar a fixar o limite antes do teste começar.

A decisão a partir do resultado desta sequência é simples. Se a afirmação sobrevive à amostra e ao mapa de aprovação, siga para um piloto delimitado. Se sobrevive apenas em parte, reduza a tarefa. Se o fornecedor resiste ao próprio teste, pare.

Como a Be Human lida com afirmações que ainda não podem ser verificadas

A Be Human projeta e opera agentes de IA personalizados com o escopo escrito desde o início: um papel definido, a memória e as ferramentas que esse papel precisa, os limites de aprovação para cada ação e um critério de sucesso observável acordado antes do lançamento. A operação gerenciada inclui monitoramento, avaliações recorrentes, manutenção de integrações, revisão de permissões e resposta a incidentes, de modo que uma capacidade é retestada com trabalho real depois da implantação, e não aceita uma única vez na assinatura. A Be Human não promete níveis futuros de capacidade. Ela torna visíveis o escopo atual, as evidências e o calendário de revisão para o dono do negócio que precisa decidir.

Quando a proposta ainda é ampla demais para ser testada, o primeiro passo útil é encontrar uma tarefa estreita em que um resultado mensurável seja possível. Faça o diagnóstico gratuito de IA da Be Human para identificar a primeira tarefa que vale entregar a um agente.

Perguntas frequentes

Uma afirmação de fornecedor sobre superinteligência algum dia vale a pena ser considerada? Sim, quando o fornecedor traduz a afirmação em uma tarefa delimitada, com entradas, saídas, uma medida e um responsável nomeado pelos erros. A palavra em si não justifica um orçamento, mas um fluxo de trabalho específico com um teste repetível pode justificar. Trate a afirmação ampla como contexto e a tarefa estreita como a decisão.

Qual é a pergunta mais útil a fazer a um fornecedor? Pergunte qual tarefa exata a afirmação cobre e o que o sistema faz nos casos em que falha. Um fornecedor que consegue responder às duas com precisão está descrevendo um produto que você pode avaliar. Um fornecedor que responde com afirmações genéricas sobre inteligência está pedindo que você aceite a afirmação sem evidências.

Notas de benchmark provam que o sistema do fornecedor vai funcionar na nossa empresa? Não. Notas de benchmark medem o desempenho em tarefas gerais escolhidas por quem construiu o benchmark. Podem ser um sinal aproximado da qualidade do modelo, mas não mostram como o sistema lida com os seus documentos, as suas permissões ou as suas exceções. Rode a sua própria amostra de casos passados antes de tratar qualquer nota publicada como relevante.

Quem dentro da empresa deve revisar as afirmações dos fornecedores antes de nos comprometermos? O dono do negócio do fluxo de trabalho deve ser responsável pelo critério de sucesso, uma pessoa que executa o trabalho deve avaliar as saídas, e quem cuida de segurança ou acessos deve revisar permissões e registros. Manter esses papéis separados impede que a demonstração do fornecedor seja o único juiz do próprio resultado.

Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.