Como comparar propostas de fornecedores de IA: grade lado a lado

Para comparar propostas de fornecedores de IA, reescreva as duas na mesma grade e julgue quatro pontos: escopo, propriedade, suporte e condições de saída. Preço e brilho da demonstração dizem pouco até você saber o que está incluído, quem detém as contas e os dados, o que acontece depois do lançamento e o que você leva consigo se decidir sair. Uma proposta que não consegue preencher todas as células da grade é um discurso comercial, ainda não uma proposta.

Principais pontos

• Cada fornecedor escreve na sua própria linguagem, então o primeiro trabalho é traduzir tudo para um formato único antes de começar a julgar.
• O escopo deve ser descrito como um papel, as ferramentas e a memória de que ele precisa, os limites de aprovação e uma medida de sucesso que você consiga observar.
• Propriedade envolve contas, chaves, dados, prompts, configuração e documentação. Pergunte quem detém cada item e exija a resposta por escrito.
• Suporte e condições de saída revelam mais sobre um fornecedor do que a lista de funcionalidades. O silêncio sobre qualquer um dos dois já é uma resposta.
• Classifique cada célula como clara, vaga ou ausente e resolva todas as vagas com uma pergunta escrita antes de decidir.

Por que duas propostas de IA raramente são comparáveis de primeira?

Um fornecedor envia um documento longo, construído em torno de uma plataforma. Outro envia um documento curto, construído em torno de uma pessoa. Um lista capacidades, o outro lista entregas. Colocadas lado a lado, parecem descrever compras diferentes, porque descrevem.

O erro mais comum é comparar o que é fácil de comparar: a demonstração, o tamanho da lista de funcionalidades, a segurança do texto. São justamente as partes que o fornecedor mais controla. As partes que decidem se a contratação funciona para a sua empresa são mais discretas: o que o agente pode fazer, quem pode alterá-lo, quem responde quando ele falha e o que acontece com a sua configuração no fim do contrato.

Uma boa proposta é aquela que você poderia entregar a um novo gerente de operações que não participou de nenhuma reunião. Se essa pessoa não conseguir dizer o que será entregue, de quem é e como sair, o documento está incompleto, por melhor que tenha sido a conversa comercial. A mesma lógica sustenta um bom escopo de trabalho para implantação de agente de IA, que vale a leitura antes de você assinar qualquer coisa.

Como colocar as duas propostas no mesmo formato?

Antes de pontuar, padronize. Isso leva uma ou duas horas e elimina boa parte da confusão. Faça você mesmo ou entregue a uma única pessoa, para que a tradução seja consistente.

• Crie uma página por proposta, com quatro blocos: escopo, propriedade, suporte e saída.
• Copie as palavras do próprio fornecedor em cada bloco, entre aspas e sem parafrasear a seu favor.
• Marque cada afirmação como compromisso (o fornecedor fará isto), capacidade (o fornecedor consegue fazer isto) ou expectativa (isto deveria acontecer). Só os compromissos contam.
• Deixe a célula vazia quando a proposta for omissa. Não preencha com o que você supõe ser normal.
• Liste todas as perguntas que as células vazias e vagas geram e envie as mesmas perguntas aos dois fornecedores ao mesmo tempo.
• Compare as respostas com o mesmo cuidado que os documentos originais. Uma resposta rápida e específica é evidência. Uma resposta lenta e genérica também é.

A diferença entre compromisso e capacidade faz a maior parte do trabalho. Muitas propostas são escritas quase só na linguagem da capacidade: a plataforma suporta, a equipe pode, o agente é capaz de. Nada disso obriga alguém a entregar.

Escopo: o que exatamente o agente vai fazer?

É no escopo que as propostas mais divergem e onde a redação vaga custa mais caro. Um agente descrito como responsável pelas operações de atendimento pode significar um fluxo estreito ou um assistente sem limites. Você precisa saber qual dos dois. Se a resposta não for óbvia, vale ter como referência comum o que é um agente de IA para empresas.

Verifique em cada proposta:

• Um papel nomeado, descrito como você descreveria um cargo: finalidade, entradas, saídas e a quem ele se reporta.
• A memória de que ele precisa: quais documentos, históricos ou registros ele pode ler e como são mantidos atualizados.
• As ferramentas que pode usar: de quais sistemas pode ler, em quais pode escrever e quais ações estão fora dos limites.
• Limites de aprovação: quais ações exigem confirmação humana e quem é essa pessoa.
• Um critério de sucesso observável, com método de medição, e não uma promessa genérica de melhoria.
• O que está explicitamente fora do escopo, para que pedidos futuros apareçam como mudanças e não como discussões.

O critério de sucesso merece atenção extra. Uma proposta que define sucesso apenas como adoção ou satisfação deixa espaço para muita frustração. Uma proposta que nomeia uma tarefa, uma amostra de casos reais e uma forma de revisar as saídas está descrevendo uma avaliação, que é como o trabalho sério com agentes é testado. O texto da Anthropic sobre avaliações (evals) de agentes de IA é um bom roteiro do que isso envolve e ajuda a julgar se a linguagem de testes do fornecedor tem substância por trás. Para definir a régua, veja critérios de sucesso para piloto de agente de IA.

Desconfie tanto do escopo grande demais quanto do pequeno demais. Uma proposta que promete vários papéis ao mesmo tempo, sem ordem e sem limites de aprovação, costuma significar que o primeiro papel será entregue pela metade.

Propriedade: quem detém as contas, os dados e o trabalho?

As perguntas de propriedade parecem jurídicas, mas são operacionais. Elas decidem se você pode trocar de fornecedor, auditar a atividade ou se recuperar de um incidente. Peça uma lista simples, uma linha por ativo, com o titular nomeado.

• Contas de modelo e chaves de API: estão em nome da sua empresa ou do fornecedor? Veja de quem devem ser as contas e chaves de API do agente de IA para entender por que isso importa.
• A identidade do próprio agente e suas contas no e-mail, no chat e nos sistemas da empresa, e quem pode desativá-las.
• Seus documentos, registros e histórico de conversas, e se qualquer parte disso é usada para treinar modelos de um provedor.
• Prompts, instruções, fluxos, configuração e código de integração: de quem são e em que formato podem ser entregues.
• Documentação: se existe, quem a escreve e se é atualizada conforme o agente muda.
• Logs e resultados de avaliação, e se você consegue lê-los sem precisar pedir.

Permissões também pertencem a este bloco. A proposta deve dizer qual acesso o agente receberá e com base em qual princípio. O padrão usual é o menor privilégio, ou seja, cada ferramenta recebe apenas o acesso que a sua função exige. As orientações de autorização da OWASP enunciam esse princípio com clareza. Se uma proposta pede acesso amplo de administrador para começar e promete restringi-lo depois, trate isso como um achado.

Um teste simples: imagine que o fornecedor desapareça amanhã. Para cada ativo da lista, sua equipe ainda conseguiria entrar, ler e manter o agente funcionando, ou ao menos desligá-lo? Onde a resposta for não, você encontrou uma dependência, e a proposta deve precificá-la, justificá-la ou eliminá-la.

Suporte: o que acontece depois da entrada em produção?

A maioria das propostas descreve a construção em detalhes e a operação em uma frase. No entanto, um agente se parece mais com um serviço do que com um objeto entregue. Modelos mudam, integrações quebram, documentos ficam desatualizados e as pessoas fazem perguntas que ninguém previu. As condições de suporte mostram quem lida com isso.

Compare estes pontos nas duas propostas:

• Quem monitora o agente, o que é monitorado e como você vê os resultados.
• Como os problemas são reportados, quem os reconhece e em que prazo, descrito como compromisso e não como meta.
• Como as mudanças são solicitadas, revisadas e aprovadas (o pedido de alteração em um agente gerenciado precisa de um caminho claro).
• Se há revisões recorrentes de qualidade, permissões e integrações, e quem participa.
• O que acontece quando muda um modelo de base ou um sistema conectado.
• O que o fornecedor faz em um incidente: contenção, comunicação e um relato escrito depois.
• O que está incluído no acordo recorrente e o que é cobrado à parte.

A linguagem de suporte é fácil de inflar. Expressões como suporte prioritário ou equipe dedicada significam pouco sem um processo descrito. Prefira a proposta que explica como um problema percorre o caminho do relato à solução, mesmo que soe menos impressionante. Para expectativas realistas sobre o tema, leia SLA para agentes de IA.

A observabilidade é um bom sinal de seriedade. Um fornecedor que consegue mostrar o que o agente fez, quais ferramentas chamou e onde falhou está operando algo que pode melhorar. O material introdutório de observabilidade do OpenTelemetry explica a ideia de fundo, caso você precise de vocabulário para a pergunta.

Condições de saída: como sair sem perder o trabalho?

As condições de saída são a seção que os fornecedores mais omitem e a que você mais vai querer ter lido com cuidado. Você não precisa planejar sair. Precisa que a opção de sair seja real, porque ela mantém honesto o resto da relação.

Procure:

• O prazo de aviso prévio e se é possível sair antes do fim de um prazo fixo.
• Um pacote de transição: configuração, prompts, fluxos, detalhes de integração, documentação e conjuntos de avaliação, entregues em formatos que sua equipe ou outro provedor consiga ler.
• Exclusão: o que acontece com seus dados e logs no fim, como isso é confirmado e quanto tempo leva.
• Ajuda na transição: se o fornecedor apoiará a passagem e de que forma.
• Qualquer item proprietário de que o agente dependa, como um ambiente de execução fechado ou um formato próprio, e o que o substitui.
• Backup e restauração: se você pode obter uma cópia restaurável da configuração em funcionamento. Veja backup e restauração de agente de IA.

O objetivo não é encontrar um fornecedor que torne a saída indolor. É ver como cada um trata o assunto. Uma seção de saída clara sugere uma equipe que espera merecer a renovação. A ausência dela sugere que a relação depende de a troca ser difícil. Como evitar dependência de fornecedor de IA e como migrar agentes de IA para outro fornecedor descrevem o que uma saída limpa envolve.

Como pontuar a grade e decidir?

Quando as duas propostas e os dois conjuntos de respostas estiverem na grade, classifique cada célula em três níveis: clara, vaga ou ausente. Ainda não use pesos. Primeiro conte onde cada proposta é clara e onde não é. Depois leia os blocos nesta ordem de importância, válida para a maioria das empresas: propriedade, saída, escopo, suporte. A ordem reflete o quanto cada problema é difícil de corrigir depois. O escopo pode ser revisado por meio de um pedido de mudança. Propriedade e saída são muito difíceis de renegociar quando o agente já está em uso diário.

Um guia rápido de decisão:

• Se uma proposta é clara nos quatro blocos e a outra não, escolha a clara, mesmo que a outra pareça mais capaz.
• Se as duas têm células ausentes, envie perguntas e pause a decisão. Não deixe um prazo substituir a informação.
• Se as duas são claras, mas diferem na propriedade, prefira a que deixa contas, chaves e configuração em suas mãos.
• Se as duas são claras e parecidas, o desempate vem de evidência: um pequeno teste pago em uma tarefa real, como descrito em prova de conceito, piloto e produção em IA.

Um cenário ilustrativo: uma empresa de logística recebe duas propostas para um agente que redige respostas a consultas sobre embarques. A proposta A é sofisticada, promete ampla capacidade e mantém as contas de modelo em nome do fornecedor, sem seção de saída. A proposta B é mais simples, nomeia um único papel, lista os sistemas exatos que ele lê, coloca as contas em nome da empresa e descreve um pacote de transição. Depois das perguntas por escrito, A responde sobre suporte em termos gerais, enquanto B explica seu ritmo de revisões e seu caminho de escalonamento. A empresa escolhe B, não porque prometa mais, mas porque cada célula da grade pode ser verificada.

A Be Human trabalha segundo esse padrão em suas próprias propostas. Um primeiro projeto define um papel útil, a memória e as ferramentas de que ele precisa, os limites de aprovação e um critério de sucesso observável. A operação gerenciada cobre então monitoramento, avaliações recorrentes, manutenção de integrações, revisão de permissões, resposta a incidentes e melhorias controladas, com a identidade, a memória e as permissões do agente sob o controle do cliente. Você pode submeter qualquer proposta à mesma grade, inclusive a nossa. Para uma visão mais ampla do lado do risco, o NIST AI Risk Management Framework é uma boa referência de como pensar a governança.

Perguntas frequentes

Quantas propostas devemos comparar? Duas ou três bastam para a maioria das empresas. Acima disso, tende-se a cansar na comparação, e a qualidade das suas perguntas importa mais do que o número de respondentes. Se você precisa padronizar o próprio pedido, um RFP para implementação de IA dá a todos os fornecedores a mesma estrutura para responder.

O preço deve entrar na grade? Acrescente-o depois que os quatro blocos forem pontuados, em uma coluna separada, para que ele não distorça a leitura da substância. Compare o que está incluído, e não só o valor de capa, e peça a cada fornecedor que liste o que seria cobrado à parte. As formas como os fornecedores estruturam a cobrança estão explicadas em modelos de precificação de agentes de IA.

Quem na empresa deve revisar as propostas? Quem será o responsável diário pelo agente deve liderar, com alguém verificando contratos e termos de dados e alguém verificando o acesso a sistemas. Empresas menores podem combinar esses papéis, mas cada pergunta ainda deve ser feita por alguém. O processo de compras de agentes de IA mostra o que cada área costuma verificar.

E se o fornecedor se recusar a responder por escrito? Trate a recusa como informação. Fornecedores com processo claro costumam conseguir declarar seus termos de forma direta, e os que preferem responder só em conversa deixam você sem nada em que se apoiar depois. Registre a recusa na grade e pese-a em relação à outra proposta.

Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.