Como escolher um consultor de implementação de IA: checklist para donos

Um bom consultor de implementação de IA deve ser avaliado pelo que deixa nas mãos da empresa, não pelo modelo que cita. Procure um candidato que deixe explícitos, antes de qualquer construção, a memória, as permissões, as avaliações e as condições de saída, e que consiga mostrar onde cada um desses itens fica guardado e quem pode alterá-lo. O checklist abaixo transforma essas quatro áreas em perguntas que você pode fazer a qualquer proposta.

Principais pontos

• Avalie os candidatos pela propriedade da memória, dos registros e da configuração, não pelo modelo de que eles gostam.
• Exija por escrito um papel nomeado, suas ferramentas e seus limites de aprovação antes de qualquer construção.
• Peça um plano de avaliação com um critério de sucesso que você mesmo consiga ler e verificar.
• Confirme as condições de saída: exportação de dados, entrega da configuração e um caminho testado para outro fornecedor.
• Trate a revisão de permissões, o monitoramento e a resposta a incidentes como trabalho contínuo, com responsáveis nomeados.

Por que o modelo é o pior primeiro teste

Os modelos mudam mais rápido do que a maioria dos contratos. Um consultor que vende pelo nome do modelo está vendendo algo que você provavelmente vai substituir. A parte durável de um agente de IA é o contexto operacional ao redor do modelo: as instruções, a memória que ele constrói, as ferramentas que pode acionar e as regras sobre o que pode fazer sem que uma pessoa aprove. O NIST AI Risk Management Framework trata o risco de IA como algo a ser governado e gerenciado ao longo de toda a vida do sistema, o que é uma lente mais útil para quem compra do que qualquer benchmark isolado.

Peça ao consultor que descreva o agente nesses termos. Se a resposta continuar girando em torno do modelo, você descobriu como ele vende, não como vai operar o trabalho.

De quem é a memória que o agente constrói?

Agentes lembram. Eles guardam anotações de tarefas anteriores, consultam documentos da empresa e levam o contexto de uma conversa para a seguinte. Essa memória é um dos materiais mais valiosos que sua empresa vai produzir em torno da IA, então trate-a como registro do negócio, não como subproduto do software. Antes de assinar, confirme por escrito:

• A empresa é dona da memória, dos prompts, da configuração e dos registros criados para o seu agente.
• O local de armazenamento e a região de hospedagem estão nomeados, e você pode pedir os registros de acesso.
• A memória pode ser exportada em formatos abertos e legíveis a qualquer momento e na saída do contrato.
• Seu material não é usado para treinar ou ajustar modelos que atendem outros clientes.
• A exclusão é possível mediante pedido, com processo e prazo definidos em contrato.

Cada item deve aparecer como cláusula, não como garantia verbal. Um consultor que não consegue dizer onde a memória fica armazenada ainda não está operando o sistema de um jeito que você possa auditar.

Como as permissões são definidas e aprovadas?

Cada ferramenta que um agente pode acionar é uma permissão. Ler uma pasta compartilhada, enviar uma mensagem, alterar um registro e emitir um reembolso têm níveis de risco muito diferentes. A orientação de autorização da OWASP favorece verificar o acesso a cada ação e negar por padrão, em vez de conceder acesso amplo uma única vez e torcer para que nada dê errado depois.

Peça ao consultor uma lista de ferramentas com uma linha por ferramenta: o que ela lê, o que ela escreve, quem aprova o uso e o que acontece quando ela falha. Depois pergunte quais ações exigem confirmação humana antes de serem executadas. Um candidato que diz que o agente vai descobrir sozinho o que precisa está descrevendo um problema de permissão, não uma capacidade.

Cenário ilustrativo: um distribuidor regional quer um agente que responda perguntas internas sobre o status de entregas. O responsável de operações e o consultor combinam que o agente pode ler os registros de pedidos, mas não pode alterá-los, e que qualquer resposta com data de entrega precisa citar o registro de origem. Enviar uma mensagem para o cliente exige que uma pessoa aprove antes. Cada limite fica escrito na lista de ferramentas antes da primeira conexão.

O que as avaliações precisam provar?

Uma avaliação é um teste repetível: um conjunto fixo de tarefas realistas, o resultado esperado, uma forma de pontuar e uma nova execução após cada mudança relevante. As orientações de engenharia da Anthropic sobre avaliação de agentes descrevem os mesmos blocos básicos, incluindo tarefas, avaliadores e transcrições registradas. Para quem compra como negócio, a pergunta é mais simples: o consultor consegue mostrar o conjunto de testes antes da construção, e vai executá-lo de novo a cada atualização?

Peça o critério de sucesso em linguagem simples, que um líder de operações consiga verificar sem ajuda. Pergunte também como cada ação do agente será registrada, para que uma execução com falha possa ser rastreada até a causa. Os conceitos de observabilidade do OpenTelemetry apresentam traces, métricas e logs como sinais básicos para esse tipo de rastreamento, e um consultor deve saber dizer quais deles vai usar.

Uma sequência simples para aplicar com qualquer candidato:

• Passo um: combinar o critério de sucesso em uma frase que um dono de negócio consiga verificar.
• Passo dois: montar o conjunto de testes a partir de pedidos reais do passado, incluindo os difíceis e ambíguos.
• Passo três: registrar a ação esperada em cada teste, inclusive o que o agente deve recusar ou encaminhar.
• Passo quatro: executar o conjunto antes da entrada em operação e depois de cada mudança, e guardar os resultados.
• Passo cinco: revisar as execuções com falha junto com o consultor e decidir se a correção pertence à memória, às ferramentas ou às instruções.

Quais condições de saída protegem a empresa?

As condições de saída decidem se você consegue sair sem perder o trabalho. O aprisionamento costuma vir de três lugares: configuração que existe apenas nas ferramentas do consultor, credenciais que só o consultor controla e memória guardada em um formato que ninguém mais consegue ler. Um contrato útil trata cada um deles.

Peça uma cláusula de rescisão com prazo de aviso, entrega de prompts, definições de ferramentas e documentação, revogação de todas as credenciais emitidas pelo consultor e uma data definida até a qual todos os dados exportados sejam devolvidos. Depois peça um ensaio. Uma restauração ou migração testada uma vez em uma cópia diz mais do que qualquer cláusula. O guia sobre cláusulas de rescisão em contratos de serviços de IA aprofunda o lado comercial.

O que a proposta e a equipe precisam mostrar antes da assinatura?

A proposta deve ser específica o bastante para que você possa entregá-la a um colega e obter o mesmo agente construído. Verifique se ela nomeia o papel, as ferramentas, os limites de aprovação, o critério de sucesso e o responsável por cada item. Depois verifique as pessoas. Quem fará o trabalho, quanto do tempo delas está comprometido e quem cobre os incidentes quando o contato principal não está disponível?

Use este guia de decisão quando a proposta estiver em mãos:

• Siga em frente quando a propriedade da memória, as permissões de ferramentas, as avaliações e as condições de saída estiverem escritas e cada uma tiver um responsável nomeado.
• Pare quando qualquer uma dessas quatro áreas for descrita apenas em linguagem geral, e peça uma redação revisada.
• Recuse quando o consultor prometer resultados que não controla, ou resistir a direitos de avaliação por escrito, exportação de dados ou entrega da configuração.

Para um panorama mais completo do dia a dia desse papel, leia o que um consultor de implementação de IA realmente faz.

O que a operação contínua cobre depois do lançamento?

A parte mais difícil de um agente raramente é a primeira construção. São os meses após o lançamento, quando as integrações mudam, as permissões se desviam e chegam novos tipos de pedido. Pergunte quem monitora o agente, com que frequência o conjunto de avaliação é executado, quem aprova uma mudança em ferramentas ou memória e quem é acionado quando o agente falha. Revisões trimestrais de permissões, com evidências por escrito, são uma base razoável. A revisão trimestral de permissões de agentes de IA mostra como essas evidências podem ser.

A Be Human projeta, implementa e opera infraestrutura de IA personalizada, com memória, ferramentas, permissões e contexto operacional mantidos sob controle do cliente. Um primeiro projeto define um papel útil, a memória e as ferramentas de que ele precisa, seus limites de aprovação e um critério de sucesso observável. A operação gerenciada pode então cobrir monitoramento, avaliações recorrentes, manutenção de integrações, revisão de permissões, resposta a incidentes e melhorias controladas, cada uma registrada para que o cliente veja o que mudou e por quê.

Se ainda não está certo qual tarefa merece um agente primeiro, o diagnóstico gratuito de IA da Be Human pode ajudar a identificá-la.

Perguntas frequentes

Preciso de um consultor de implementação de IA, ou minha equipe pode construir o agente? Sua equipe pode construir um agente pequeno, mas as decisões deste checklist, como a propriedade da memória, os limites de aprovação e as condições de saída, precisam de um responsável com autoridade dentro do negócio. Um consultor pode acelerar a construção e documentar o contexto operacional, mas a empresa deve manter o poder de decisão. Combine quem detém esse poder antes de o trabalho começar.

O consultor deve usar o modelo que minha empresa já paga? Não necessariamente. Pergunte de qual modelo o agente depende, se ele pode ser trocado sem reconstruir a memória e as ferramentas e como o consultor vai testar uma substituição. Manter o contexto operacional sob seu controle transforma a troca de modelo em uma atualização gerenciada, e não em uma reconstrução.

O que devo receber por escrito antes da primeira construção? Receba a descrição do papel, a lista de ferramentas, os limites de aprovação, o critério de sucesso, o plano de avaliação, os responsáveis pela memória e pelas permissões e as cláusulas de saída. Se algum desses itens existir apenas em uma conversa comercial, ele ainda não faz parte do acordo. Limites escritos protegem as duas partes.

Como distinguir um consultor movido por hype de um sério? O hype soa como promessas amplas, foco em modelos específicos e limites vagos sobre o que o agente pode fazer. Um candidato sério faz perguntas detalhadas sobre os seus processos, restringe o primeiro papel, mostra o conjunto de testes e os registros que vai manter, e se sente confortável em colocar por escrito o que o agente não deve fazer sem aprovação.

Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.