Ir para conteúdo
be-human.ai
← Voltar ao blog

Infraestrutura de IA personalizada

Parceiro de implementação de IA para empresas: perguntas de teste

Lista de perguntas para o dono avaliar se um parceiro de implementação de IA consegue criar uma camada da empresa que melhora com os modelos.

Capa tipográfica do Be Human com o título: Parceiro de implementação de IA para empresas: perguntas de teste
Ilustração conceitual criada com IA · Be Human

Um parceiro de implementação de IA projeta, constrói e opera os agentes, a memória, as ferramentas e as permissões que a empresa passa a usar depois que a demonstração termina. Para saber se ele consegue montar uma camada no nível da empresa que fica mais forte à medida que os modelos melhoram, peça respostas específicas sobre como memória e ferramentas são separadas, como a melhoria é medida, como as mudanças são aprovadas e quem opera o sistema depois do lançamento. As perguntas abaixo foram escritas para o dono ou o líder de operações que precisa tomar essa decisão.

Principais pontos

  • Um parceiro capaz descreve a camada como partes separadas (modelo, memória, ferramentas, permissões e contexto operacional), para que cada parte possa mudar sem obrigar a reconstruir as demais.
  • A melhoria trazida por um modelo melhor só é real se você puder medi-la nas suas próprias tarefas, com um teste repetível.
  • Peça o formato das evidências antes de assinar: rastros, resultados de avaliação, registros de permissões e um registro de incidentes.
  • Permissões e aprovações de mudança devem estar por escrito, com responsáveis nomeados do seu lado, e não ficar a critério do fornecedor.
  • O trabalho do parceiro depois do lançamento define se a camada continua ficando mais forte, então avalie o monitoramento e a revisão com o mesmo rigor da primeira construção.

Comece pelo que o parceiro está realmente construindo

Muitas propostas descrevem um agente. Poucas descrevem a camada ao redor dele. Uma camada no nível da empresa guarda o que o agente pode saber, quais sistemas ele pode acessar, o que ele tem permissão para fazer e como o trabalho dele é verificado. Na prática, estar pronto para a superinteligência significa que, quando um modelo mais forte estiver disponível, a empresa consegue trocar o mecanismo de raciocínio sem perder sua memória, seu histórico de permissões ou o registro de decisões anteriores. Um parceiro que não consegue descrever essa fronteira está vendendo uma ferramenta isolada, e não uma camada.

Peça ao parceiro que desenhe a solução. Uma versão de uma página, com fronteiras identificadas, é mais fácil de checar do que uma apresentação de slides. O processo está descrito em Revisão da arquitetura de IA da empresa: ache a camada mais fraca. Se o parceiro não consegue caber o desenho em uma página, com cada bloco atribuído a uma parte responsável, o desenho provavelmente ainda não está pronto.

Pergunte como memória e ferramentas ficam separadas do modelo

É em memória e ferramentas que está o valor da empresa. Memória é o que o agente pode consultar: procedimentos aprovados, regras de produto, condições comerciais com clientes, decisões anteriores. Ferramentas são o que o agente pode fazer: abrir um chamado, consultar o status de um pedido, redigir uma resposta para aprovação. Quando a memória fica em um repositório que você controla e o modelo apenas lê dali no momento do uso, você pode trocar o modelo mais tarde sem perder o conhecimento. Projetos baseados em recuperação seguem esse padrão, como explica a orientação de arquitetura de nuvem sobre geração aumentada por recuperação (RAG).

Faça estas perguntas diretamente:

  • Onde a memória está armazenada, e você consegue exportar tudo sem depender do parceiro?
  • Quais ferramentas o agente chama, e o que cada uma recebe e devolve?
  • É possível substituir ou desativar uma ferramenta sem alterar as outras?
  • Quem decide o que entra na memória, e cada inclusão fica registrada com data e autor?

Um parceiro que responde a isso mostrando a interface do agente não respondeu de fato. O que você precisa são localizações de arquivos, definições das ferramentas e um processo escrito para inclusões.

Pergunte como a camada melhora quando os modelos mudam

Uma camada que fica mais forte com o tempo precisa de uma referência fixa. Pergunte como o parceiro vai saber que um modelo novo é melhor para o seu trabalho, e não apenas melhor em rankings públicos. A resposta deve citar um conjunto de tarefas tiradas das suas operações, avaliadas por critérios combinados antes, e executadas antes e depois de qualquer mudança. As notas de engenharia da Anthropic sobre avaliação de agentes descrevem essa disciplina em detalhe, e a lógica vale qualquer que seja o fornecedor de modelo que você escolher.

Cenário ilustrativo (hipotético, não é um caso real): um distribuidor de equipamentos usa um agente para redigir respostas a e-mails de fornecedores. O parceiro mantém um conjunto fixo de e-mails antigos de fornecedores, com respostas já aprovadas. Quando surge um modelo mais novo, o parceiro o executa contra esse conjunto. O modelo novo escreve com mais clareza, mas inventa datas de entrega em alguns dos e-mails de teste. A equipe mantém o modelo atual para qualquer resposta que mencione datas, e o parceiro acrescenta uma regra: datas de entrega devem vir do sistema de pedidos, por meio de uma ferramenta, e não do texto gerado pelo modelo. A melhoria só foi real porque o teste existia antes da mudança.

A pergunta que você deve fazer a qualquer parceiro é simples: o que faria você me dizer que uma atualização de modelo é um erro? Se a resposta for vaga, a camada não tem como ficar mais forte de forma planejada.

Pergunte que evidências provam que o agente funciona

Demonstrações mostram o melhor cenário. Peça o registro dos casos comuns. Um parceiro capaz consegue mostrar um rastro de cada ação do agente: o que foi pedido, qual memória foi consultada, qual ferramenta foi chamada, o que voltou e o que foi produzido. O vocabulário de rastros, registros e métricas é padrão em operações de software, e a introdução à observabilidade do OpenTelemetry é uma boa referência para os termos. O parceiro não precisa usar essa ferramenta, mas deve saber explicar o que cada registro mostra.

Peça quatro itens antes de qualquer construção começar:

  • Um critério de sucesso escrito, ligado a uma tarefa e a um resultado mensurável.
  • Rastros de amostra de um período de teste, incluindo os casos que falharam e como foram tratados.
  • Um registro de incidentes com a causa, a correção e a mudança que se seguiu.
  • Resultados de avaliação por versão de modelo, para que você possa comparar a camada ao longo do tempo.

Se um parceiro resiste a mostrar falhas, trate isso como informação. Sistemas bem gerenciados produzem um histórico de problemas, e é desse histórico que vem a melhoria.

Pergunte quem controla permissões, mudanças e dados

As permissões devem ser o conjunto mais restrito que a tarefa exige. Ações que gastam dinheiro, alteram registros de clientes ou enviam mensagens em nome da empresa devem passar por uma etapa de aprovação com uma pessoa nomeada. A orientação de controle de acesso da OWASP ressalta que a autorização precisa ser verificada em cada ação, e não apenas no início de uma sessão, o que é um bom teste para um agente que chama várias ferramentas em uma mesma tarefa. O NIST AI Risk Management Framework oferece aos líderes um vocabulário neutro para relacionar esses riscos a responsáveis e controles.

Pergunte ao parceiro:

  • Quem do nosso lado aprova cada permissão, e quem aprova uma alteração nela?
  • Como o acesso é removido, e quanto tempo isso leva na prática?
  • Quais partes dos nossos dados saem dos nossos sistemas para chegar a um fornecedor de modelo, e sob quais condições?
  • Como as mudanças são solicitadas, revisadas e registradas? A mecânica está tratada em um guia separado sobre solicitação e aprovação de mudanças em agentes gerenciados.

A Be Human projeta, implementa e opera esse tipo de camada para empresas. Na operação gerenciada, o conjunto de permissões, os limites de aprovação e as solicitações de mudança são revisados em uma agenda definida, com o responsável nomeado pelo cliente, para que o registro escrito de quem pode fazer o quê continue correto à medida que a empresa e seus modelos mudam. Outros fornecedores também devem conseguir oferecer esse tipo de revisão, e você deve pedi-la por escrito.

Conduza a entrevista com o parceiro em cinco passos

A sequência a seguir transforma as perguntas acima em uma decisão que você consegue defender internamente. O processo cabe na rotina normal da empresa e não exige treinamento técnico de quem está na sala.

  • Passo um: envie a lista de perguntas antes da reunião e peça respostas por escrito antes de qualquer conversa sobre escopo.
  • Passo dois: peça o mapa de arquitetura de uma página, com memória, ferramentas, permissões e responsáveis identificados.
  • Passo três: solicite um rastro de amostra anonimizado e um resultado de avaliação, e pergunte o que o parceiro mudaria se o resultado fosse pior.
  • Passo quatro: pergunte o que acontece com memória, permissões e documentação se a relação de trabalho terminar. A resposta deve nomear o que você fica com e em qual formato.
  • Passo cinco: classifique cada resposta como específica, parcial ou vaga. Não avance enquanto as respostas sobre memória, avaliação e permissões não forem específicas.

Guarde o registro dessas respostas. Elas servirão de base para o escopo de trabalho, e o escopo deve seguir a mesma estrutura das respostas. Para saber o que esperar como entregas de um consultor, veja Como escolher um consultor de implementação de IA: checklist para donos. Se ainda não está claro qual tarefa merece o primeiro agente, faça o diagnóstico gratuito de IA da Be Human para identificar a primeira tarefa que vale entregar a um agente.

Perguntas frequentes

Preciso de um parceiro de implementação se meus desenvolvedores conseguem criar o agente sozinhos? Seus desenvolvedores podem até construir um agente que funcione, mas o trabalho mais difícil é a camada ao redor dele: a propriedade da memória, as revisões de permissão, a avaliação após cada mudança de modelo e a resposta a incidentes. Pergunte se sua equipe tem tempo para executar essas atividades todo mês, e não apenas para construí-las uma vez. Se não tiver, o valor do parceiro está em operar a camada, e a entrevista acima vai mostrar se essa operação foi desenhada ou improvisada.

Como saber se as promessas de um parceiro sobre modelos futuros são realistas? Julgue as promessas pelos mecanismos que elas descrevem, e não pela previsão em si. Um parceiro realista fala em trocar modelos, medir resultados nas suas tarefas e manter a memória independente de um único fornecedor. Desconfie quando um parceiro prometer que um modelo futuro vai resolver seu problema sem um teste que demonstre isso. Planos que dependem de previsões, e não de medições, são difíceis de auditar.

O que deve constar no contrato escrito com o parceiro? O contrato deve nomear o escopo, os responsáveis dos dois lados, as permissões concedidas, o método de avaliação, o caminho de aprovação de mudanças, o processo de incidentes e as condições para exportar memória e documentação. O escopo de trabalho deve refletir as respostas recebidas durante a entrevista. Qualquer item que exista apenas em uma conversa comercial deve ser escrito no contrato antes da assinatura.

Com que frequência o parceiro deve revisar a camada depois do lançamento? O ritmo certo depende de quão rápido suas ferramentas, dados e modelos mudam, mas uma camada com permissões ativas deve ter uma revisão programada de quem pode fazer o quê, além de uma revisão dos resultados de avaliação após cada mudança de modelo. Peça ao parceiro que proponha a agenda por escrito, incluindo as evidências que cada revisão produz, e confirme quais dessas revisões você vai acompanhar.

Seu próximo passo

Descubra primeiro onde um agente de IA cabe na sua empresa.

Faça o diagnóstico gratuito de IA da Be Human. Algumas perguntas sobre o seu trabalho mostram qual tarefa entregar primeiro a um agente, o que ele precisa saber e onde uma pessoa aprova.

Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.

Menos tarefas. Mais espaço para você.

Traga o trabalho para o qual falta tempo.

Agende uma conversa e teste 7 dias grátis um agente de IA personalizado ↗Ou faça o diagnóstico gratuito de IA →