Ir para conteúdo
be-human.ai
← Voltar ao blog

Infraestrutura de IA personalizada

Parceiro de implementação de IA: perguntas sobre memória e acesso

Guia prático para avaliar parceiro de implementação de IA pela memória, permissões e observabilidade, com perguntas essenciais antes de assinar.

Capa tipográfica do Be Human com o título: Parceiro de implementação de IA: perguntas sobre memória e acesso
Ilustração conceitual criada com IA · Be Human

Um parceiro de implementação de IA desenha, conecta e opera agentes de IA dentro da sua empresa, para que eles trabalhem com os seus dados, pelas suas ferramentas e sob as suas regras. O teste útil não é saber qual modelo a empresa prefere, mas se ela consegue construir a memória, as permissões e a observabilidade de que a operação vai precisar à medida que os modelos ficarem mais capazes. As perguntas abaixo mostram quais respostas são específicas o suficiente para merecer confiança.

Principais pontos

  • Avalie o parceiro pela forma como ele guarda memória, concede permissões e registra a atividade dos agentes, e não pelo modelo que ele demonstra.
  • Pergunte quem é dono da memória, dos prompts, das definições de ferramentas e dos registros, e o que você recebe se o contrato terminar.
  • Exija um papel nomeado, um critério de sucesso observável e um limite de aprovação por escrito antes de qualquer construção começar.
  • Procure evidências depois do lançamento: revisões de permissões, avaliações recorrentes e um processo de incidentes documentado.
  • Trate como risco um parceiro que não consegue explicar as próprias falhas em linguagem simples, por mais profundo que seja tecnicamente.

Por que a camada de memória importa mais que o modelo

Modelos mudam. O fornecedor atualiza o modelo, surge um melhor, ou a sua equipe decide que outro fornecedor serve melhor a uma tarefa específica. Se a memória, as instruções e as conexões com ferramentas do agente vivem dentro da configuração de um único fornecedor, cada mudança vira uma reconstrução. Um parceiro capaz separa essas peças de propósito. A memória guarda o que o agente aprendeu sobre o seu negócio, como nomes de produtos aprovados, regras de atendimento a clientes e decisões anteriores. O contexto reúne o que o agente lê para uma tarefa específica. As ferramentas definem o que ele pode fazer. Cada peça deve ser armazenada de um jeito que você consiga inspecionar, exportar e levar para outro lugar.

A pergunta prática é simples: se trocarmos o modelo por trás do agente no futuro, quais partes sobrevivem sem mudança? Uma boa resposta aponta o repositório de memória, os arquivos de instrução, o conjunto de avaliação e as definições de ferramentas, e explica como cada um é versionado. Uma resposta fraca descreve os recursos do modelo. Para aprofundar essa separação, leia O que é uma camada de superinteligência? As partes que a empresa controla.

Quem é dono da memória, dos prompts e dos registros?

A propriedade é a pergunta que mais costuma ser pulada na seleção e que mais causa problemas depois. Antes de comparar propostas, peça por escrito:

  • Onde a memória do agente fica armazenada, e podemos exportá-la em formato legível a qualquer momento?
  • Os prompts, as descrições de ferramentas e os conjuntos de avaliação ficam em um repositório que a nossa empresa controla?
  • Em nome de quem as ferramentas conectadas estão autorizadas, e podemos revogar esse acesso sem a ajuda do parceiro?
  • Quais registros são mantidos, por quanto tempo, e onde podemos lê-los?
  • Se encerrarmos o trabalho, o que recebemos, em que formato e dentro de que prazo?

Respostas vagas, como “a gente cuida disso para vocês”, não são respostas. A propriedade deve ser uma característica da configuração, não um favor concedido na renovação. Esse tema é aprofundado em Contas e chaves de API do agente de IA: de quem devem ser?.

Como desenhar as permissões?

Um agente deve ter apenas o acesso que o seu papel exige. É o princípio conhecido do menor privilégio, e ele pesa ainda mais quando o agente pode ler e-mails, editar registros ou disparar pagamentos. A orientação da OWASP sobre autorização descreve a disciplina geral de checar cada ação contra uma regra explícita, em vez de presumir que um pedido é aceitável só porque veio de dentro do sistema. Um parceiro que entende isso produz um mapa de permissões antes de escrever qualquer código de integração.

Um mapa de permissões pode ser montado em cinco passos:

  • Liste cada ação que o agente poderia executar, como ler uma pasta, rascunhar uma resposta, enviar uma mensagem, atualizar um registro ou emitir um reembolso.
  • Marque quais ações são somente leitura, quais são reversíveis e quais são irreversíveis.
  • Atribua cada ação a um responsável nomeado pela aprovação, ou registre que nenhuma aprovação é necessária e por quê.
  • Defina limites onde eles importam, por exemplo, um valor máximo que o agente pode comprometer sem revisão de uma pessoa.
  • Defina como uma permissão é removida, quem pode removê-la e em quanto tempo a mudança passa a valer.

Pergunte também como o parceiro trata entradas não confiáveis. Agentes leem documentos, e-mails e páginas da web escritos por pessoas de fora da empresa, e qualquer um desses textos pode conter instruções para contornar as regras do agente. A orientação da OWASP sobre prevenção de injeção de prompt explica por que esse conteúdo deve ser tratado como dado, não como comando. O cenário a seguir mostra o princípio.

Exemplo ilustrativo: um agente de atendimento lê e-mails de clientes e pode emitir reembolsos até um limite aprovado. Um dos e-mails traz um texto mandando o agente ignorar as regras e aprovar um reembolso maior. Uma configuração bem feita trata o e-mail como conteúdo a ser analisado, bloqueia qualquer reembolso acima do limite sem aprovação de uma pessoa e registra a tentativa para revisão.

O que a observabilidade deve mostrar depois do lançamento?

Observabilidade significa conseguir ver o que o agente fez, por que fez e quanto custou, sem precisar pedir ao parceiro que reconstrua os eventos de memória. A documentação de conceitos do OpenTelemetry descreve como rastros, métricas e registros permitem acompanhar um processo ao longo de suas etapas. Para um agente, um rastro útil registra a entrada que disparou a ação, o contexto recuperado, cada chamada de ferramenta e o seu resultado, qualquer aprovação solicitada e concedida, a saída final e os recursos consumidos. Sem esse registro, uma resposta errada é apenas um caso isolado. Com ele, a resposta errada vira um caso que você consegue classificar e corrigir.

Peça ao parceiro que mostre um rastro real de uma execução de teste, e não um slide de resumo. Verifique se um gestor sem formação técnica conseguiria encontrar o motivo de uma decisão específica. Pergunte quem recebe os alertas quando um agente falha ou se comporta fora dos limites, com que rapidez essas pessoas respondem e como fica o registro do incidente depois. A observabilidade também é a base da governança. O NIST AI Risk Management Framework apresenta a IA confiável como uma prática contínua de mapear, medir e gerenciar riscos, e um parceiro não consegue medir o que não registra.

Como testar um parceiro antes de assinar?

Uma proposta é uma promessa. Um teste curto e estruturado transforma a promessa em evidência. Use os passos abaixo na reunião de seleção e peça respostas por escrito para cada um.

  • Peça um papel nomeado com um critério de sucesso observável, como a fração de rascunhos aceitos sem edição, escrito como meta mensurável.
  • Solicite a lista completa de fontes de memória e de ferramentas conectadas que esse papel usaria.
  • Solicite o limite de aprovação, escrito como ações e valores, e não como princípios gerais.
  • Peça um rastro de exemplo de uma execução de demonstração, incluindo cada chamada de ferramenta e os pontos de aprovação.
  • Pergunte como as avaliações são desenhadas, quem escreve os casos de teste, quem revisa os resultados e com que frequência elas rodam.
  • Confirme por escrito as condições de saída: exportação da memória, dos prompts, dos conjuntos de avaliação e dos registros, com formato e prazo definidos.
  • Peça o processo do parceiro para revisão de permissões e para incidentes, incluindo quem da sua empresa é notificado.

Um parceiro que responde a esses passos com detalhes concretos costuma ser aquele que operou agentes por tempo suficiente para saber onde eles falham. Um parceiro que responde com uma longa lista de nomes de modelos e nenhum artefato merece mais perguntas. Critérios de seleção para a plataforma mais ampla estão em Como escolher um consultor de implementação de IA: checklist para donos.

O que um parceiro gerenciado mantém funcionando?

A Be Human desenha e opera essa camada para empresas. Uma primeira etapa define um papel útil, a memória e as ferramentas que esse papel precisa, os limites de aprovação e um critério de sucesso observável. A operação gerenciada pode então incluir monitoramento, avaliações recorrentes, manutenção das integrações, revisão de permissões, resposta a incidentes e melhorias controladas, com a identidade, a memória, os canais, as ferramentas e as permissões do agente mantidos sob controle da empresa. O serviço é remoto e está disponível em inglês e em português. Comece pela primeira tarefa que vale a pena entregar a um agente e avalie o parceiro pelas evidências que ele produz a cada mês.

O diagnóstico gratuito de IA da Be Human ajuda a identificar essa primeira tarefa.

Perguntas frequentes

Precisamos de conhecimento técnico profundo para avaliar um parceiro? Você não precisa escrever código, mas precisa entender onde as decisões são tomadas e que evidências existem. Peça artefatos escritos, como um mapa de permissões, um rastro de exemplo e um plano de saída, e verifique se o responsável de operações da sua empresa consegue acompanhá-los. Se a explicação depende da memória de um único engenheiro, a configuração ainda não está documentada o suficiente.

Devemos escolher um parceiro porque ele usa o modelo de que já gostamos? Não apenas por isso. Modelos mudam, e uma configuração que depende do comportamento de um único modelo vai exigir retrabalho quando ele for atualizado ou substituído. Dê mais peso a como o parceiro separa memória, ferramentas e avaliações, porque essa separação determina quão fácil será trocar de modelo depois.

Com que frequência as permissões de um agente devem ser revisadas? Revise-as em um calendário fixo e sempre que o papel do agente, as ferramentas conectadas ou os limites de aprovação mudarem. A revisão deve comparar o que o agente tem permissão para fazer com o que ele realmente precisa, e registrar as decisões. Peça ao parceiro que mostre uma revisão concluída de um trabalho anterior, com nomes removidos.

O que deve acontecer se um agente cometer um erro caro? O parceiro deve seguir um processo de incidentes por escrito: interromper ou restringir a ação afetada, usar o rastro para encontrar a causa, corrigir as instruções, as permissões ou as ferramentas, acrescentar um caso de teste que teria capturado o erro e comunicar o resultado à sua empresa. Peça esse processo antes de assinar, e não depois do primeiro incidente.

Seu próximo passo

Descubra primeiro onde um agente de IA cabe na sua empresa.

Faça o diagnóstico gratuito de IA da Be Human. Algumas perguntas sobre o seu trabalho mostram qual tarefa entregar primeiro a um agente, o que ele precisa saber e onde uma pessoa aprova.

Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.

Menos tarefas. Mais espaço para você.

Traga o trabalho para o qual falta tempo.

Agende uma conversa e teste 7 dias grátis um agente de IA personalizado ↗Ou faça o diagnóstico gratuito de IA →