Ir para conteúdo
be-human.ai
← Voltar ao blog

Infraestrutura de IA personalizada

Teste de exportação de dados para superinteligência: sua memória sai?

Teste curto para ver se prompts, memória do agente e logs saem do fornecedor de IA em formatos utilizáveis antes de assinar ou ampliar o contrato.

Capa tipográfica do Be Human com o título: Teste de exportação de dados para superinteligência: sua memória sai?
Ilustração conceitual criada com IA · Be Human

O teste de exportação de dados para superinteligência é uma verificação curta que pergunta se sua empresa consegue tirar de um fornecedor de IA os seus prompts, a memória do agente, as configurações de ferramentas, as permissões e os registros de atividade, e ler tudo em formatos utilizáveis sem depender da ajuda desse fornecedor. Se a resposta for não, o agente é um aluguel que guarda o conhecimento operacional da empresa, e não uma infraestrutura que você controla. Faça o teste antes de assinar, ampliar ou renovar qualquer contrato que armazene a memória da empresa.

Principais pontos

  • Exportabilidade é uma característica da configuração, então teste antes do contrato, e não depois da primeira disputa ou incidente.
  • Peça cinco coisas: prompts, memória, configuração de ferramentas e permissões, e logs, cada um em um formato que uma pessoa ou outro sistema consiga ler.
  • Uma exportação completa com memória sem identificação é quase tão difícil de usar quanto a ausência de exportação, então confira origem, responsável e data em cada item de memória.
  • Faça um teste de restauração em um espaço de trabalho separado. Um arquivo que existe ainda não prova que o papel pode ser reconstruído a partir dele.
  • Mantenha o inventário e a rotina de exportação sob seu controle e repita o teste em uma agenda definida.

O que o teste de exportação realmente verifica

A maioria dos líderes ouve um fornecedor dizer que os dados pertencem à empresa e considera a questão resolvida. Propriedade no papel e utilização na prática são coisas diferentes. Um fornecedor pode estar certo quanto à propriedade e, mesmo assim, a única forma de ver a memória de um agente ser pela própria interface dele, em um formato proprietário, sem datas e sem registro de quais chamadas de ferramenta levaram a quais ações.

O teste verifica três coisas. Primeiro, cobertura: tudo o que o agente precisa para se comportar do jeito que se comporta está incluído na exportação? Segundo, legibilidade: alguém que não participou do projeto original consegue ler o material e entender o que ele diz? Terceiro, portabilidade: um segundo sistema ou outra equipe consegue usar esse material para reconstruir o papel em outro lugar? As duas primeiras verificações são baratas de fazer. A terceira é a que a maioria das empresas pula, e é ela que decide se você está preso ao fornecedor.

Trate o teste como uma questão de operações e de compras, e não como uma auditoria técnica reservada a engenheiros. O dono do negócio precisa de um resultado claro: sim, não, ou uma lista de lacunas com responsáveis nomeados e um prazo para fechar cada uma.

Monte um inventário antes de pedir qualquer coisa

Não dá para testar uma exportação que você não definiu. Antes de procurar o fornecedor, escreva do que é feito o contexto operacional do agente. Um inventário útil tem cinco partes.

  • Instruções: prompts de sistema, descrições do papel e as regras de parada que indicam quando o agente deve passar o trabalho para uma pessoa.
  • Memória: os fatos que o agente guarda sobre clientes, fornecedores, políticas e decisões passadas, além da origem de cada fato.
  • Ferramentas e conexões: cada sistema que o agente pode ler ou alterar, a conta que ele usa e o que ele tem permissão de fazer ali.
  • Permissões: quem aprovou cada capacidade, o limite acima do qual uma pessoa precisa confirmar uma ação e quando isso foi revisado pela última vez.
  • Registros e avaliações: o histórico do que o agente fez, os casos de teste usados para julgar a qualidade dele e os resultados desses testes ao longo do tempo.

Se qualquer uma dessas partes existir apenas na cabeça de alguém ou em uma conversa de chat que ninguém consegue encontrar, esse já é o seu primeiro achado. Para uma forma prática de desenhar esses componentes em uma única página, veja Camadas da infraestrutura de IA empresarial: as sete explicadas.

Faça o teste em cinco passos

O teste em si leva uma tarde para um papel de agente. Use os mesmos passos para cada fornecedor e cada agente, para que os resultados possam ser comparados ao longo do tempo.

  • Passo um: peça ao fornecedor, por escrito, uma exportação completa dos prompts, da memória, da configuração de ferramentas, das permissões e dos registros de um agente, referentes a um período definido. Registre a data do pedido.
  • Passo dois: confira os arquivos com o seu inventário. Marque cada item como presente, parcial ou ausente. Itens ausentes são achados, não detalhes pequenos.
  • Passo três: abra cada arquivo sem usar a interface do fornecedor. Texto puro, Markdown, CSV e JSON podem ser lidos com ferramentas comuns. Um binário proprietário, uma captura de tela ou um link que expira é uma falha de legibilidade.
  • Passo quatro: confira se os itens de memória trazem origem, responsável e data da última confirmação. Confira se os registros têm carimbo de data e hora e identificam as chamadas de ferramenta e as aprovações humanas envolvidas. Sem esses campos, a memória é um conjunto de afirmações, e não um registro.
  • Passo cinco: restaure o papel em um espaço de trabalho separado, usando apenas o material exportado e um guia de configuração escrito. Peça a um colega que não construiu o agente para executar três pedidos realistas e comparar as respostas com as que o original produzia. Anote cada ponto em que ele precisou adivinhar.

Dê um resultado de aprovado, aprovado com ações ou reprovado. Aprovado significa que os cinco passos foram concluídos e que a restauração produziu um comportamento equivalente nos pedidos de teste. Aprovado com ações significa que as lacunas são pequenas, estão nomeadas e têm responsável. Reprovado significa que o papel não pode ser transferido na forma atual, e você deve avaliar isso antes de ampliar o escopo dele.

Cenário ilustrativo: uma distribuidora com dez pessoas pede ao fornecedor a exportação do agente de status de pedidos. Os prompts chegam em texto puro e os registros chegam em CSV, o que é bom. A memória chega em um único arquivo JSON com anotações de clientes, mas sem campos de origem ou data, e as configurações de permissão existem apenas como captura de tela de uma página de administração. O teste de restauração em um espaço separado falha em dois dos três pedidos, porque o agente reconstruído não consegue dizer quais regras de desconto estão vigentes. A empresa registra o resultado como reprovado com ações, atribui ao fornecedor os campos de memória e a exportação de permissões, e agenda a repetição do teste para o trimestre seguinte.

Avalie os formatos pelo que um estranho conseguiria usar

O formato importa menos que a completude e a identificação, mas alguns formatos facilitam o trabalho. Prefira arquivos que uma ferramenta padrão consiga abrir e que tenham estrutura: JSON para registros com campos, CSV para logs e tabelas, Markdown ou texto puro para instruções. Evite exportações que só fazem sentido no visualizador do fornecedor.

A identificação importa mais. Cada item de memória deve responder a três perguntas: de onde veio, quem é responsável por mantê-lo correto e quando foi confirmado pela última vez. Os registros devem permitir acompanhar um pedido desde a primeira instrução, passando por cada chamada de ferramenta, até a ação final e qualquer aprovação humana. Os conceitos por trás desse tipo de registro, como logs, rastros e métricas, são explicados de forma simples no material introdutório do OpenTelemetry sobre observabilidade. Você não precisa adotar a tecnologia para aproveitar as perguntas que ela faz.

Verifique também a fronteira entre memória e modelo. Alguns fornecedores guardam conhecimento dentro do modelo por meio de ajuste fino, o que é difícil de inspecionar e mais difícil ainda de transferir. A recuperação de informação mantém o conhecimento em documentos e registros que você consegue ler e substituir. A orientação da AWS que compara recuperação e ajuste fino apresenta as vantagens e desvantagens de cada abordagem. Para uma empresa que quer manter o controle do próprio conhecimento, a recuperação sobre registros que ela mesma guarda costuma ser o material mais fácil de levar consigo.

O que um teste reprovado revela

Uma exportação reprovada é uma informação, e não um veredito sobre o caráter do fornecedor. Ela mostra onde o seu contexto operacional realmente está, o que costuma ser mais revelador do que o material de vendas. Achados comuns incluem memória que existe apenas dentro de um histórico de chat, permissões definidas por uma pessoa que já saiu da empresa e registros mantidos por uma janela curta e depois apagados.

Cada achado deve levar a uma decisão. Ou o fornecedor fecha a lacuna dentro de um prazo declarado, ou você move o material para um armazenamento que controla, ou reduz o papel até que a lacuna deixe de importar. Não amplie o escopo do agente enquanto um achado estiver aberto. A mesma disciplina vale para os limites de aprovação em que o agente opera. Se um limite precisar mudar, faça a mudança por um processo documentado, como descrito em Limites de aprovação humana para agentes de IA mais fortes: guia prático.

Desconfie de respostas como vamos construir isso para você depois, dadas sem um escopo escrito. Uma resposta útil nomeia o artefato, o formato, o responsável e o ponto de entrega. Qualquer coisa mais vaga sugere que a exportação depende da relação comercial, e não do sistema, que é exatamente o aprisionamento que o teste deve expor.

Como a Be Human lida com a exportabilidade

A Be Human projeta e opera agentes de IA para que identidade, memória, canais, ferramentas, permissões e contexto operacional permaneçam sob controle do cliente. A primeira etapa define um papel, a memória e as ferramentas que ele precisa, os limites de aprovação e um critério de sucesso observável. Como o inventário faz parte dessa definição inicial, a empresa sabe desde o começo o que deve ser exportável, em vez de descobrir as lacunas durante uma disputa. A operação gerenciada mantém o inventário atualizado por meio de monitoramento, revisões de permissão, avaliações recorrentes e mudanças controladas, para que o teste de exportação possa ser repetido em uma agenda, e não reconstruído em meio a uma crise. Isso descreve a abordagem de serviço, e não uma promessa sobre nenhuma plataforma específica.

Comece com um papel e teste ainda este trimestre

Escolha um papel de agente, de preferência aquele que toca menos sistemas e carrega menos risco, e execute os cinco passos nele antes de testar algo maior. Escreva o inventário, peça a exportação e registre os resultados em um lugar que o líder de operações e o responsável pelo papel consigam ver. Quando a primeira rodada estiver concluída, repita-a para cada papel adicional e cada fornecedor que você usa, e compare os resultados. Se você não tiver certeza de qual papel deve vir primeiro, faça o diagnóstico gratuito de IA da Be Human para encontrar a primeira tarefa que vale a pena entregar a um agente.

Perguntas frequentes

Passar neste teste significa que estamos em conformidade com a lei de privacidade? Não. O teste mostra se você consegue mover e ler o seu material operacional, o que é pré-requisito para gerenciá-lo bem, mas por si só não comprova que o tratamento de dados pessoais é lícito. Para questões de governança, o NIST AI Risk Management Framework oferece um vocabulário estruturado para mapear riscos, e seus advogados ou consultores de compliance devem confirmar as obrigações aplicáveis na sua jurisdição.

Podemos fazer o teste sem a cooperação do fornecedor? Apenas parcialmente. Você sempre pode inventariar o que configurou, conferir o que já guarda nos seus próprios sistemas e documentar onde a memória é criada. Uma exportação completa, porém, depende de o fornecedor entregá-la, e por isso o pedido deve ser feito por escrito, com data, período definido e conjunto específico de artefatos.

Com que frequência devemos repetir o teste? Repita sempre que um papel mudar de forma relevante, como uma nova conexão de ferramenta, uma nova fonte de dados ou uma mudança em quem aprova ações, e também em uma agenda regular. Muitas equipes combinam o teste com uma revisão trimestral de permissões para que as evidências se mantenham atualizadas. Um teste aprovado há muito tempo e nunca repetido diz pouco sobre o agente que você opera hoje.

A memória baseada em recuperação facilita as exportações? Normalmente, sim, porque o conhecimento fica em documentos, registros e índices que você pode inspecionar e substituir. Isso não elimina a necessidade de identificação, responsáveis e registros, já que uma pasta bem organizada com fatos desatualizados ou sem autoria continua difícil de confiar. Trate a recuperação como uma forma de manter a memória em formatos que você controla e aplique em seguida as mesmas verificações de identificação e restauração descritas acima.

Seu próximo passo

Descubra primeiro onde um agente de IA cabe na sua empresa.

Faça o diagnóstico gratuito de IA da Be Human. Algumas perguntas sobre o seu trabalho mostram qual tarefa entregar primeiro a um agente, o que ele precisa saber e onde uma pessoa aprova.

Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.

Menos tarefas. Mais espaço para você.

Traga o trabalho para o qual falta tempo.

Agende uma conversa e teste 7 dias grátis um agente de IA personalizado ↗Ou faça o diagnóstico gratuito de IA →