Ir para conteúdo
be-human.ai
← Voltar ao blog

Contexto e memória

Controle de escrita na memória de agentes de IA: quem pode gravar

Controle de escrita define qual agente, funcionário ou sistema pode salvar um fato na memória da empresa, o que é checado antes e quem aprova mudanças.

Capa tipográfica do Be Human com o título: Controle de escrita na memória de agentes de IA: quem pode gravar
Ilustração conceitual criada com IA · Be Human

Um controle de escrita é o conjunto de regras que decide qual agente, funcionário ou sistema pode salvar um fato na memória da empresa, o que precisa ser verificado antes de o fato ser guardado e quem pode corrigi-lo ou removê-lo depois. Sem esses controles, um agente que resume uma ligação ou lê um e-mail de fornecedor pode transformar um palpite em fato oficial, e toda resposta seguinte passa a repetir esse palpite. A abordagem que funciona é separar propor uma memória de aprovar essa memória, dar a cada tipo de memória um responsável com nome e registrar cada gravação aceita.

Principais pontos

  • O controle de escrita separa propor um fato de guardá-lo, para que o agente possa sugerir uma memória sem gravá-la em silêncio.
  • Cada tipo de fato precisa de um dono próprio, porque uma mudança de política, uma preferência de cliente e uma orientação de segurança têm riscos diferentes.
  • O controle verifica a origem, o escopo, a sensibilidade e possíveis conflitos antes de qualquer coisa entrar na memória.
  • Toda gravação aceita precisa de um registro de quem aprovou, quando e qual fonte sustenta o fato.
  • Comece com dois ou três tipos de memória e amplie o escopo somente quando as revisões mostrarem que o controle pega erros reais.

Por que cada fato salvo é uma decisão

A memória da empresa não é um caderno. Depois que um fato é guardado, a recuperação faz com que ele pareça autoridade. Um agente que responde a um cliente ou a um técnico repete o fato armazenado com a mesma confiança, venha ele de um contrato assinado ou de uma mensagem digitada às pressas. Por isso a pergunta útil não é apenas como a memória é armazenada, mas quem tem permissão para guardar cada tipo de fato.

O acesso de escrita costuma ser concedido de forma ampla demais nas primeiras implantações, porque isso é conveniente. Se uma ferramenta pode chamar uma função de atualização de memória e nada verifica quem chamou, qualquer conversa pode mudar o que a empresa considera verdadeiro. A orientação de autorização da OWASP lembra que decisões de acesso devem ser checadas a cada requisição, e não presumidas porque quem pede está dentro do sistema. A mesma disciplina vale para gravações de memória. O NIST AI Risk Management Framework também trata a responsabilização como parte da gestão de risco de IA, o que, na prática, significa que alguém precisa ser nomeado para cada decisão que o sistema possa tomar por conta própria.

Portanto, o controle de escrita não é um detalhe técnico que a equipe de engenharia resolve depois. É uma regra de negócio que diz quais fatos a empresa aceita de quais fontes e quem responde por eles.

Quem pode escrever e em quê

Na maioria das empresas tem três tipos de quem escreve, e cada um deve ter um nível de confiança diferente.

  • Pessoas: membros da equipe que escrevem sobre o próprio papel, as próprias contas ou as próprias decisões, dentro dos tipos de memória que cobrem sua função.
  • Integrações: sistemas de registro, como uma ferramenta de agendamento ou uma exportação de cobrança, que só podem gravar campos estruturados depois de uma verificação de esquema.
  • Agentes: o próprio assistente, que normalmente deve propor memórias para uma fila em vez de gravá-las diretamente na memória compartilhada.

A permissão deve ser definida por tipo de memória, e não por usuário. Um atendente de recepção pode ter permissão para corrigir uma observação de agendamento, mas não para alterar uma política de cancelamento. Um supervisor pode aprovar mudanças de política, mas não deve incluir dados pessoais de um cliente em um perfil compartilhado. Uma matriz curta, com os tipos de memória em um eixo e os papéis de quem escreve no outro, costuma bastar para começar. Para cada célula, a matriz deve dizer se a pessoa pode gravar diretamente, apenas propor ou não pode escrever.

Separar a memória em escopos ajuda nisso. Um fato sobre um cliente não deve ser gravável pela mesma regra que governa um procedimento da empresa inteira. O artigo sobre escopo de memória por conta, equipe e empresa descreve como manter separadas as regras de conta, de equipe e de empresa, para que cada uma tenha seu próprio controle.

Um guia de decisão para cada fato proposto

Quando chega uma proposta, o controle deve responder a um conjunto curto de perguntas, em ordem. O guia abaixo é um ponto de partida que pode ser adaptado aos seus tipos de memória.

  • Se o fato vem de um sistema de registro, como um documento assinado ou uma exportação de cobrança, a integração pode gravá-lo após a verificação de esquema, e o dono é notificado.
  • Se o fato é uma declaração de um funcionário sobre a própria responsabilidade, ele pode ser guardado depois que a pessoa confirmar e o responsável pela memória aceitar.
  • Se o fato é uma preferência declarada por um cliente, ele fica pendente até um funcionário confirmá-lo, porque clientes podem estar errados, enganados sobre com quem falam ou apenas testando o sistema.
  • Se o fato altera uma política, uma tabela de preços, uma regra de serviço ou uma instrução de segurança, o dono nomeado precisa aprovar antes de ele ser guardado, sem exceção por pressa.
  • Se o fato contradiz uma memória existente, a gravação é retida e um item de conflito é aberto. O controle nunca deve sobrescrever em silêncio.
  • Se o fato contém dados pessoais ou financeiros sensíveis que o tipo de memória não foi desenhado para guardar, o controle rejeita e informa o motivo.
  • Se a origem do fato não pode ser identificada, a proposta é rejeitada ou mantida em uma fila de revisão com prazo fixo de validade, nunca guardada como fato sem rótulo.

A ordem importa. As verificações de origem e de sensibilidade vêm antes da checagem de dono, porque um dado sensível não deveria chegar ao responsável nem sequer ser proposto se não pertence à memória.

Passo a passo: montando o controle

A montagem não precisa ser grande. Uma primeira versão útil pode ser definida em algumas sessões de trabalho com as pessoas que são donas do processo.

  • Liste os tipos de memória que o agente pode tocar. Comece com no máximo três, normalmente os que geram mais perguntas repetidas.
  • Para cada tipo, nomeie um dono que aprova mudanças e um substituto que possa agir quando o dono estiver ausente.
  • Defina quais pessoas, quais integrações e quais ações do agente podem gravar diretamente e quais podem apenas propor.
  • Exija que toda gravação traga uma referência de origem, um carimbo de data e hora e a identidade de quem propôs.
  • Direcione as propostas para uma fila de revisão nas primeiras semanas, para que os donos vejam o que o agente quer lembrar antes que ele lembre.
  • Adicione verificações de conflito, de modo que um fato novo que discorde de um existente abra um item de revisão em vez de substituí-lo.
  • Registre cada proposta aceita e rejeitada, com o motivo, para que as decisões possam ser auditadas depois.
  • Revise a fila em uma cadência fixa e anote quais regras pegaram erros reais. Endureça as regras que pegam erros e afrouxe as que só acrescentam atraso.

Para equipes que compartilham memória entre departamentos, o artigo sobre regras de escrita para memória compartilhada de IA detalha a atribuição de donos e os registros de mudança.

Cenário ilustrativo: troca de acesso a um prédio

Cenário ilustrativo: um coordenador de facilities administra vários prédios sob gestão. Um técnico envia uma mensagem curta em um chat dizendo que o código do portão lateral de um dos prédios foi trocado naquela manhã. O agente redige uma proposta para atualizar o registro do local. O controle identifica três coisas: a origem é uma mensagem informal, o tipo de memória é acesso ao local, e mudanças de acesso exigem a aprovação do coordenador. A gravação fica retida, e o coordenador recebe a proposta com a mensagem original anexada.

O coordenador confirma a mudança com o contato do prédio e aprova a atualização. Enquanto isso, o agente informa a quem perguntar que o registro do local está em revisão e que a pessoa deve confirmar com o coordenador. O controle também sinaliza que códigos de acesso não pertencem à memória geral. O código deve ficar em um cofre de segredos restrito, com regras próprias de acesso, e a memória deve registrar apenas que o procedimento de acesso mudou e quem confirmou. O artigo sobre dados sensíveis na memória de agentes de IA explica quais itens nunca devem ser guardados na memória.

O cenário mostra o padrão. O agente é útil porque percebe a mudança rapidamente. O controle é útil porque é a empresa, e não o agente, que decide quando essa mudança passa a ser um fato.

Como a Be Human trata controles de escrita

Na abordagem gerenciada da Be Human, o controle de escrita é definido já na primeira etapa do trabalho, junto com o papel que o agente desempenha, a memória e as ferramentas de que ele precisa, os limites de aprovação e o critério de sucesso. As regras do controle são escritas com os responsáveis pela memória do cliente, e não deduzidas pelo agente. Durante a operação, as permissões são revisadas em uma agenda recorrente, incidentes são tratados quando um fato errado chega à memória, e as mudanças nas regras do controle são registradas e aprovadas pelo cliente antes de entrar em vigor. O objetivo é que cada fato guardado possa ser rastreado até uma fonte e um aprovador, e que a equipe do cliente consiga ver a fila de revisão sem precisar ler código.

Revisar, corrigir e remover fatos salvos

Um controle regula a entrada, mas a memória também precisa de manutenção depois que o fato entra. Fatos envelhecem, pessoas mudam de função e alguns registros foram aceitos com regras que já não se aplicam. Uma revisão periódica deve conferir uma amostra de fatos guardados contra suas fontes, procurando itens vencidos, donos sem responsável e registros cujo aprovador já saiu da empresa. O artigo sobre auditoria de memória de agente de IA descreve uma rotina de revisão adequada a esse propósito.

Quando um fato está errado, o dono deve escolher entre três ações. A correção troca o valor e mantém o histórico. A expiração define uma data a partir da qual o fato deixa de ser usado. A remoção apaga o registro quando ele nunca deveria ter sido guardado. Cada ação deve entrar no mesmo registro de mudanças que documentou a gravação original. O guia sobre como apagar a memória de um agente de IA explica como executar essas ações para que o agente deixe de usar o fato em todos os lugares onde ele aparece. Se você ainda não sabe em qual memória seu primeiro agente deve gravar, o diagnóstico gratuito de IA da Be Human pode ajudar a identificar a primeira tarefa que vale entregar a um agente.

Perguntas frequentes

Um agente de IA pode salvar um fato na memória da empresa sem aprovação? Pode, se o sistema for construído dessa forma, mas raramente é o padrão certo para memória compartilhada. Um modelo mais seguro deixa o agente propor fatos para uma fila e permite gravação direta apenas em tipos de memória restritos, de baixo risco e com origem clara. Qualquer coisa que altere uma política ou uma regra voltada ao cliente deve esperar pelo dono nomeado.

Quem deve ser dono de um tipo de memória? O dono deve ser a pessoa responsável pela área de negócio que os fatos descrevem, como operações para procedimentos de atendimento ou comercial para regras de preço. Cada dono deve ter um substituto, para que as aprovações não parem quando uma pessoa estiver indisponível. A responsabilidade deve estar por escrito e ser revista sempre que os papéis mudarem.

O que um controle de escrita deve rejeitar primeiro? As primeiras rejeições devem cobrir fatos sem origem identificável, fatos que contêm dados sensíveis que a memória não foi projetada para guardar e fatos que sobrescrevem silenciosamente um registro existente. Esses três casos causam mais dano quando passam despercebidos. Depois de tratados, o controle pode lidar com distinções mais finas, como declarações de clientes versus confirmações da equipe.

Em que o controle de escrita difere do controle de acesso a documentos? O controle de acesso a documentos decide quem pode ler um arquivo, enquanto o controle de escrita decide quem pode alterar aquilo que o assistente da empresa considera verdadeiro. As duas coisas são necessárias, e uma pessoa que pode ler uma política pode, mesmo assim, estar proibida de alterá-la na memória. As regras por função para acesso à memória cobrem o lado da leitura, e o controle de escrita cobre a outra metade.

Seu próximo passo

Descubra primeiro onde um agente de IA cabe na sua empresa.

Faça o diagnóstico gratuito de IA da Be Human. Algumas perguntas sobre o seu trabalho mostram qual tarefa entregar primeiro a um agente, o que ele precisa saber e onde uma pessoa aprova.

Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.

Menos tarefas. Mais espaço para você.

Traga o trabalho para o qual falta tempo.

Agende uma conversa e teste 7 dias grátis um agente de IA personalizado ↗Ou faça o diagnóstico gratuito de IA →