O que é janela de contexto em IA? Por que o agente esquece

Janela de contexto é a quantidade de texto que um modelo de IA consegue ler e considerar de uma só vez ao produzir uma resposta. Pense em uma mesa de trabalho: tudo o que está sobre a mesa fica disponível para o modelo, e o que não está não existe para aquela resposta. Um agente "esquece" quando a informação necessária foi descartada, encurtada ou nunca chegou à mesa, não porque perdeu algo que tinha aprendido.

Principais pontos

• A janela de contexto é o espaço de trabalho de uma única resposta, não um sistema de armazenamento. Tudo o que o agente precisa saber na semana que vem deve ficar guardado em outro lugar.
• Agentes esquecem por motivos comuns: a janela enche, o material antigo é cortado ou resumido, a sessão termina ou uma instrução importante fica soterrada por ruído.
• Uma janela maior ajuda, mas não substitui memória nem busca. Ela pode aumentar o custo, deixar as respostas mais lentas e enterrar o fato importante entre informações irrelevantes.
• Use a janela para a tarefa em andamento, a memória para fatos duráveis sobre pessoas e decisões, e a busca para material de referência grande ou que muda.
• Esquecimento é um problema de projeto: dá para testar, atribuir a um responsável e corrigir, em vez de simplesmente aceitar.

O que existe dentro de uma janela de contexto?

Sempre que um modelo de IA responde, ele recebe um pacote de texto e responde a esse pacote. O pacote é o contexto. Em geral, ele contém as instruções permanentes do agente, a conversa até aquele ponto, os resultados das ferramentas que o agente chamou, os documentos que foram buscados e o novo pedido. O modelo lê tudo junto e só então escreve o próximo trecho da resposta.

O limite de tamanho é contado em tokens, que são pequenos fragmentos de palavras. Você não precisa contá-los. O que importa para o negócio é que o limite é finito e compartilhado: instruções, histórico, documentos e a própria resposta disputam o mesmo espaço.

O segundo ponto pesa mais: o modelo não guarda nada entre uma chamada e outra por conta própria. Se a conversa parece contínua, é porque o sistema ao redor reenvia o texto anterior a cada vez. Quando o sistema deixa de enviar algo, o modelo não tem nenhum vestígio disso. Esse é o mecanismo por trás de quase toda reclamação do tipo "a gente já falou isso ontem".

Por que o agente esquece no meio de uma tarefa?

O esquecimento raramente tem uma causa só. Na prática, alguns padrões explicam a maioria dos casos:

• A janela enche. Uma conversa longa, um anexo grande ou o resultado extenso de uma ferramenta empurra o material anterior para fora ou obriga o sistema a cortá-lo.
• O histórico é compactado. Para abrir espaço, o sistema resume as mensagens antigas, e o resumo perde um detalhe que depois se mostra importante, como uma exceção pedida por um cliente.
• A sessão termina. Uma nova conversa começa com a mesa vazia, a menos que algo leve a informação de uma sessão para outra de forma deliberada.
• A instrução fica soterrada. Uma regra dita uma vez, no início de uma troca longa, pode pesar menos do que uma mensagem recente e mais evidente.
• A informação nunca foi guardada. Alguém disse no chat, todos presumiram que estava lembrado e ninguém registrou em um lugar durável.

O caso da compactação merece atenção porque parece memória, mas funciona como edição. Se você roda tarefas longas, leia Como compactar contexto sem perder decisões importantes para ver como preservar decisões e restrições quando o histórico é encurtado.

Uma janela maior resolve o problema?

Uma janela maior dá mais espaço, e para algumas tarefas é exatamente isso que se precisa, como ler um contrato longo de uma só vez. Mas, como resposta geral ao esquecimento, ela não basta, por quatro motivos.

Primeiro, mais texto não significa mais atenção. Quando a janela está cheia de material vagamente relacionado, o modelo tem mais coisas para separar, e o fato que importa pode ser tratado como mais um entre muitos. A orientação de engenharia da Anthropic sobre contexto descreve o contexto como um recurso finito que deve ser curado, não simplesmente preenchido (veja as fontes abaixo).

Segundo, custo e velocidade. Cada chamada carrega o pacote inteiro, então o hábito de jogar tudo na janela deixa cada resposta mais pesada. Alguns provedores oferecem formas de reaproveitar partes repetidas de um prompt, o que ajuda, mas não muda o que deve entrar no pacote.

Terceiro, informação desatualizada. Se você cola uma política antiga na janela, o modelo a lê como se fosse a vigente. Uma janela grande pode guardar versões antigas e atuais lado a lado, sem nenhum sinal de qual prevalece.

Quarto, fronteiras. Colocar mais dados na janela também significa colocar mais dados diante do modelo naquela solicitação. Se parte deles pertence a outro cliente ou a outro nível de permissão, a janela é o lugar errado para eles.

A disciplina de escolher o que entra, em que ordem e em que formato se chama engenharia de contexto. Uma visão prática está em Engenharia de contexto para agentes de negócio.

Quando usar memória e quando usar busca?

A pergunta útil não é "como aumentamos a janela?", e sim "onde esta informação deve ficar e como ela chega à janela quando for necessária?". Use este guia de decisão, um tipo de informação por vez.

• Necessária apenas para a tarefa atual e curta: mantenha na janela. Exemplos: o próprio pedido, o arquivo que está sendo editado, os últimos passos executados.
• Um fato durável sobre uma pessoa, um cliente ou uma equipe, que deve orientar o trabalho futuro: guarde como memória. Exemplos: o canal preferido de um cliente, uma regra permanente de aprovação, uma decisão tomada no mês passado e o motivo dela.
• Material de referência grande, que muda ou é grande demais para entrar inteiro: use busca em documentos (retrieval). Exemplos: políticas, manuais de produto, procedimentos, anotações de projetos anteriores. O sistema pesquisa e coloca na janela apenas os trechos relevantes.
• Um fato que vive em um sistema de registro e precisa ser exato: consulte direto no sistema, por meio de uma ferramenta, em vez de copiar. Exemplos: status de pedido, nível de estoque, saldo de conta, horários de agendamento.
• Uma forma fixa de trabalhar que deve valer sempre: coloque nas instruções permanentes do agente ou em um procedimento reutilizável, não no histórico de conversa.

Duas distinções evitam a maior parte dos erros. Memória serve para o que o agente deve carregar como conhecimento próprio sobre as pessoas e as decisões com as quais trabalha. Busca serve para consultar um conjunto de documentos. Se você mistura as duas, acaba com um agente que "lembra" de um documento que já foi substituído ou que relê uma preferência toda vez sem nunca aplicá-la. Sobre a primeira distinção, veja Memória de IA ou histórico de chat: o que guardar?. Para fatos exatos, veja Como definir fontes oficiais para um agente de IA.

A busca tem seu próprio padrão de qualidade. Ela funciona pesquisando o seu conteúdo e entregando ao modelo as melhores correspondências, como a AWS explica na sua visão geral sobre geração aumentada por recuperação (RAG). Se a busca devolve o trecho errado, o agente responde com segurança a partir do texto errado, e isso se parece exatamente com esquecimento.

Como isso aparece em um fluxo de trabalho real?

Este é um cenário ilustrativo, não um caso real.

Uma gerente de operações de uma empresa de serviços pede a um agente que prepare o resumo mensal de um cliente. Na primeira semana, ela comenta que esse cliente quer os números agrupados por região e nunca deve receber valores preliminares. Três semanas depois, começa uma nova conversa e o agente entrega um resumo agrupado por produto, com um valor preliminar incluído.

Não havia nada de errado com o modelo. A preferência foi dita em um chat que já terminou, e nenhuma memória foi gravada. A regra de agrupamento e a regra de não enviar valores preliminares nunca foram armazenadas em um lugar que o agente consulta.

A correção tem três partes. A preferência de agrupamento e a regra de "sem valores preliminares" viram um registro curto de memória do cliente, com responsável e data. Os números mensais passam a vir do sistema de relatórios por uma consulta somente leitura, não de texto colado. O procedimento de relatório vira uma instrução permanente que o agente segue todo mês. Depois disso, a janela só precisa conter o pedido atual e os poucos itens buscados para ele.

Como diagnosticar o esquecimento no seu agente?

Quando alguém disser que o agente esqueceu, resista à tentação de culpar uma limitação do modelo. Siga estes passos:

• Passo um: reproduza a falha e anote exatamente o que o agente deveria saber e quando essa informação foi passada.
• Passo dois: verifique se a informação chegou a ser guardada em algum lugar durável ou se existiu apenas em um chat.
• Passo três: se foi guardada, verifique se foi buscada na solicitação que falhou. Observe o que de fato foi colocado na janela.
• Passo quatro: se foi buscada, verifique se algo mais novo ou conflitante apareceu ao lado dela, ou se ela foi cortada ou resumida.
• Passo cinco: decida o lugar certo para o fato usando o guia de decisão acima: janela, memória, busca ou consulta direta.
• Passo seis: inclua o caso que falhou em um pequeno conjunto de verificações recorrentes, para que a mesma lacuna seja pega cedo da próxima vez.

Se o problema estiver na busca, teste-a diretamente com Como testar a qualidade da busca em uma base de IA. Se o problema for conteúdo antigo ou contraditório, a falha está no conhecimento, não na janela, e ele precisa de um responsável que o mantenha.

Como a Be Human trata contexto e memória?

A Be Human trata a janela de contexto como uma camada da infraestrutura do agente, não como o lugar onde o conhecimento mora. Em um primeiro projeto, definimos o papel que o agente desempenha e decidimos, para cada tipo de informação, se ela pertence à janela, à memória, aos documentos buscados ou a uma consulta direta a um sistema de registro. Os registros de memória têm escopo e responsável, e as permissões do agente e os limites de aprovação permanecem sob o controle do cliente. Na operação gerenciada, acompanhamos o que o agente de fato buscou e lembrou, rodamos verificações recorrentes para falhas conhecidas e fazemos melhorias controladas quando algo está faltando ou desatualizado.

Perguntas frequentes

O que é janela de contexto em IA? É o limite de quanto texto um modelo consegue receber e considerar ao gerar uma resposta. Ela inclui instruções, histórico da conversa, resultados de ferramentas, documentos buscados e o novo pedido. É espaço de trabalho, não armazenamento de longo prazo.

Por que meu agente de IA esquece o que eu disse antes? Em geral, o texto anterior deixou de ser enviado ao modelo, seja porque a sessão terminou, porque o histórico foi cortado ou resumido, ou porque a informação nunca foi salva em um lugar durável. O modelo em si não mantém uma cópia privada entre as chamadas. Salvar o fato como memória, ou colocá-lo em um documento que o agente consiga buscar, resolve a maioria dos casos.

Memória é a mesma coisa que uma janela de contexto maior? Não. Uma janela maior permite que o modelo leia mais de uma vez para uma única resposta, enquanto a memória é informação armazenada que o sistema traz de volta para a janela quando ela é relevante. A memória persiste entre sessões e pode ser revisada, corrigida ou removida, algo que a janela não faz sozinha.

Quando devo usar busca em vez de memória? Use busca para material de referência grande ou que muda, como políticas, manuais e anotações de projetos anteriores, em que o agente deve encontrar os trechos relevantes sob demanda. Use memória para fatos compactos e duráveis sobre pessoas e decisões que devem orientar o trabalho futuro. Para valores exatos guardados em um sistema da empresa, uma consulta direta é mais segura do que qualquer uma das duas.

Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.