Requisitos de harness para agentes de IA: um checklist de avaliação
O que o harness de um agente de IA precisa controlar, registrar e permitir antes de a empresa confiar nele, com checklist para avaliar qualquer configuração.

Um harness de IA é a camada que envolve um modelo e decide o que um agente pode ver, fazer, registrar e interromper. Para avaliar qualquer configuração de agente, verifique se o harness controla identidade, memória, ferramentas, permissões, gastos e condições de parada, se registra cada chamada ao modelo e cada ação de ferramenta em formato que um revisor consiga ler, e se permite que pessoas aprovem, pausem, revertam e exportem o trabalho em pontos definidos. O checklist abaixo transforma esses requisitos em perguntas que você pode fazer a um fornecedor, a uma equipe interna ou ao seu próprio rascunho.
Principais pontos
- Um harness se avalia pelo que controla, registra e permite alterar, e não pelo modelo que está dentro dele.
- Cada ferramenta que o agente pode chamar precisa de um escopo nomeado, de um nível de leitura, rascunho ou ação, e de um responsável que possa revogá-la.
- Os registros precisam responder a quatro perguntas sobre qualquer tarefa: quem pediu, o que o agente viu, o que ele fez e por que parou.
- Pontos de aprovação, pausa, retomada e reversão devem ser testados antes da primeira execução real, e não depois do primeiro incidente.
- Peça evidências: um rastro de exemplo, um teste de falha provocada e uma demonstração de revogação, e não apenas um diagrama.
O que o harness precisa controlar
Controlar significa que o harness decide, e não o modelo. O modelo pode propor o próximo passo, mas o harness determina quais ferramentas existem, quais registros estão visíveis, até onde uma ação pode ir e quando o trabalho precisa parar. Se o termo ainda é novo para a sua equipe, o texto sobre o que é harness de IA explica a camada básica. Ao revisar uma configuração, procure estes controles:
- Identidade: o agente tem um nome fixo, um papel declarado e a empresa em nome da qual atua, escritos em um arquivo que as pessoas conseguem ler e alterar.
- Memória: o registro do agente mostra quais dados ele pode ler, quais pode gravar e por quanto tempo suas anotações permanecem.
- Ferramentas: existe uma lista explícita das ferramentas chamáveis, cada uma com limites de entrada e uma descrição do que faz.
- Permissões: leitura, rascunho e ação são separados para cada ferramenta, e as permissões de ação são as menores que a tarefa exige.
- Escolha de modelo: cada tipo de tarefa está associado a um modelo nomeado, e qualquer mudança nessa associação exige um aprovador nomeado.
- Limites: tetos de etapas, novas tentativas e gasto por tarefa interrompem trabalhos descontrolados antes que cheguem à caixa de entrada ou ao financeiro de alguém.
- Condições de parada: o agente para e passa o trabalho adiante quando faltam dados, quando uma ferramenta falha duas vezes ou quando um pedido está fora do seu papel.
Um controle só conta se puder ser alterado sem reconstruir o agente. Pergunte quem pode revogar uma ferramenta, reduzir um orçamento ou mover uma tarefa para um modelo de contingência, e quanto tempo isso leva em um dia de trabalho normal.
O que o harness precisa registrar
Os registros são a única forma de alguém fora da engenharia revisar o que um agente fez na semana passada. O modelo útil vem da prática de observabilidade: cada tarefa gera um rastro formado por etapas, e cada etapa carrega suas entradas, saídas, tempos e erros. O material introdutório do OpenTelemetry descreve essa ideia em termos gerais, e ela se aplica a agentes tanto quanto a serviços web comuns. Uma configuração passa nesta seção quando qualquer tarefa pode ser reconstruída do início ao fim sem precisar perguntar a quem a construiu. O registro deve incluir:
- O pedido que iniciou a tarefa, e a pessoa ou sistema que o enviou.
- O modelo e a versão usados em cada etapa, para que uma mudança posterior possa ser rastreada.
- Cada chamada de ferramenta com seus argumentos, um resumo do resultado e um horário.
- Cada leitura e gravação de memória, incluindo o que foi removido ou sobrescrito.
- Cada aprovação solicitada, concedida ou recusada, com o nome de quem aprovou.
- Erros, novas tentativas e o motivo de cada parada ou repasse.
- O custo da tarefa na unidade que o seu financeiro já usa.
Cenário ilustrativo: a gerente de escritório encontra duas mensagens de lembrete enviadas ao mesmo cliente na mesma tarde. Se o registro mostra um pedido, uma chamada de ferramenta e uma nova tentativa após um tempo esgotado, a correção é uma regra de nova tentativa com verificação de duplicidade. Se o registro mostra dois pedidos vindos de duas fontes de entrada, a correção está na entrada. Sem o registro, a equipe discute com base na memória, e o mesmo erro volta na semana seguinte.
O que o harness precisa permitir
Permitir é o requisito que a maioria das configurações deixa de lado. Um harness pode ser muito controlado e mesmo assim falhar, se as pessoas não conseguirem intervir rápido ou recuperar o trabalho com limpeza. Ele deve permitir o seguinte, e cada item deve ser testado antes de o agente tocar em trabalho real:
- Aprovação em pontos nomeados, como enviar uma mensagem externa, alterar o cadastro de um cliente ou confirmar um pagamento.
- Pausa de uma tarefa ou de todo o agente sem perder a fila, as anotações ou o ponto em que o trabalho estava.
- Um controle de parada que interrompe ações mantendo os registros intactos, como explica o guia sobre um botão de desligamento para um agente de negócio.
- Retomada de trabalho pendente a partir de um ponto salvo, e não da primeira etapa, o que importa em qualquer tarefa que toque sistemas externos. O guia sobre checkpoints e retomada descreve o padrão.
- Reversão de um prompt, de uma configuração de ferramenta ou de uma troca de modelo para a última versão que passou na avaliação.
- Exportação do registro completo de uma tarefa em formato que um revisor possa ler sem programas especiais.
A pergunta a fazer é simples: se o agente se comportar mal às quatro da tarde, quem age, com qual botão ou comando, e em que estado o trabalho fica?
Como avaliar uma configuração de agente em uma revisão
Você pode fazer esta revisão em uma tarde com as pessoas que são donas do processo. Não é preciso um departamento de engenharia para fazer todas as perguntas, mas é preciso alguém que possa responder pelos sistemas que o agente toca. Siga estas etapas em ordem:
- Etapa um: escreva o papel em uma frase e nomeie o resultado de negócio que ele serve.
- Etapa dois: liste cada ferramenta e cada registro que o agente alcança, marcando cada um como leitura, rascunho ou ação.
- Etapa três: para cada permissão de ação, nomeie a pessoa que aprova e a condição que dispara a aprovação.
- Etapa quatro: peça um rastro de uma tarefa de exemplo e confirme que todos os itens da seção de registros estão visíveis.
- Etapa cinco: provoque uma falha deliberada, como o tempo esgotado de uma ferramenta ou um campo faltando, e confirme que o agente para, registra o motivo e aguarda.
- Etapa seis: execute uma pausa, uma retomada e uma reversão enquanto alguém acompanha o registro.
- Etapa sete: escreva o critério de sucesso em termos que um revisor possa conferir no rastro, e não em termos de como o resultado parece.
Uma configuração que falha na etapa cinco ou na etapa seis não está pronta para trabalho real, por mais impressionante que tenha sido a demonstração. Registre o resultado de cada etapa para que a próxima revisão comece com evidências.
Onde entram as regras de segurança e de dados
Segurança é um requisito do harness, e não um projeto separado que vem depois. A injeção de prompt, em que um texto dentro de um documento, e-mail ou página da web tenta sobrescrever as instruções do agente, é tratada nas orientações da OWASP para aplicações com LLM, e esse risco deve ser presumido em qualquer agente que leia conteúdo externo. As orientações de autorização da OWASP se aplicam diretamente ao acesso a ferramentas: conceda o menor escopo possível, verifique-o em cada chamada e nunca aceite a afirmação do modelo sobre quem está pedindo como prova de identidade. O NIST AI Risk Management Framework oferece um vocabulário útil para atribuir cada risco a um responsável e a um controle. Para dados pessoais, verifique quais registros o agente pode copiar para a memória, por quanto tempo ficam ali e se as regras de aviso e finalidade que valem para o seu negócio estão refletidas na configuração do harness. Os requisitos que variam conforme o tipo de negócio são tratados em guardrails para agentes de IA nas empresas.
Como a Be Human trabalha o harness
A Be Human projeta e opera o harness como parte de um projeto contínuo, e não como uma instalação única. Um primeiro projeto define um papel útil, a memória e as ferramentas de que ele precisa, os limites de aprovação e um critério de sucesso observável, de modo que os controles deste checklist fiquem especificados antes de qualquer coisa rodar. A operação gerenciada mantém esses controles válidos depois do lançamento: acompanhamento dos rastros, avaliações recorrentes, revisão de permissões sempre que uma ferramenta ou integração muda, manutenção das integrações, resposta a incidentes e melhorias controladas, testadas antes de chegar ao trabalho real. O objetivo é que a configuração continue passando nesta revisão meses depois, quando a equipe original já estiver em outras frentes.
Escolhendo o primeiro agente para cumprir esse padrão
O primeiro agente deve ser uma tarefa cujas entradas, ferramentas e casos de falha já sejam conhecidos pelas pessoas que fazem o trabalho hoje. Um papel restrito torna cada controle mais fácil de testar e oferece um rastro de referência para comparar as mudanças futuras. Equipes costumam começar com uma tarefa repetitiva, mas delimitada, e o guia sobre agente ou fluxo determinístico ajuda a separar tarefas que exigem julgamento daquelas que um processo fixo resolve melhor. Se ainda não está claro qual tarefa deve ir primeiro, o diagnóstico gratuito de IA da Be Human ajuda a identificar a primeira tarefa que vale entregar a um agente.
Perguntas frequentes
Harness é o mesmo que modelo? Não. O modelo produz texto ou decisões, enquanto o harness controla o ambiente ao redor dele, incluindo quais ferramentas o modelo pode chamar, quais registros pode ler, o que deve ser registrado e quando uma pessoa precisa aprovar uma ação. Dois agentes podem usar o mesmo modelo e ainda assim diferir muito em confiabilidade e segurança, porque seus harnesses são diferentes.
Precisamos registrar cada etapa com todos os detalhes? Registre o que permite a um revisor reconstruir a tarefa: o pedido, o modelo usado, cada chamada de ferramenta com argumentos e resumo do resultado, mudanças de memória, aprovações, erros e motivos de parada. Defina prazos de retenção para o conteúdo bruto de acordo com as suas regras de dados e mantenha o rastro legível. Um registro menor, porém completo, é mais útil do que um despejo grande que ninguém consegue pesquisar.
Uma equipe pequena consegue atender a esses requisitos sem departamento de engenharia? Sim, se os requisitos forem usados como checklist de revisão e a equipe aceitar que alguns itens precisam de ajuda externa para serem construídos. Uma equipe pequena costuma conseguir decidir sozinha os pontos de aprovação, o critério de sucesso e as regras de parada. Configurar rastros, credenciais com escopo e reversão costuma exigir alguém que mantenha as integrações, e essa é uma razão comum para usar um modelo de operação gerenciada.
O primeiro agente deve cobrir uma área ampla ou uma área restrita? Uma área restrita. Escolha um único papel com critério de sucesso claro, uma lista curta de ferramentas e casos de falha conhecidos. Um primeiro agente restrito permite testar cada controle deste checklist antes de ampliar suas permissões, e produz um rastro de referência que facilita julgar as mudanças futuras.
Seu próximo passo
Descubra primeiro onde um agente de IA cabe na sua empresa.
Faça o diagnóstico gratuito de IA da Be Human. Algumas perguntas sobre o seu trabalho mostram qual tarefa entregar primeiro a um agente, o que ele precisa saber e onde uma pessoa aprova.
Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.


