Ir para conteúdo
be-human.ai
← Voltar ao blog

Infraestrutura de IA personalizada

Primeiro agente superinteligente para uma empresa: um papel, uma métrica

Teste de decisão para escolher seu primeiro agente superinteligente: um papel, a memória que ele precisa e uma métrica observável que você confere todo mês.

Capa tipográfica do Be Human com o título: Primeiro agente superinteligente para uma empresa: um papel, uma métrica
Ilustração conceitual criada com IA · Be Human

O primeiro agente superinteligente para uma empresa deve cumprir um papel que uma pessoa identificada consegue descrever em uma frase, usar uma memória que a empresa já controla e reportar uma métrica de sucesso que alguém consegue conferir sem depender do fornecedor. Se uma proposta falha em qualquer um desses três testes, ela é uma demonstração, não um primeiro agente. O teste abaixo cabe em uma reunião de planejamento e gera uma decisão que você consegue defender.

Principais pontos

  • Escolha um papel com um dono de negócio nomeado, uma entrada clara e uma saída clara.
  • Dê ao agente apenas a memória que esse papel precisa, e registre de onde cada parte vem e quem pode alterá-la.
  • Escolha uma métrica observável, medida a partir de registros que você já mantém, com uma linha de base feita antes do agente entrar em operação.
  • Defina os limites de aprovação antes da primeira execução, para que as pessoas decidam antecipadamente o que o agente pode enviar, alterar ou gastar.
  • Trate o primeiro agente como um teste da sua camada operacional, e mantenha o escopo pequeno o bastante para que uma pessoa revise cada mudança.

Por que um papel é a unidade certa de decisão

Muitos primeiros projetos de IA travam no mesmo ponto: o mandato é amplo. Uma descrição como "assistente de operações" soa útil, mas ninguém consegue dizer o que ele lê, o que pode escrever, quem confere o trabalho ou se ele está melhorando. Um papel é mais estreito. Ele tem um nome de função em linguagem simples, uma lista de entradas, uma lista de saídas e uma pessoa que aceita ou rejeita o resultado.

Um papel também limita o custo de um erro. Se um agente cuida das confirmações de agendamento de uma equipe, uma resposta errada fica visível, pode ser desfeita e é fácil de rastrear. Se o mesmo agente cuida ao mesmo tempo de preços, contratos e reclamações, o mesmo erro pode se espalhar por vários compromissos antes que alguém perceba. O primeiro agente deve ser a menor unidade útil, não a maior imaginável.

A ambição mais ampla continua importante, mas pertence ao roteiro e não ao primeiro escopo. Os mitos que atrapalham os planos de IA da empresa muitas vezes começam com um primeiro projeto que tenta fazer tudo de uma vez.

O teste dos cinco pontos para o papel

Passe cada papel candidato pelas mesmas perguntas. Um papel que falhe em duas ou mais deve esperar uma etapa posterior.

  • Uma pessoa já faz esse trabalho e aceitaria o resultado do agente como rascunho que ela revisa?
  • O trabalho se repete com frequência suficiente para que uma métrica mostre movimento dentro de um ciclo operacional normal?
  • As entradas estão em sistemas que a empresa já possui e consegue exportar, como uma caixa de entrada compartilhada, uma agenda de reservas ou uma pasta de documentos?
  • Uma saída errada pode ser pega antes de chegar a um cliente, a um pagamento, a um documento assinado ou a um registro regulado?
  • Se o papel render abaixo do esperado de forma contida, a empresa aprenderia algo específico sobre o próprio processo?

Papéis que normalmente reprovam neste teste incluem estratégia da empresa como um todo, decisões de preço e qualquer tarefa em que um erro se torne irreversível antes de uma pessoa revisar. Esses podem ser usos reais no futuro. São escolhas ruins para começar porque a falha é cara e o critério de sucesso é vago. Um papel de triagem interna, preparação de documentos ou agendamento costuma passar, porque a saída é fácil de inspecionar e o processo já tem um dono.

Defina a memória que o papel precisa, e nada além

Memória é a parte do agente que torna suas respostas específicas para a sua empresa: políticas, decisões anteriores, histórico de clientes e status atual. Também é a parte com mais chance de ser superdimensionada. Dê ao primeiro papel uma lista curta de fontes de memória e, para cada uma, escreva onde ela fica, quem é o dono e se o agente pode apenas lê-la ou também escrever nela.

A recuperação de informação costuma ser o ponto de partida. O agente consulta os documentos atuais quando precisa, então a empresa pode atualizar ou remover um documento sem treinar nada de novo. O material da AWS que compara recuperação e ajuste fino explica bem a troca envolvida, e vale a leitura antes de alguém propor alterar os pesos de um modelo para um primeiro papel.

Seja realista também no lado da segurança. Qualquer texto que o agente leia de fora, como um e-mail de cliente ou um anexo de fornecedor, pode conter instruções escritas para direcioná-lo. As orientações da OWASP sobre prevenção de injeção de prompt descrevem por que essas entradas precisam ser tratadas como dados, e não como comandos. Para um primeiro papel, a regra prática é simples: o agente nunca ganha uma nova permissão porque um documento mandou.

Um registro de memória para o primeiro papel pode ser uma única tabela mantida pelo dono do negócio, com estes campos:

  • Nome e localização da fonte, como uma pasta de políticas ou uma exportação noturna do sistema de reservas
  • Dono, ou seja, a pessoa que responde quando o conteúdo está errado
  • Regra de revisão, ou seja, com que frequência o conteúdo é checado e por quem
  • Nível de acesso, somente leitura ou leitura e escrita
  • Exclusões, ou seja, as categorias que o agente não deve usar, como dados pessoais que o papel não precisa

Se uma fonte de memória não consegue receber um dono, ela não está pronta para o agente, e o projeto deve resolver isso primeiro.

A memória de um agente é um conjunto de decisões sobre o que ele pode saber, e cada uma deve ter um responsável identificado.

Escolha uma métrica que você consiga observar

Uma métrica é observável quando alguém de fora do projeto consegue lê-la em um registro que a empresa já mantém, sem pedir ao agente ou ao fornecedor que resuma. "Os clientes estão mais satisfeitos" não é observável. "A parcela de respostas de agendamento enviadas sem edição da equipe", lida na pasta de enviados, é observável. A diferença é o objetivo central do teste.

Use esta sequência para definir a métrica antes da primeira execução:

  • Escreva o resultado em uma frase que um membro da equipe reconheça como meta sua.
  • Nomeie o registro onde esse resultado aparece e a pessoa que pode acessá-lo.
  • Meça o processo atual por um período curto e fixo antes de o agente entrar, para ter uma linha de base de comparação.
  • Defina o que conta como acerto e o que conta como falha, incluindo os casos de borda que a equipe já discute.
  • Acompanhe a atividade do próprio agente, como o número de rascunhos produzidos, separadamente, e não a conte como sucesso.

A última etapa é a mais importante. Medidas de atividade mostram que algo aconteceu. Medidas de resultado mostram se isso ajudou. A prática de avaliação de agentes, descrita nos guias de avaliação de sistemas de IA de grandes fornecedores, depende de um conjunto fixo de casos de teste pontuados repetidamente, e não de impressões de uma demonstração. Uma empresa pequena pode aplicar a mesma disciplina guardando casos reais passados do processo e reexecutando-os após cada mudança no prompt, na memória ou nas ferramentas.

Defina o limite de aprovação antes da primeira execução

Os limites de aprovação descrevem o que o agente pode fazer sozinho, o que exige aprovação de uma pessoa e o que ele nunca deve fazer. Escreva-os antes da primeira execução. Depois de uma boa demonstração, a tendência é afrouxá-los rapidamente, e é justamente aí que eles mais tendem a se desviar. Amplie-os devagar, quando a métrica mostrar que o papel se comporta de forma previsível. O guia sobre limites de aprovação humana para agentes mais fortes explica como alterá-los com evidência, e não com entusiasmo.

Cenário ilustrativo, não é caso de cliente: uma empresa de serviços quer que um agente redija respostas a pedidos de agendamento que chegam em uma caixa de entrada compartilhada. O agente pode ler a agenda de reservas e a pasta de políticas, e pode criar rascunhos. Ele só pode enviar uma resposta quando o pedido corresponde a um tipo de atendimento padrão e não contém perguntas sobre preço, condições de cancelamento ou reclamação. Qualquer outro caso vai para o coordenador com um resumo curto. A métrica de sucesso é o número de rascunhos que um coordenador precisa reescrever antes de enviar, revisado toda semana em comparação com a linha de base feita antes do piloto.

Nesse cenário, o limite é fácil de verificar porque está escrito. Um roteiro de operação de uma página, com regras de parada, ajuda um revisor a ver em um só lugar o que o papel pode fazer, o que deve ser encaminhado e quando o agente deve ser pausado. O material sobre operar um agente de IA no dia a dia mostra como montar esse roteiro.

Como a Be Human conduz o primeiro papel

A abordagem gerenciada da Be Human começa com a mesma decisão. Um primeiro projeto define um papel útil, a memória e as ferramentas de que ele precisa, os limites de aprovação e um critério de sucesso observável. A operação gerenciada pode então incluir monitoramento, avaliações recorrentes, manutenção das integrações, revisão de permissões, resposta a incidentes e melhorias controladas, para que a métrica continue sendo verificada depois do lançamento, e não apenas na demonstração. O atendimento é remoto e disponível em inglês e português.

Para descobrir a primeira tarefa que vale entregar a um agente na sua empresa, faça o diagnóstico gratuito de IA da Be Human.

Perguntas frequentes

O primeiro agente deve falar diretamente com clientes? Normalmente não no primeiro papel, porque erros voltados ao cliente aparecem de imediato e dificultam manter o limite de aprovação estreito. Comece com rascunhos ou triagem internos, em que uma pessoa revisa a saída antes de qualquer coisa sair da empresa. Só avance para contato direto depois que a métrica estiver estável e o limite tiver sido revisado.

Quantas métricas devemos acompanhar no primeiro agente? Acompanhe uma métrica principal, que decide se o papel continua, mais algumas verificações de proteção que identifiquem danos, como erros chegando a clientes ou acesso a fontes fora da lista acordada. As verificações de proteção são o que dispara uma pausa, enquanto a métrica principal é o que justifica manter o papel. Acrescentar muitas outras medidas costuma transformar a revisão em um debate sobre qual gráfico importa.

Precisamos de um projeto de dados antes de escolher um papel? Você precisa de registros razoavelmente atuais em quantidade suficiente para medir a linha de base e confirmar cada fonte de memória, mas não precisa de um programa de dados para a empresa inteira antes. Escolha um processo cujos registros já existem e cujo dono consegue explicá-los. Se os registros forem desorganizados, o primeiro projeto pode incluir uma pequena limpeza apenas desse processo.

E se a métrica melhorar, mas a equipe não confiar no agente? Trate isso como um achado, e não como falha da métrica. Pergunte o que as pessoas estão verificando que a métrica não captura, e inclua essa checagem na revisão. A adoção depende muito de como o trabalho é apresentado, tema tratado no guia sobre como engajar a equipe no uso de agentes de IA, e o limite de aprovação deve permanecer como está até que a lacuna de confiança seja entendida.

Seu próximo passo

Descubra primeiro onde um agente de IA cabe na sua empresa.

Faça o diagnóstico gratuito de IA da Be Human. Algumas perguntas sobre o seu trabalho mostram qual tarefa entregar primeiro a um agente, o que ele precisa saber e onde uma pessoa aprova.

Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.

Menos tarefas. Mais espaço para você.

Traga o trabalho para o qual falta tempo.

Agende uma conversa e teste 7 dias grátis um agente de IA personalizado ↗Ou faça o diagnóstico gratuito de IA →