Como escolher usuários para o piloto de IA: guia prático

Escolha os usuários do piloto pelo trabalho que fazem, não pelo entusiasmo com IA. Um bom grupo inicial cobre a mistura real de tarefas, inclui pelo menos um cético, tem gestores que protegem o tempo dessas pessoas e entrega feedback específico, por escrito, em ritmo regular. Os entusiastas são úteis, mas devem ser minoria no grupo.

Principais pontos

• Selecione usuários do fluxo de trabalho que o agente vai assumir, para que o feedback descreva trabalho real e não experimentos.
• Misture entusiastas, pragmáticos e céticos. Um piloto que só agrada aos voluntários prova muito pouco.
• Verifique três coisas em cada candidato: tarefas representativas, tempo disponível e disposição para registrar o que deu errado.
• Combine com antecedência o que os usuários vão fazer, a que o agente poderá ter acesso e como o feedback será registrado.
• Trate o grupo como um instrumento de medição. A função dele é produzir evidências para uma decisão, não gerar aplausos.

Por que só entusiastas levam a um piloto enganoso?

Quem se voluntaria primeiro para um piloto de IA costuma ser quem já usa ferramentas de IA, gosta de experimentar e perdoa falhas. Essas pessoas são valiosas, e você deve incluir algumas. Mas elas se comportam de forma diferente do colega que atende a mesma fila todos os dias, sob pressão de prazo, e não tem vontade nenhuma de aprender uma ferramenta nova.

Os entusiastas tendem a formular bem os pedidos, e por isso o agente parece melhor do que parecerá para os demais. Eles também contornam problemas em silêncio em vez de relatá-los, e raramente testam os casos repetitivos e sem graça que compõem a maior parte da carga real. O resultado é um piloto que parece bem-sucedido e trava quando um grupo maior chega, com hábitos e paciência comuns.

O erro oposto também acontece. O gestor escolhe as pessoas com menos serviço, porque elas têm tempo. Esses usuários muitas vezes não lidam com os casos difíceis, as exceções ou as aprovações, e o agente nunca é testado onde importa.

O objetivo é um grupo cujo trabalho combinado se pareça com a função que você quer testar. Se ainda não escreveu essa função, comece pelos exemplos de funções para agentes de IA em empresas, porque não dá para escolher usuários representativos para uma função ainda vaga.

O que faz de alguém um bom usuário de piloto?

Avalie cada candidato com uma lista curta de critérios. Você não precisa de uma matriz formal, mas deve conseguir explicar por que cada pessoa está no grupo.

• Faz trabalho real no fluxo-alvo: executa as tarefas que o agente vai tocar, várias vezes por semana.
• Enfrenta os casos bagunçados: lida com exceções, informações incompletas e clientes ou colegas difíceis, não só com o caminho limpo.
• Tem tempo protegido pelo gestor: o piloto acrescenta um pouco de trabalho, como revisar resultados e escrever observações, e alguém concordou com isso.
• Escreve feedback específico: sabe dizer o que o agente fez, o que esperava e quanto custou corrigir.
• Aceita dizer não: fica à vontade para afirmar que o agente não serve para uma tarefa, sem receio de parecer negativo.
• Tem credibilidade: quando relata um problema ou um acerto, os colegas levam a sério.
• Está dentro do limite de permissões: o acesso e as responsabilidades dela correspondem ao que o agente poderá fazer em seu nome, de modo que você não teste com alguém que tem direitos fora do comum.

Vale dizer com clareza dois motivos de desqualificação. Não escolha quem foi mandado participar e não teve voz, porque o ressentimento vira feedback superficial. E não escolha alguém cujo gestor não aprovou o tempo, porque o piloto será a primeira coisa abandonada quando a semana apertar.

Quantas pessoas e quais funções o grupo deve incluir?

Mantenha o grupo pequeno o bastante para você acompanhá-lo de perto e grande o bastante para que as manias de uma pessoa não dominem o resultado. Para uma única função de agente, de um punhado de pessoas até cerca de dez é uma faixa viável para a maioria das equipes de médio porte. Empresas menores podem fazer um piloto significativo com três ou quatro, desde que cubram partes diferentes do trabalho.

Use este guia de decisão para equilibrar o grupo:

• Se a maioria dos candidatos já é usuária intensa de IA, acrescente pelo menos uma pessoa que raramente usa essas ferramentas.
• Se ninguém no grupo lida com exceções ou escalonamentos, inclua a pessoa a quem a equipe recorre quando acontece algo fora do comum.
• Se todos os candidatos estão em uma equipe, mas o fluxo passa por duas, inclua um usuário da equipe seguinte, que recebe o resultado do agente.
• Se nenhum candidato é cético, convide um de propósito e diga que a missão dele é encontrar pontos fracos.
• Se o grupo é todo sênior, acrescente alguém mais novo, que segue o processo escrito de forma mais literal e percebe onde falta documentação.
• Se um candidato tem alçada de aprovação, decida se ele atua como usuário, revisor ou ambos, e mantenha esses papéis separados.

Esse equilíbrio importa mais que o número de pessoas. Seis pessoas bem escolhidas ensinam mais do que quinze voluntários que trabalham todos do mesmo jeito.

Passo a passo para selecionar o grupo

A seleção pode ser feita em poucos dias úteis. Siga os passos nesta ordem.

• Passo 1: Escreva a função do agente em um parágrafo, incluindo as tarefas que ele vai executar, os sistemas que vai tocar e o que ele nunca deve fazer sozinho.
• Passo 2: Liste as tarefas reais desse fluxo, com uma noção aproximada de quais são frequentes, quais são raras e quais são arriscadas.
• Passo 3: Identifique quem executa essas tarefas hoje, por tarefa e não por cargo. Cargos escondem quem realmente faz o trabalho.
• Passo 4: Pergunte ao gestor de cada candidato se há tempo disponível e o que teria de ceder. Registre a resposta.
• Passo 5: Converse brevemente com cada candidato. Explique o que o piloto envolve, o que você vai pedir e que críticas são bem-vindas. Deixe que a pessoa recuse.
• Passo 6: Confira a mistura com o guia de decisão acima e ajuste. Troque ou acrescente pessoas até que cada tipo importante de tarefa tenha pelo menos um usuário que a execute regularmente.
• Passo 7: Defina quem será o responsável pelo grupo no dia a dia: alguém que responde dúvidas, reúne as observações e escala os problemas.
• Passo 8: Registre por escrito a justificativa da seleção e os critérios de sucesso que o grupo vai ajudar a testar, para que a escolha possa ser revisada depois.

O passo 8 se liga à evidência de que você vai precisar no fim. Se o piloto for julgado por metas combinadas depois do fato, ninguém confiará no resultado. O guia sobre critérios de sucesso para piloto de agente de IA mostra como definir essas metas antes de os usuários começarem.

Cenário ilustrativo: escolhendo usuários para um agente de operações

Este é um cenário ilustrativo, não a descrição de um projeto real. Uma distribuidora quer um agente que redija respostas a perguntas sobre status de pedidos e prepare um resumo diário de entregas atrasadas para a equipe de operações. Quatro candidatos se apresentam ou são indicados.

• Uma analista que adora ferramentas novas e já testou vários assistentes de IA por conta própria.
• Uma coordenadora sênior que cuida da maior parte dos escalonamentos difíceis de clientes e tem pouca paciência com ferramentas que acrescentam etapas.
• Um coordenador júnior que segue de perto o processo escrito e costuma perguntar sobre regras pouco claras.
• Um responsável de ligação com o armazém, que recebe o resumo de entregas atrasadas e age a partir dele, mas não escreve respostas a clientes.

O gestor pode se sentir tentado a escolher a analista e o coordenador júnior, por serem os mais dispostos. O melhor grupo inclui os quatro. A analista traz pedidos rápidos e detalhados e encontra casos de borda. A coordenadora sênior testa se os rascunhos são realmente utilizáveis nos casos difíceis e se revisar leva menos tempo do que escrever do zero. O coordenador júnior expõe lacunas na documentação em que o agente se apoia. O responsável de ligação com o armazém avalia a parte do resultado que sai da equipe, a qual os outros três nunca veem.

A coordenadora sênior pode ser a menos entusiasmada, e esse é um motivo para incluí-la. Se ela achar o agente útil para o tipo de trabalho dela, o resultado terá peso para o restante da equipe. Se não achar, você descobre o porquê antes de ampliar a implantação.

Como manter o feedback útil depois que o piloto começa?

Uma boa seleção pode ser desperdiçada se o feedback for informal. Monte uma rotina simples já no primeiro dia.

Peça aos usuários que registrem poucos fatos sobre cada caso relevante: a tarefa, o que o agente produziu, se o resultado foi usado como veio, editado ou descartado, e mais ou menos quanto tempo a correção levou. Um formulário compartilhado ou um documento simples bastam. O ponto é que as observações sejam comparáveis entre os usuários, para que você enxergue padrões em vez de relatos isolados.

Faça uma reunião curta e regular com todo o grupo e converse individualmente com quem ficar em silêncio. Silêncio raramente é bom sinal. Em geral significa que a pessoa parou de usar o agente ou parou de acreditar que o feedback levaria a algo. Feche o ciclo de forma visível: quando um problema relatado for resolvido, avise quem o relatou. O guia sobre como coletar feedback dos funcionários sobre o agente de IA e agir aprofunda as rotinas que mantêm as pessoas engajadas.

Prepare também os usuários antes de o agente começar. Eles devem saber o que ele pode e não pode fazer, quais dados ele enxerga e o que fazer quando a resposta parecer errada. O texto sobre treinamento de funcionários para trabalhar com agentes de IA descreve essa base. As questões de adoção mais ampla ficam para uma etapa posterior, e o guia como engajar a equipe no uso de agentes de IA continua a partir daí.

Por fim, mantenha as permissões deliberadas. O agente deve agir dentro de um limite definido, e os direitos de cada usuário do piloto devem ser conferidos contra esse limite. Princípios como o privilégio mínimo (least privilege), descrito nas orientações de autorização da OWASP, valem para o acesso do agente tanto quanto para contas de pessoas.

Como a Be Human conduz a escolha dos usuários do piloto

A Be Human trata a escolha dos usuários do piloto como parte da definição da primeira função, não como um detalhe posterior. Em um primeiro projeto, trabalhamos com a empresa para identificar o fluxo, associar as tarefas às pessoas que as executam, combinar os limites de aprovação e definir um critério de sucesso observável. Depois ajudamos a montar o grupo de usuários, configuramos a rotina de feedback e revisamos as observações com o dono da empresa. Na operação gerenciada, esse feedback alimenta avaliações recorrentes e melhorias controladas, e as permissões do grupo do piloto são revisadas como parte da rotina. A empresa continua decidindo quem participa e o que o agente pode fazer.

O que decidir antes de o piloto avançar?

Perto do fim do piloto, use a evidência do grupo para responder a três perguntas: o agente ajudou na mistura real de tarefas, onde ele falhou e o que precisaria mudar antes de mais pessoas o usarem. Compare o que os entusiastas relataram com o que os céticos relataram. Onde concordam, você tem um sinal forte. Onde divergem, descubra se a diferença vem de habilidade, de função ou de uma fraqueza real do agente.

Depois decida se vai ampliar, ajustar ou encerrar. O artigo sobre prova de conceito, piloto e produção em IA ajuda a enquadrar o que esta etapa deveria ter mostrado antes de você se comprometer mais. Um piloto que termina com um não claro e um motivo claro continua sendo um resultado útil, porque foi conduzido por pessoas que fazem o trabalho.

Perguntas frequentes

Os usuários do piloto devem ser voluntários ou designados? Use uma mistura, mas faça da participação uma escolha real. Peça aos gestores que indiquem pessoas com base no trabalho que fazem, converse com cada indicado e permita que ele recuse. Só voluntários tendem a trazer entusiastas, enquanto a designação pura costuma gerar feedback ressentido e superficial.

Por quanto tempo os usuários devem ficar no grupo do piloto? Mantenha as mesmas pessoas durante todo o piloto, para que o feedback seja comparável ao longo do tempo. Trocar o grupo no meio dificulta saber se o agente melhorou ou se os usuários simplesmente eram diferentes. Se alguém precisar sair, substitua por uma pessoa que faça trabalho parecido e registre a mudança.

E se os melhores candidatos não tiverem tempo? Reduza o pedido antes de baixar o padrão. Um usuário de piloto pode precisar apenas revisar resultados e escrever notas curtas, e o gestor muitas vezes consegue remanejar um pouco de outro trabalho. Se um tipo de tarefa importante não tem ninguém disponível, é melhor restringir o escopo do piloto do que testar essa tarefa com usuários que não a executam.

Executivos devem ser usuários do piloto? Inclua-os somente se executarem o trabalho que o agente vai assumir. Líderes que não tocam no fluxo podem acompanhar os resultados como patrocinadores e revisores, mas o feedback deles sobre as tarefas diárias será de segunda mão. O papel deles é remover obstáculos e tomar a decisão final com base nas evidências.

Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.