Ir para conteúdo
be-human.ai
← Voltar ao blog

Infraestrutura de IA personalizada

Líder de operações de IA: perguntas de entrevista que testam julgamento

Perguntas de entrevista para líder de operações de IA que testam julgamento sobre permissões, avaliações e aprovação humana, com sinais de boa resposta.

Capa tipográfica do Be Human com o título: Líder de operações de IA: perguntas de entrevista que testam julgamento
Ilustração conceitual criada com IA · Be Human

Um líder de operações de IA mantém os agentes da empresa úteis, dentro de limites claros e com responsabilidades definidas depois do lançamento. As melhores perguntas de entrevista pedem ao candidato que explique como decidiria o que um agente pode acessar, como mediria se ele funciona e quando uma pessoa precisa aprovar uma ação antes que ela aconteça. Peça raciocínio sobre compromissos reais, e não uma lista de ferramentas que o candidato já usou.

Principais pontos

  • Teste permissões perguntando o que o agente nunca pode fazer, e não apenas o que ele deve fazer.
  • Pergunte como o sucesso será medido antes de qualquer coisa ser construída, e quem aprova essa medida.
  • Procure uma etapa de aprovação nomeada para cada ação irreversível, com o motivo de estar ali.
  • Avalie as respostas pela especificidade, por uma cadência de revisão declarada e por um caminho claro para incidentes.

Comece pelo que o agente pode tocar

Um operador experiente trata o acesso de agentes como um gerente cuidadoso trata chaves: cada função recebe o que o trabalho exige, nada além disso, e o acesso é revisto quando o trabalho muda. Perguntas sobre acesso revelam isso rapidamente.

  • Imagine um papel: um agente de atendimento que redige respostas a partir do histórico de pedidos. Quais sistemas ele deve ler, em quais pode escrever e quais nunca deve alcançar? Uma boa resposta separa leitura de escrita, nomeia cada ferramenta e justifica cada permissão.
  • Como você daria a um agente acesso a uma pasta compartilhada sem entregar o drive inteiro? Procure escopo por pasta, contas de serviço com escopo restrito e credenciais de curta duração.
  • Explique como você retiraria o acesso de um agente a um sistema que ele não usa mais. Candidatos que só descrevem a concessão de acesso normalmente não operaram um agente em produção.

A orientação de autorização da OWASP é um bom ponto de referência para essas respostas. Ela trata o acesso como uma verificação feita a cada requisição, e não como uma suposição feita uma única vez na configuração. Um candidato forte distingue um agente que possui uma credencial de um agente autorizado a usar essa credencial para uma ação específica.

Teste como ele mediria se o agente funciona

Projetos com agentes raramente falham de forma barulhenta. Eles derivam: as respostas pioram aos poucos, os casos extremos se acumulam e ninguém percebe até que um cliente perceba. Peça ao candidato que defina a medida antes de a construção começar.

  • O que você mediria no primeiro mês e qual resultado o levaria a pausar o agente? Respostas fortes citam um conjunto pequeno de verificações por tarefa, ligadas a um resultado de negócio, mais uma condição de parada explícita.
  • Como você montaria o conjunto de testes? Procure casos reais de trabalho anterior, incluindo casos difíceis e casos em que o comportamento correto é escalar.
  • Quando um caso falha, quem decide se a causa está no modelo, nos dados ou na política? Isso mostra se o candidato entende que muitas falhas começam antes do modelo.

A orientação da Anthropic sobre avaliação de agentes descreve como verificações baseadas em tarefas, resultados avaliados e reexecuções periódicas detectam regressões que uma demonstração pontual nunca mostra. Desconfie de candidatos que tratam avaliação como uma única métrica de acurácia. Um número só esconde quais tarefas falham e por quê, e isso dificulta decidir o que corrigir.

Teste a fronteira de aprovação humana

O desenho das aprovações é onde o julgamento aparece com mais clareza. A pergunta não é se uma pessoa deve participar. É quais ações precisam de uma pessoa antes de acontecer, quais podem ser revisadas depois e quais podem rodar sem supervisão.

  • Liste cinco ações que este agente poderia tomar no nosso processo comercial e classifique cada uma em: executar livremente, executar e registrar para revisão, ou exigir aprovação antes. Procure motivos baseados no custo de um erro e na possibilidade de desfazer a ação.
  • Um agente quer emitir um crédito acima de um valor definido. O que a solicitação de aprovação contém e o que acontece se ninguém responder? Bons candidatos pensam no que o aprovador enxerga e em como a solicitação expira, e não apenas na existência de um aprovador.
  • Quando você reduziria uma exigência de aprovação? Respostas fortes vinculam qualquer afrouxamento a evidências de avaliação e a uma data de revisão marcada, e não ao cansaço com atrasos.

Para um tratamento mais aprofundado de limites, veja Limites de aprovação humana para agentes de IA mais fortes: guia prático.

Verifique memória, dados e resposta a incidentes

Um agente acumula memória, e memória acumula risco. O candidato deve conseguir dizer o que o agente lembra, onde essa memória fica guardada, quem pode lê-la e como uma memória errada é corrigida.

  • O que o agente pode lembrar sobre um cliente e o que deve esquecer depois de um período definido?
  • Se um agente lê um documento que contém uma instrução escondida, como você impediria que ele agisse com base nessa instrução? Candidatos devem reconhecer a injeção de prompt como uma classe conhecida de risco e descrever defesas em camadas: tratamento cuidadoso das entradas, ferramentas restritas e aprovação para ações sensíveis. O OWASP Top 10 para aplicações com LLM é uma boa fonte de contexto para essa discussão.
  • Descreva a primeira hora depois de descobrir que um agente enviou uma mensagem errada a um cliente. Procure contenção (pausar o canal), registro das evidências, aviso ao responsável, correção e revisão da permissão que deixou a mensagem sair.

Pergunte também sobre controle de mudanças. Um candidato que altera prompts, ferramentas ou permissões ao vivo, sem pedido e sem etapa de teste, vai provocar os mesmos incidentes outra vez. Um fluxo viável envolve pedido, teste e aprovação antes de publicar a mudança.

Avalie as respostas com um cenário compartilhado

Use o mesmo cenário com todos os candidatos para que as respostas possam ser comparadas. O caso a seguir é ilustrativo, não foi tirado de nenhuma empresa real: um gerente financeiro quer um agente que prepare um resumo semanal de pagamentos a fornecedores. O agente pode ler a pasta de notas fiscais, redigir o resumo e propor um lote de pagamento, mas não pode liberar dinheiro.

Uma sequência prática de entrevista fica assim:

  • Descreva o papel e seus limites em duas ou três frases antes de a entrevista começar.
  • Peça ao candidato que liste o acesso de leitura, de escrita e o proibido para esse cenário.
  • Peça três medidas e uma condição de parada.
  • Pergunte quais ações exigem aprovação e exatamente o que o aprovador vê.
  • Apresente um caso de falha, como um resumo que deixa de fora uma nota recebida tarde, e peça os três primeiros passos.
  • Dê a cada resposta uma nota de 1 a 3 em especificidade, percepção de reversibilidade e clareza da escalação.

Preste atenção em como o candidato lida com a incerteza. Um bom líder de operações diz o que verificaria primeiro e a quem perguntaria. Um candidato fraco promete que o agente será seguro.

Como uma abordagem gerenciada lida com isso e por onde começar

A abordagem gerenciada da Be Human começa definindo um papel, a memória e as ferramentas de que ele precisa, suas fronteiras de aprovação e um critério de sucesso observável. Depois, o agente é operado com monitoramento, avaliações recorrentes, revisões de permissão e resposta a incidentes. O trabalho de um líder de operações nesse modelo é o mesmo descrito acima, feito contra uma fronteira escrita e não de memória. As revisões de permissão seguem uma rotina repetível, como mostra Revisão trimestral de permissões de agentes de IA: checklist prático. Para uma empresa que contrata internamente, essa rotina é o padrão a testar em cada candidato. Se ainda não está claro qual tarefa deve ser o primeiro agente, o diagnóstico gratuito de IA da Be Human pode ajudar a encontrá-la.

Perguntas frequentes

Um líder de operações de IA precisa ser engenheiro de software? Não necessariamente, mas o papel exige conforto com sistemas, fluxos de dados e modelos de acesso. Um candidato forte consegue ler uma lista de permissões, questionar um resultado de teste e explicar um incidente para um dono não técnico. A profundidade de engenharia ajuda mais quando o agente se conecta a vários sistemas internos.

Como o gestor de contratação deve conduzir a entrevista? Use um cenário compartilhado, peça a cada candidato sistemas, medidas e etapas de aprovação específicas, e avalie as respostas pelos mesmos critérios. Inclua pelo menos um caso de falha, porque a resposta a uma falha revela mais sobre julgamento operacional do que a descrição de um sucesso.

Um gerente de operações que já existe na empresa pode assumir esse papel? Muitas vezes sim, principalmente se ele já cuida de aprovações, acesso de fornecedores ou exceções de processo. A lacuna costuma estar na leitura de avaliações e na disciplina para incidentes, o que pode ser treinado com uma rotina de revisão definida e um conjunto claro de permissões. Faça par com quem é responsável pelas integrações técnicas.

Qual é a diferença entre líder de operações de IA e consultor de implementação de IA? Um consultor de implementação normalmente projeta e constrói a primeira versão do agente e da estrutura ao redor dele. O líder de operações assume depois e cuida do monitoramento, das avaliações, das revisões de permissão, das mudanças e dos incidentes. Muitas empresas precisam dos dois papéis, mas em etapas diferentes do trabalho.

Seu próximo passo

Descubra primeiro onde um agente de IA cabe na sua empresa.

Faça o diagnóstico gratuito de IA da Be Human. Algumas perguntas sobre o seu trabalho mostram qual tarefa entregar primeiro a um agente, o que ele precisa saber e onde uma pessoa aprova.

Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.

Menos tarefas. Mais espaço para você.

Traga o trabalho para o qual falta tempo.

Agende uma conversa e teste 7 dias grátis um agente de IA personalizado ↗Ou faça o diagnóstico gratuito de IA →