Como medir a linha de base antes do piloto de IA e provar valor

Para medir a linha de base antes do piloto de IA, escolha o único fluxo de trabalho que o agente vai tocar e registre como ele funciona hoje: quanto tempo cada item leva, quantos chegam, com que frequência o trabalho é refeito e o que dizem as pessoas que o executam. Use amostras de trabalho real, colhidas em um período normal, anote como cada medida foi feita e guarde o registro em um lugar onde ele não possa ser alterado sem aviso. Sem esse registro, qualquer melhoria que você relatar depois será opinião, não evidência.

Principais pontos

• Registre a linha de base antes de o agente tocar o fluxo, porque o jeito antigo de trabalhar é difícil de reconstruir depois que muda.
• Meça um conjunto pequeno: tempo, volume, retrabalho, espera e opinião das pessoas. Poucas medidas honestas valem mais que um painel em que ninguém confia.
• Escreva como cada medida foi tomada, por quem e a partir de qual amostra, para que a comparação posterior use o mesmo método.
• Se os dados não existem, faça uma amostragem manual em um período curto e normal de trabalho, em vez de estimar de memória.
• Uma linha de base pode ser uma faixa ou uma descrição simples. Ela não precisa de falsa precisão para ser útil.

Por que o piloto precisa de uma linha de base antes de começar?

A maioria dos pilotos termina com uma conversa que segue sempre o mesmo roteiro. Alguém diz que o agente está ajudando. Outra pessoa pergunta: comparado com o quê? Se ninguém registrou como o trabalho era antes, a resposta vem da memória, e a memória favorece a história que cada um prefere. Quem é entusiasta lembra do processo antigo como mais lento do que era. Quem é cético lembra dele como mais fluido do que era.

A linha de base encerra essa discussão. Ela é uma descrição datada e sem graça do estado atual, feita antes de qualquer pessoa ter interesse no resultado. Ela também protege o projeto no sentido contrário: se o piloto não ajudar, a linha de base mostra isso com clareza e cedo, o que torna mais barato ajustar ou parar.

Há ainda uma razão prática. Depois que um agente entra em operação, o fluxo muda ao redor dele. As pessoas pulam etapas, renomeiam categorias, redirecionam exceções. O processo original logo se torna impossível de observar. Você tem uma única chance de medir o antes, e ela se fecha no dia em que o piloto começa.

A linha de base também é a companheira natural dos seus critérios de sucesso. Nosso guia sobre avaliação de desempenho de agente de IA explica como definir metas e reunir evidências. A linha de base é o que torna esses critérios verificáveis, porque uma meta como mais rápido ou mais consistente só significa algo em relação a um ponto de partida.

Quais medidas do antes vale a pena registrar?

Você não precisa de um programa de medição. Precisa de um punhado de medidas que combinem com o papel que o agente vai exercer. Na maioria dos fluxos de negócio, estas seis cobrem o essencial:

• Tempo por item: quanto tempo uma unidade de trabalho leva do início ao fim quando alguém está trabalhando nela. Registre separadamente um caso típico e um caso difícil.
• Tempo de espera: quanto tempo um item fica parado entre etapas, como esperando uma aprovação, um documento que falta ou alguém voltar de férias. Muitas vezes é maior que o tempo de trabalho e é onde o agente mais ajuda.
• Volume e formato: quantos itens chegam e se chegam de forma constante ou em picos. Um agente que dá conta de uma semana média ainda pode sofrer numa segunda-feira de manhã.
• Retrabalho: com que frequência o trabalho entregue volta para correção e sobre o que são as correções. Isso se torna sua linha de base de qualidade.
• Passagens e exceções: quantas pessoas tocam em um item e que tipos de item exigem decisão de alguém mais sênior.
• Visão das pessoas: uma nota escrita, curta, de quem faz o trabalho, sobre o que é cansativo, o que é arriscado e o que elas deixariam de fazer primeiro.

Uma medida a mais vale a pena se o financeiro for perguntar: o tempo de pessoas gasto por unidade de trabalho. A FinOps Foundation descreve a economia unitária como a relação entre custo e uma unidade de produção do negócio, e o mesmo raciocínio vale aqui. Você não está calculando um preço. Está anotando quanto esforço um item concluído exige hoje, para que a comparação futura tenha onde se apoiar.

Repare no que falta nessa lista: qualquer coisa sobre a IA em si. A linha de base descreve o trabalho, não a ferramenta. É isso que a mantém justa.

Como capturar a linha de base, passo a passo?

O plano abaixo serve para um único fluxo e pode ser feito por quem é dono desse fluxo, com algumas horas de esforço distribuídas ao longo do período de amostragem.

• Nomeie o fluxo em uma frase, dizendo onde ele começa e onde termina. Se você não consegue traçar a fronteira, o piloto também não consegue ser delimitado.
• Escolha, na lista acima, as medidas que o agente poderia mudar de forma plausível. Três ou quatro bastam. Deixe de fora medidas sobre as quais ninguém agiria.
• Defina cada medida em palavras simples antes de coletar qualquer coisa. Por exemplo, primeira resposta significa a primeira mensagem que faz o pedido avançar, não uma confirmação automática de recebimento.
• Escolha uma janela de amostragem que inclua um período normal de trabalho, de preferência com um momento de movimento intenso e outro mais calmo. Evite feriados, lançamentos e semanas atípicas, a menos que sejam o objetivo do piloto.
• Use itens reais em vez de reconstruí-los. Recorra a registros de data e hora, históricos de chamados, conversas de caixas de entrada compartilhadas ou uma planilha simples de contagem mantida pela equipe por pouco tempo.
• Registre o método junto com o resultado: quem mediu, quais itens, como foram escolhidos e o que ficou de fora.
• Peça a quem faz o trabalho a visão por escrito e guarde as palavras delas, em vez de resumi-las.
• Guarde a linha de base como um documento datado, com o nome do responsável, e combine que ele não será editado depois do início do piloto. Correções entram como uma nova versão, com uma nota.
• Fixe um pequeno conjunto de itens de exemplo, uma amostra de pedidos representativos, para reutilizar depois. Guias de avaliação, como o guia de evals da OpenAI e os textos da Anthropic sobre avaliação de agentes, partem da mesma ideia: comparar o comportamento em um conjunto estável de exemplos, não no que quer que chegue no dia.

Leve a linha de base pronta para a reunião de abertura do piloto, para que todos na sala partam do mesmo retrato. Se o piloto empacar, nosso texto sobre por que pilotos de IA não saem do papel mostra por que combinar isso logo no início é muito mais fácil do que discutir depois que os resultados aparecem.

E se os dados ainda não existirem?

Essa é a situação mais comum, e não é um impedimento. Muitas equipes não têm registros de data e hora, nem categorias, nem qualquer acompanhamento além de uma caixa de entrada compartilhada. Há três caminhos honestos.

Primeiro, faça amostragem manual. Peça à equipe que anote alguns fatos sobre cada item durante um período curto e normal de trabalho: quando chegou, quando foi concluído, se foi corrigido. Uma planilha simples basta. Uma amostra modesta, colhida com cuidado, vale mais que uma estimativa grande tirada de memória.

Segundo, use faixas e descrições. Se um item leva de pouco tempo a quase um dia inteiro, dependendo do tipo, escreva exatamente isso. Uma faixa com método declarado é uma linha de base legítima. Um número único inventado não é.

Terceiro, registre o que você não consegue medir. Se o retrabalho não é acompanhado em lugar nenhum, diga isso e anote como vai começar a acompanhá-lo. Qualquer afirmação posterior sobre qualidade passa então a vir com um rótulo claro: medido apenas depois do início do piloto. Essa é uma evidência mais fraca, e dizer isso faz parte de ser confiável.

Se você já tem sistemas que registram eventos, os conceitos de observabilidade da introdução do OpenTelemetry são uma boa referência do que vale capturar: rastros do que aconteceu e de quando aconteceu. Você não precisa dessas ferramentas para começar, mas a mentalidade ajuda. Registre os eventos conforme ocorrem, em vez de reconstruí-los depois.

Como uma linha de base fica na prática? Um cenário ilustrativo

Este é um cenário ilustrativo, não um caso real.

Um pequeno escritório de serviços profissionais planeja pilotar um agente que redige as primeiras respostas aos pedidos de clientes. Antes do piloto, a responsável de operações separa uma amostra de pedidos recentes da caixa de entrada compartilhada, incluindo uma semana movimentada e uma tranquila. Para cada pedido, ela anota quando chegou, quando saiu a primeira resposta útil, se algum colega precisou corrigi-la e de que tipo era o pedido.

O documento de linha de base dela diz que as primeiras respostas costumam levar de algumas horas a quase um dia útil. Diz que as correções se concentram em pedidos que exigem consulta a contrato. Registra que duas pessoas sêniores tratam quase todas as exceções. E traz uma nota curta da equipe: a parte mais desgastante é procurar contexto em conversas antigas, não escrever a resposta.

Depois do piloto, ela repete o mesmo método em uma amostra comparável. O resultado tem nuances. As respostas a pedidos de rotina saem mais cedo, e a queixa sobre procurar contexto diminui. As correções em pedidos ligados a contratos continuam, mas agora acontecem em outra etapa. Como a linha de base registrou categorias e não apenas médias, o escritório consegue ver com precisão onde o agente ajudou, onde não ajudou e o que melhorar em seguida. Ninguém precisa inventar um número para dizer isso.

Como a Be Human trata a linha de base em operação gerenciada?

Em um primeiro projeto, a Be Human define um papel útil para o agente, a memória e as ferramentas de que ele precisa, os limites de aprovação e um critério de sucesso observável. A linha de base faz parte desse último item: antes de o agente entrar em operação, combinamos com a empresa quais medidas descrevem o fluxo atual, como serão tomadas e quem é dono do registro. Durante a operação gerenciada, avaliações recorrentes repetem o mesmo método sobre o mesmo conjunto de exemplos, de modo que as mudanças sejam comparadas em condições iguais. As alterações no agente ficam registradas, e assim uma mudança nos resultados pode ser ligada a uma alteração específica. Para entender o que o período inicial costuma envolver, veja como são os primeiros meses com um agente de IA gerenciado.

Quais erros tornam uma linha de base inútil?

A maioria das linhas de base que falham falha dos mesmos poucos jeitos. Confira seu plano com esta lista:

• Medir depois do lançamento. Quando as pessoas já se adaptaram ao agente, o antes não pode mais ser observado, só adivinhado.
• Mudar as definições no meio do caminho. Se primeira resposta significava uma coisa na linha de base e outra depois, a comparação é inválida mesmo que todos os números estejam corretos.
• Amostrar só semanas boas. Uma linha de base colhida num período calmo faz o piloto parecer pior do que é, e uma colhida numa crise o faz parecer melhor.
• Medir tudo. Uma lista longa de medidas produz uma lista longa de discordâncias. Fique no que o agente poderia mudar de forma plausível.
• Deixar só a equipe do piloto como dona da linha de base. Quem tem mais a ganhar com um bom resultado não deve ser a única pessoa a ter escrito o ponto de partida.
• Tratar a linha de base como prova. Ela é uma referência, não um veredito. Outras coisas mudam durante um piloto, como equipe, sazonalidade e perfil de clientes, e você deve anotá-las.

A mesma disciplina ajuda quando você lê as afirmações dos outros. Nosso texto sobre como avaliar estudos de caso de IA faz aos fornecedores as mesmas perguntas: qual era o ponto de partida, como foi medido e o que mais mudou. Se você faz essas perguntas aos outros, espere que também as façam a você.

Perguntas frequentes

Quanto tempo devo gastar para capturar uma linha de base? O suficiente para cobrir um período normal de trabalho, incluindo pelo menos um momento mais movimentado e outro mais calmo, e nada além disso. Para um único fluxo, costuma ser um esforço modesto de uma pessoa responsável, não um projeto. Se começar a parecer grande, você provavelmente escolheu medidas demais.

E se minha equipe já usa uma ferramenta de IA de maneira informal? Então registre a linha de base como ela é e descreva o uso informal nela. Anote quais pessoas usam a ferramenta, para quais tarefas e com que frequência, de forma aproximada. O piloto será comparado com o estado atual real, e esse estado inclui as ferramentas usadas por fora.

Preciso de um software especial para medir a linha de base? Não. Uma planilha compartilhada, registros de data e hora exportados de um sistema de chamados ou da caixa de entrada e uma nota curta da equipe bastam para começar. O software ajuda mais tarde, quando você quiser avaliações recorrentes, mas uma linha de base feita à mão é perfeitamente válida se o método estiver escrito.

Ainda consigo provar valor se esqueci de capturar a linha de base? Você pode montar uma parcial. Procure registros antigos, como conversas arquivadas ou relatórios passados, e faça amostras deles. Se não existir nada, declare com clareza que os resultados são medidos apenas a partir do início do piloto e considere adiar a entrada de uma segunda equipe, para que ela sirva de comparação com a primeira.

Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.