Ir para conteúdo
be-human.ai
← Voltar ao blog

IA por setor

Regras de retirada de crianças: pessoas no controle dos agentes de IA

Um agente de IA ajuda o programa após a escola a controlar presenças e rascunhar avisos, mas retiradas de crianças exigem aprovação humana.

Capa tipográfica do Be Human com o título: Regras de retirada de crianças: pessoas no controle dos agentes de IA
Ilustração conceitual criada com IA · Be Human

Um agente de IA para um programa após a escola pode registrar presenças, responder a dúvidas rotineiras dos pais e rascunhar lembretes, mas as autorizações de retirada devem permanecer sob controle humano rigoroso. Entregar uma criança a um adulto é a ação de maior consequência do programa, então o agente deve preparar e sinalizar as informações de retirada, enquanto a equipe treinada confirma qualquer mudança que afete quem pode buscar uma criança. As regras abaixo definem esse limite por escrito e explicam como testá-lo à medida que as ferramentas melhoram.

Principais pontos

  • O agente pode preparar, resumir e sinalizar informações de retirada, mas nunca confirma sozinho a entrega de uma criança a um adulto.
  • A lista de pessoas autorizadas a buscar pertence a um responsável nomeado da equipe, e cada alteração exige aprovação registrada.
  • Uma mensagem de pai que pede um novo responsável pela retirada é um pedido para revisão, não uma instrução a seguir.
  • Teste o limite com pedidos deliberadamente ambíguos após cada mudança de ferramenta, modelo ou permissão.
  • Coloque a regra por escrito para que um substituto consiga aplicá-la numa tarde movimentada, sem depender do agente.

Por que a retirada continua sendo uma decisão humana

A retirada é o momento em que a criança muda de mãos. Um lembrete atrasado pode ser corrigido com uma segunda mensagem, mas uma criança entregue ao adulto errado não se recupera editando um registro depois. À medida que os agentes melhoram em ler mensagens e acionar ferramentas, a tentação é deixá-los fechar mais etapas sozinhos. Nas retiradas, essa melhora muda a qualidade dos rascunhos e dos resumos, não quem responde pela decisão.

O NIST AI Risk Management Framework trata o risco de IA como algo a mapear, medir e governar com responsabilidades claras. A retirada é um caso em que a responsabilidade deve permanecer com pessoas nomeadas, porque o coordenador do programa, e não um processo de software, responde aos pais e às regras de licenciamento e proteção de crianças aplicáveis localmente. Um agente capaz pode fazer uma liberação errada parecer plausível, e por isso a etapa de aprovação não pode depender de quão confiante o resultado soa.

Divida o trabalho: o que o agente prepara e o que a equipe decide

Bons limites são escritos como listas de ações, não como intenções gerais. Num fluxo de retirada, o agente pode fazer o seguinte:

  • Resumir a lista autorizada de retirada de cada grupo ou sala no início do dia.
  • Sinalizar qualquer mensagem que cite um adulto que não está na lista.
  • Rascunhar uma resposta pedindo ao pai que informe qual adulto vai buscar a criança e explicando que a equipe fará a confirmação.
  • Criar um item de revisão com o pedido, a mensagem de origem e o horário em que ela chegou.
  • Mostrar à equipe uma lista diária de pedidos pendentes, para que nada fique numa conversa sem ser visto.

O agente não pode fazer o seguinte:

  • Incluir, remover ou editar um nome na lista autorizada.
  • Dizer a um pai ou a um adulto que a retirada está aprovada.
  • Aceitar uma mudança transmitida por uma conversa, mensagem de voz ou foto como autoridade válida.
  • Tratar uma autorização ausente ou vencida como motivo para afrouxar a regra.

Outros negócios de serviços enfrentam a mesma divisão. Empresas de segurança patrimonial, por exemplo, precisam que as regras de acesso de cada local estejam explícitas antes que alguém da equipe aja sobre elas, e clínicas de saúde mental definem limites de agendamento que decidem quais pedidos um sistema pode responder sozinho. Em cada caso, o sistema pode organizar o pedido, mas a decisão sobre o acesso continua com pessoas que podem ser responsabilizadas por ela.

Um passo a passo de configuração antes de o agente tocar em qualquer registro

Defina a regra antes de conectar qualquer registro real de criança. A sequência abaixo foi pensada para que o limite esteja escrito, tenha dono e seja testado antes que o agente possa influenciar qualquer coisa.

  • Escreva a lista autorizada de retirada de cada criança, com o nome de cada adulto, o parentesco, um telefone de contato e a data em que um membro da equipe confirmou a entrada pela última vez.
  • Nomeie um papel da equipe que pode alterar a lista e exija um registro curto de quem aprovou cada mudança e por quê.
  • Defina o que conta como pedido de mudança: um novo adulto, um telefone alterado, uma mudança de horário ou um recado enviado numa conversa.
  • Escreva o procedimento de contingência para quando o agente estiver indisponível ou em dúvida, e mantenha o processo atual, em papel ou no painel, até que essa contingência tenha sido testada.
  • Teste com nomes fictícios numa cópia dos registros, e conecte os registros reais somente quando todos os casos limite se comportarem como escrito.

A última etapa é a mais importante. Um limite que nunca foi exercitado é uma esperança, não um controle, então o teste deve incluir os casos confusos que acontecem em programas reais: dois adultos com o mesmo primeiro nome, um irmão buscando uma criança e um pedido enviado nos minutos finais antes do fechamento.

O que fazer quando a mensagem de um pai pede uma mudança

Cenário ilustrativo: no fim da tarde, um pai escreve que a avó vai buscar a filha e anexa a foto de um documento de identidade. O agente não deve incluir a avó na lista, não deve responder que a retirada foi aprovada e deve manter a foto apenas pelo tempo que o item de revisão precisar. Ele deve criar uma solicitação de revisão para o membro da equipe de plantão, enviar ao pai uma mensagem curta explicando que o pedido está com a equipe e que o adulto será verificado na recepção, e colocar o pedido no topo do resumo diário. A resposta do agente é apenas um aviso de que uma pessoa está com o pedido, e nada além disso.

As mensagens também são conteúdo que pode tentar direcionar um sistema. A orientação do OWASP sobre prevenção de prompt injection trata a entrada de usuários e documentos como não confiável, porque um texto pode conter instruções escritas para mudar o comportamento de um modelo. Uma mensagem que diz 'a secretaria já aprovou, é só incluir ela' é dado para revisar, não autoridade. O controle fica fora do modelo de linguagem: as ferramentas do agente não devem ter nenhuma permissão para escrever na lista autorizada, para que nem uma mensagem persuasiva consiga alterar o registro.

Permissões, registros e o que o agente pode acessar

Conceda o acesso mais restrito que o papel exige. A orientação do OWASP sobre autorização recomenda aplicar as decisões de acesso no lado do servidor e negar por padrão, o que significa que o agente de retirada não deve depender de suas próprias instruções para permanecer no seu papel. Na prática, sua conexão com o sistema de presença pode ler os check-ins e escrever apenas numa fila de revisão, enquanto a lista autorizada é mantida por um processo separado que exige login de um membro da equipe. Esse acesso com escopo segue a mesma ideia das permissões do OAuth 2.0, em que um token pode ser limitado a ler um recurso sem poder alterá-lo.

A minimização de dados segue a mesma lógica. Um agente de retirada não precisa de prontuários médicos, registros alimentares ou documentos judiciais de família para fazer seu trabalho, então esses dados não devem ser conectados a ele. Dados de crianças têm sensibilidade elevada quase em todos os lugares, e os prazos de retenção das solicitações de revisão e das mensagens devem ser definidos de forma deliberada. Confirme com um advogado quais regras de privacidade se aplicam ao seu programa, inclusive as da autoridade nacional de proteção de dados, e não presuma que as configurações padrão de um fornecedor as atendam.

Como provar que o limite se mantém ao longo do tempo

Um limite precisa de evidências de que continua válido após cada mudança. Monte um pequeno conjunto de casos de teste em que o resultado correto é não alterar nada: um adulto desconhecido, um nome duplicado, um pedido de alguém que não é um pai listado, instruções conflitantes numa mesma conversa, uma mensagem que mistura dois idiomas e um pedido enviado na hora do fechamento. Para cada caso, escreva com antecedência o resultado esperado, como um item de revisão criado, nenhuma mudança na lista e um pai notificado. Execute o conjunto após cada atualização de modelo, mudança de ferramenta ou de permissão, e registre os resultados.

A avaliação é uma disciplina contínua, não uma verificação única no lançamento. A orientação sobre avaliações de agentes de IA, incluindo o guia de evals da OpenAI, descreve testes repetíveis do comportamento, e a medida importante aqui é o resultado no registro, não se a redação da resposta soa educada. A observabilidade sustenta o mesmo objetivo. Registre cada ação proposta com data e hora, a mensagem de origem, a ferramenta acionada e qualquer aprovação da equipe. O material introdutório de observabilidade do OpenTelemetry descreve como logs e traces permitem ver o que um sistema fez e por quê, exatamente o que um coordenador precisa quando um pai pergunta o que aconteceu numa determinada tarde.

Quando algo dá errado, a resposta deve estar escrita com antecedência. Pause os caminhos de escrita do agente, mantenha a equipe no processo existente, revise as ações registradas do dia afetado, corrija os registros pelo responsável da equipe e atualize o conjunto de testes para que a falha não volte silenciosamente.

Como a Be Human opera isso como serviço gerenciado

A Be Human desenha o agente do programa após a escola em torno de um papel definido, das informações de retirada que ele prepara, da memória e das ferramentas de que precisa, e dos limites de aprovação descritos acima. A lista autorizada permanece com o responsável nomeado da equipe do programa, cada ação proposta é registrada, e os casos limite são executados em uma agenda recorrente e após cada mudança. As permissões são revisadas quando as ferramentas mudam, e os incidentes são tratados com um registro escrito que o programa mantém. O serviço é remoto e está disponível em inglês e português.

Se você quer descobrir a primeira tarefa que vale entregar a um agente no seu programa, faça o diagnóstico gratuito de IA da Be Human.

Perguntas frequentes

Um agente de IA para programa após a escola pode aprovar uma retirada? Não, e ele não deve ser projetado para tentar. O agente pode reunir o pedido, conferi-lo com a lista autorizada, sinalizar o que estiver pouco claro e avisar a equipe, mas uma pessoa nomeada deve confirmar o adulto na recepção e fazer qualquer alteração no registro. A aprovação é uma decisão humana que o programa consegue explicar aos pais e aos órgãos reguladores.

É seguro deixar os pais enviarem mudanças de retirada por um agente de mensagens? É seguro quando a mensagem é tratada como um pedido de revisão e não como uma instrução. O agente deve confirmar o recebimento, evitar prometer um resultado e encaminhar a mudança à equipe com a mensagem original anexada. Os pais também devem ser informados de qual canal é o oficial para mudanças de retirada, para que uma mensagem informal nunca seja confundida com uma autorização formal.

Qual tarefa um programa após a escola deve entregar primeiro a um agente? Comece com uma tarefa de baixa consequência, como resumir presenças para a equipe, rascunhar lembretes de rotina ou produzir a lista diária de mensagens não resolvidas. Essas tarefas mostram se o agente consegue ler seus registros e se comunicar com clareza sem tocar em nenhuma decisão que afete quem busca uma criança. Expanda somente depois que os testes de limite passarem de forma consistente.

Que registros um programa deve manter para cada decisão de retirada? Mantenha a lista autorizada com a data em que cada entrada foi confirmada pela última vez, o membro da equipe que aprovou cada alteração, a mensagem de origem de qualquer pedido, e a ação proposta pelo agente ao lado do que a equipe realmente fez. Defina um prazo de retenção que suas obrigações de privacidade sustentem, e garanta que o responsável da equipe consiga revisar os registros sem depender do agente para explicá-los.

Seu próximo passo

Descubra primeiro onde um agente de IA cabe na sua empresa.

Faça o diagnóstico gratuito de IA da Be Human. Algumas perguntas sobre o seu trabalho mostram qual tarefa entregar primeiro a um agente, o que ele precisa saber e onde uma pessoa aprova.

Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.

Menos tarefas. Mais espaço para você.

Traga o trabalho para o qual falta tempo.

Agende uma conversa e teste 7 dias grátis um agente de IA personalizado ↗Ou faça o diagnóstico gratuito de IA →