Pular para o conteúdo principal

Avalie seu agente Claude (Evals)

Avançado

Você ajustou um prompt e ele parece melhor — mas será que está? Sem evals (avaliações) você está voando às cegas: cada mudança é cara ou coroa, e você descobre que quebrou por causa de um usuário irritado, não de um teste. Evals transformam o "feeling" em um número em que você pode confiar, defender e acompanhar ao longo do tempo. Essa é a maior coisa que separa prompts de hobby do trabalho com Claude em nível de produção.

What you'll learn
  • Por que "está bom pra mim" não é um teste — e o que medir em vez disso
  • Construir um golden dataset a partir de falhas REAIS (de baixo para cima), não imaginadas
  • Pontuar com código onde der, e com um LLM-como-juiz onde não der
  • Ligar evals ao CI para que uma mudança de prompt ou de modelo nunca regrida em silêncio

A mentalidade: meça, não chute​

Três regras que te salvam:

  • De baixo para cima vence de cima para baixo. Colete falhas reais primeiro, depois projete a métrica para capturá-las. Um eval construído a partir de quebras reais prevê quebras reais; um eval inventado num quadro branco mede principalmente a sua imaginação.
  • Um número que você pode reexecutar. Um eval é repetível: mesmas entradas → pontuação comparável. É isso que permite comparar o prompt v1 vs v2, ou claude-haiku-4-5 vs claude-sonnet-5, com honestidade.
  • Barato de rodar, rode com frequência. Se exigir uma tarde de um humano, não vai acontecer. Automatize.

Construa um golden dataset (de baixo para cima)​

Seu golden dataset é o coração de todo eval — um conjunto curado de entradas com expectativas reconhecidamente boas.

Guided walkthrough1 of 4
  1. Comece pelas saídas ruins de verdade: traces de produção, relatos de bugs, tickets de suporte. Esses são os casos que importam.

Pontuação: código primeiro, juiz depois​

Recorra primeiro à verificação confiável mais barata.

  • Verificações programáticas (determinísticas) — use sempre que a resposta tiver estrutura: correspondência exata/por palavra-chave, "JSON válido contra este schema", "chamou a ferramenta certa com os argumentos certos", "abaixo de N tokens / abaixo de X ms". Rápidas, gratuitas e nunca instáveis.
  • LLM-como-juiz — para dimensões difusas (utilidade, tom, fidelidade a uma fonte) que resistem ao código. Dê ao juiz uma rubrica, não um feeling, e calibre-o contra rótulos humanos antes de confiar nele.

:::warning Juízes têm vieses Juízes LLM tendem a favorecer respostas mais longas (viés de verbosidade) e qualquer opção mostrada primeiro (viés de posição). Defesas: uma rubrica rígida, comparação em pares em vez de pontuação absoluta, trocar a ordem das respostas e reavaliar o juiz contra uma fatia rotulada por humanos. Um juiz é uma camada, não o teste inteiro. :::

Rubrica de LLM-como-juiz (inicial)

You are a strict grader. You are given a QUESTION, a REFERENCE answer, and a MODEL answer.
Score the MODEL answer from 1-5 on (a) faithfulness to the reference and (b) helpfulness.
Output ONLY JSON, nothing else: {"score": <1-5>, "reason": "<one short sentence>"}

QUESTION: {{question}}
REFERENCE: {{reference}}
MODEL: {{model_answer}}

Para agentes, teste também a trajetória​

Um agente pode acertar a resposta final do jeito errado — entrando em loop, chamando uma ferramenta destrutiva ou queimando seu orçamento. Então avalie o caminho, não só o destino: ele chamou as ferramentas certas, numa ordem sensata, sem loops, dentro do orçamento? A correção das chamadas de ferramenta e as verificações de trajetória capturam falhas que um eval só do resultado final nunca enxerga.

Ligue ao CI​

É aqui que os evals dão retorno: tornar regressões impossíveis de mesclar.

Guided walkthrough1 of 3
  1. Pontue programaticamente quando possível; rode o juiz no restante.
Vocabulário de eval
Pressione Enter ou Espaço para virar o cartão. Use as setas esquerda e direita para navegar entre os cartões.Termo exibido.
1 / 4

Teste-se

0/3
  1. Qual é a primeira escolha mais confiável para pontuar um eval?
  2. De onde devem vir principalmente os casos de um golden dataset?
  3. Para um AGENTE, o que você deve avaliar além da resposta final?
Key takeaways
  • Sem eval = lançar no feeling. Construa um antes de confiar num prompt ou agente.
  • Golden dataset a partir de falhas reais; faça-o crescer toda semana com novas regressões.
  • Verificações baseadas em código primeiro; LLM-como-juiz (com rubrica, calibrado) para as partes difusas.
  • Para agentes, avalie a trajetória, não só a saída.
  • Rode no CI e falhe o build numa queda — é assim que a qualidade para de regredir.

Fontes e leitura adicional​

A seguir​