Anthropic ha publicado un nuevo flujo de trabajo de evaluación de complementos para Claude Code. El comando claude plugin eval ejecuta un complemento según indicaciones realistas, califica lo que produjo Claude y compara el resultado con una ejecución en la que el complemento no está cargado. Responde a 3 preguntas que los desarrolladores de complementos no podían medir anteriormente: ¿se activa la habilidad?, ¿sobrevive a una edición o a un nuevo modelo? y ¿supera a un modelo básico?
Implementable: Sí. Se ejecuta en Claude Code v2.1.269 o posterior en cualquier directorio con un manifiesto plugin.json o .claude-plugin/plugin.json, o un complemento de directorio de habilidades. Cada ejecución de evaluación y calificador de jueces es una llamada de modelo real que se factura a su plan o cuenta API.
Como se ve un caso
Una suite de evaluación se encuentra en un directorio evals/ dentro del complemento. Cada caso es un subdirectorio que contiene un aviso.md y una carpeta graders/. El cuerpo del mensaje va a Claude exactamente como está escrito y las menciones @path no se expanden. Frontmatter en Prompt.md puede configurar max_turns (predeterminado 10), timeout_segundos (predeterminado 300), modelo, etiquetas y permitida_herramientas.
Los clasificadores son archivos de rebajas cuyo contenido inicial establece un tipo, un peso opcional y un brazo opcional. Hay 6 tipos. Cuatro no cuestan nada porque se calculan a partir de la transcripción y los archivos en el disco: regex, tool_used, tool_order y file_exists. Dos llaman a un modelo de juez y lo agregan a la factura: llm, que califica la respuesta según los criterios en prosa que usted escribe, y baseline, que la compara con una respuesta de referencia.
claude plugin eval init lee el complemento, pregunta cómo se ve un buen resultado, propone casos y calificadores, los prueba y escribe los archivos. En CI, –bare escribe una plantilla en blanco.
El número que importa es Δ
De forma predeterminada, cada caso se ejecuta dos veces: con brazo donde se carga el complemento y sin brazo donde no lo está. Su diferencia, Δ, es lo que contribuyó el complemento. Si un caso obtiene una puntuación de 1,0 en ambos brazos, el complemento no es la razón por la que pasó. El resultado del ejemplo de documentos muestra un solo caso con CON 1,00, SIN 0,33, Δ +0,67 en 6 ejecuciones, con un costo estimado de $0,41 y una duración de 74 segundos. Un evaluador marcado solo con, normalmente herramienta_usada: Habilidad, se informa como un indicador y se excluye de la puntuación, ya que el que no tiene brazo no tiene habilidad para disparar.
Anthropic menciona el primer hallazgo más común: un Δ cercano a cero con la herramienta_usada: calificador de habilidades fallando, lo que significa que Claude no está eligiendo la habilidad con fraseo natural. Ese es el defecto que la validación del complemento Claude no puede ver, porque verifica la sintaxis y el esquema del manifiesto en lugar del comportamiento.
Los resultados se encuentran en evals/results//report.html con veredictos por calificador y votos de los jueces. Cuando la cuenta lo admita, el informe también se publica en claude.ai a menos que se establezca –no-publish.
Costo y CI
Una suite genera aproximadamente casos × ejecuciones × ejecuciones de agentes de armas, más 3 llamadas breves de jueces por llm o calificador de referencia por ejecución, y los resultados varían entre ejecuciones. La invocación de CI documentada es:
El ejecutor necesita una instalación de Claude Code y credenciales como ANTHROPIC_API_KEY. Sin –trust-plugin, un pago que no es de confianza se rechaza con la salida 1 cuando no hay terminal. Los problemas de informe nunca cambian el código de salida y –json suprime la salida del progreso.