Counterfactual Pairwise Augmentation Improves Small Pointwise LLM Judges
Pubblicata su AIChronos il · fonte del · Mohammad Zangooei, Peyvand Teymoori, Mohammad Robati Shirzad, Soroosh Shahtalebi
Il paper introduce CPA (Counterfactual Pairwise Augmentation), un metodo per migliorare i giudici LLM pointwise di piccole dimensioni utilizzati negli agentic systems. La tecnica sintetizza risposte controfattuali durante l'addestramento per rendere esplicita la differenza decisiva nel confine della decisione del criterio, evitando il sottodeterminismo tipico dei dati etichettati singoli. Il modello viene fine-tuned congiuntamente su dataset pointwise e pairwise ma deployato esclusivamente in modalità pointwise. Un'analisi di secondo ordine dimostra che questo approccio supera le strategie di merging degli esperti mantenendo l'ottimo pointwise dove la perdita pairwise è piatta.
- CPA trasforma il compito pointwise in un task pairwise sintetizzando una risposta controfattuale per ogni item, rendendo esplicita la variabile decisiva.
- Il fine-tuning congiunto su dati pointwise e pairwise permette di assorbire la curvatura della perdita solo dove necessaria, a differenza del merging che sposta uniformemente tutti i parametri.
- Su Qwen3-8B LoRA adapters per sei criteri binari, CPA migliora il macro-F1 medio del 2.5 punti rispetto all'addestramento pointwise-only.
- La tecnica supera anche Gemini 3.6 Flash (zero-shot) di 11.8 punti su tutti i benchmark testati.
- Il modello è progettato per essere servito efficientemente in modalità pointwise, sfruttando la specializzazione delle piccole LLM.
Perché conta. Per gli sviluppatori che implementano giudici interni o sistemi agentic locali, CPA offre un modo pratico per ottenere prestazioni superiori senza aumentare il numero di parametri o ricorrere a modelli zero-shot costosi come Gemini.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.