ReMedI: Inference-Time Refinement and Self-Distillation for Controllable Molecular Optimization
Pubblicata su AIChronos il · fonte del · Jia Yi Zhang, Shivanshu Shekhar, Allison McLevige, Tong Zhang
ReMedI è un framework che combina la generazione condizionale di modelli linguistici molecolari con una strategia di ricerca Metropolis-Hastings per l'ottimizzazione controllata dei lead farmaceutici. Il metodo utilizza il modello pre-addestrato come generatore base, applicando raffinamenti in tempo di inferenza e distillazione del sapere acquisito durante la ricerca sequenziale guidata dagli obiettivi. Questo approccio supera le limitazioni della generazione zero-shot esplorando meglio la distribuzione delle proposte senza richiedere dataset specifici costosi per ogni compito. I risultati dimostrano un significativo miglioramento nel successo dell'ottimizzazione multi-obiettivo rispetto alle baselines RL, raggiungendo una copertura del successo rigoroso circa 2,8 volte superiore a C-MORAL.
- Sfrutta la capacità dei modelli pre-addestrati di contenere modifiche molecolari utili accessibili tramite raffinamento in tempo di inferenza invece che solo zero-shot generation.
- Implementa una strategia efficiente Metropolis-Hastings per guidare le edizioni sequenziali sotto obiettivi di miglioramento proprietà, preservazione e similarità del lead.
- Permette la distillazione delle tracce di ricerca nel modello base, migliorando la generazione zero-shot con circa 7,8 volte meno dati di addestramento rispetto a C-MORAL.
- Raggiunge tassi di successo nell'ottimizzazione multi-obiettivo significativamente più alti su benchmark come C-MuMOInstruct e SMDD per tre diverse backbones.
- Mantiene una similarità relativa al lead paragonabile alle baselines mentre supera le performance anche sui compiti out-of-distribution.
Perché conta. Per gli sviluppatori che lavorano con LLM, agenti e AI locale, ReMedI offre un paradigma per ottimizzare modelli pre-addestrati senza costosi fine-tuning specifici per compito, massimizzando l'uso delle capacità latenti del modello base tramite tecniche di ricerca avanzate.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.