p-e-w/heretic
Pubblicata su AIChronos il · fonte del · p-e-w
Heretic è uno strumento automatico che rimuove l'allineamento di sicurezza (censura) dai modelli linguistici basati su transformer senza richiedere costosi processi di post-training o intervento umano. Il sistema combina una tecnica chiamata 'abliteration' con un ottimizzatore basato sul TPE e Optuna per identificare automaticamente parametri ad alta qualità, minimizzando i rifiuti a prompt dannosi mentre preserva l'intelligenza sui compiti innocui. Supporta la maggior parte dei modelli densi, architetture multimodali e strutture MoE, automatizzando anche il benchmarking dell'hardware per ottimizzare le dimensioni del batch.
- Utilizza 'abliteration', ovvero una combinazione di ablazione direzionale e ottimizzazione TPE, per rimuovere la censura in modo automatico ed efficiente.
- Ottimizza indipendentemente i parametri per ogni componente del modello, applicando pesi diversi poiché le interruzioni MLP causano più danni rispetto a quelle dell'attenzione.
- Sfrutta l'interpolazione lineare di indici direzionali floating-point per esplorare spazi di ricerca aggiuntivi oltre quelli standard della differenza dei medi.
- Include funzionalità native di quantizzazione tramite bitsandbytes, permettendo l'esecuzione su hardware con VRAM limitata (es. 16GB).
- È implementato da zero e non riutilizza codice da progetti esistenti come AutoAbliterator o ErisForge.
Perché conta. Per uno sviluppatore che lavora con LLM locali, agenti autonomi e deployment su hardware limitato, Heretic offre un modo per 'disallineare' i modelli pre-addestrati senza costi di fine-tuning massivi, recuperando capacità bloccate dalla sicurezza allineata. Questo è cruciale per scenari dove la flessibilità del modello supera il rischio di output non filtrati o quando si necessita di rimuovere restrizioni specifiche su dataset proprietari.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.