Concetto · 2 novità
pretraining
Pagina pubblicata il · ultima novità il
Cronologia
- ImplicitHop: Evaluating knowledge integration across context and memoryÈ rilevante perché evidenzia i limiti attuali dei modelli LLM nell'integrare informazioni a lungo raggio senza CoT (Chain of Thought), guidando gli sviluppatori verso strategie di prompt engineering o architetture ibride per migliorare il ragionamento negli agenti AI locali.
- Your Transformer Can Hold Two Thoughts at Once: Evidence of Linear Superposition in LLMsPer uno sviluppatore che lavora con LLM e agenti, questa scoperta offre nuove leve architetturali per ottimizzare l'uso della memoria dei modelli senza aumentare i parametri. La capacità di generare più output paralleli in un singolo forward pass può rivoluzionare le strategie di inferenza locale, riducendo latenza e costi computazionali.