NutriVisRAG: Multimodal Exemplar Grounding for Nutrient Estimation with Vision-Language Models
Pubblicata su AIChronos il · fonte del · Lubnaa Abdur Rahman, Ioannis Papathanail, Maria Panagiotou, Nefeli Dimitropoulou, Margret Harðardóttir, Elisabeth J. den Brok
NutriVisRAG è un framework di retrieval-augmented generation che utilizza encoder visivi per recuperare pasti annotati con dati nutrizionali e fornire esempi multimodali in contesto ai Vision-Language Models (VLM) durante l'inference, senza necessità di fine-tuning specifico. Il sistema dimostra come il grounding diretto su immagini simili possa migliorare la stima dei nutrienti rispetto agli approcci basati solo su rappresentazioni testuali esistenti. L'analisi copre quattro dataset, inclusi pasti reali di adulti con diabete trattato con insulina, confrontando le stime dei carboidrati contro annotazioni dietetiche professionali.
- NutriVisRAG riduce l'errore primario nella stima nutrizionale in 56 su 96 configurazioni testate (4 dataset x 4 VLMs x 3 retrieval encoders x 2 prompting strategies).
- L'utilizzo di esempi multimodali nel contesto dell'inference supera le prestazioni dei modelli Vanilla in 13 su 16 coppie modello-dataset.
- Le migliori riduzioni dell'errore rispetto ai baseline si osservano con il prompt whole-meal, che mostra un miglioramento più frequente rispetto al per-item prompting.
- Per GPT-5.4-mini sotto whole-meal prompting, l'encoder di retrieval ottimale riduce l'errore su tutti e quattro i dataset tra il 1.7% e il 35.7%.
Perché conta. Questa ricerca è rilevante per gli sviluppatori che lavorano con LLM e agenti perché dimostra come migliorare le capacità di ragionamento visivo dei modelli senza costi computazionali aggiuntivi legati al fine-tuning, rendendo più efficiente l'uso di risorse locali o cloud.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.