Ottimizzazione e Scalabilità dei Modelli con DeepSpeed: Implementazione di Vision Transformers su minGPT

Questo rapporto tecnico analizza l'ottimizzazione e la scalabilità dei modelli di deep learning mediante l'implementazione delle tecniche avanzate offerte dalla libreria DeepSpeed1. Attraverso un caso pratico basato su minGPT2, un'implementazione semplificata dei modelli Transformer3, vengono illustrate strategie per affrontare le sfide legate alla crescente complessità dei modelli e all'incremento del fabbisogno di risorse computazionali. In particolare, vengono esplorati metodi per ottimizzare l'uso della memoria durante l'addestramento, accelerare i calcoli e ridurre l'overhead computazionale, migliorando l'efficienza dell'addestramento distribuito su infrastrutture multi-GPU.