Data Parallelism: Deep Learning con GPU Multiple in modo efficiente e sostenibile

In questo rapporto tecnico, illustreremo i principi fondamentali del DDP. Sebbene, mostreremo a titolo esemplificativo l'addestramento distribuito di una rete di classificazione su più GPU i concetti trattati sono applicabili a qualsiasi architettura di modello e a varie applicazioni. A tal fine, sarà descritto l’uso del pacchetto DistributedDataParallel (DDP) di PyTorch, una libreria di deep learning progettata per velocizzare le operazioni di addestramento.