Notizia

Sep 07, 2023

Contenere le crescenti esigenze di potenza del machine learning

By In light of growing concern about the energy requirements of large machine

Di

Alla luce della crescente preoccupazione per i requisiti energetici dei grandi modelli di machine learning, un recente studio del MIT Lincoln Laboratory e della Northeastern University ha studiato i risparmi che possono essere ottenuti dalle GPU con limite di potenza impiegate nell'addestramento e nell'inferenza dei modelli, così come molti altri tecniche e metodi per ridurre il consumo di energia dell’intelligenza artificiale.

Il nuovo lavoro richiede inoltre che i nuovi documenti sull’intelligenza artificiale si concludano con una “Dichiarazione energetica” (simile alla recente tendenza per le dichiarazioni di “implicazione etica” nei documenti del settore della ricerca sull’apprendimento automatico).

Il suggerimento principale del lavoro è che il power capping (limitare la potenza disponibile alla GPU che sta addestrando il modello) offre vantaggi utili in termini di risparmio energetico, in particolare per Masked Language Modeling (MLM) e framework come BERT e i suoi derivati.

Reti di modellazione in tre lingue che funzionano a una percentuale delle impostazioni predefinite di 250 W (linea nera), in termini di consumo energetico. Limitare il consumo energetico non limita l'efficienza o la precisione dell'addestramento su base 1-1 e offre risparmi energetici notevoli su larga scala. Fonte: https://arxiv.org/pdf/2205.09646.pdf

Per i modelli su larga scala, che hanno catturato l’attenzione negli ultimi anni grazie a set di dati su vasta scala e nuovi modelli con miliardi o trilioni di parametri, risparmi simili possono essere ottenuti come compromesso tra tempo di addestramento e consumo di energia.

Formazione di modelli PNL più formidabili su larga scala con vincoli di potere. Il tempo medio relativo sotto un limite di 150 W è mostrato in blu e il consumo energetico medio relativo per 150 W in arancione.

Per queste implementazioni su scala più elevata, i ricercatori hanno scoperto che un limite di 150 W sull’utilizzo energetico ha ottenuto una riduzione media del 13,7% nel consumo di energia rispetto al massimo predefinito di 250 W, nonché un aumento relativamente piccolo del 6,8% nel tempo di addestramento.

Inoltre, i ricercatori notano che, nonostante le notizie che il costo dell’addestramento dei modelli ha raccolto negli ultimi anni, i costi energetici legati all’utilizzo effettivo dei modelli addestrati sono molto più elevati*.

"Per la modellazione linguistica con BERT, i guadagni di energia attraverso il power-capping sono notevolmente maggiori quando si esegue l'inferenza che per l'addestramento. Se ciò fosse coerente per altre applicazioni di intelligenza artificiale, ciò potrebbe avere conseguenze significative in termini di consumo energetico per piattaforme di cloud computing o su larga scala che servono applicazioni di inferenza per la ricerca e l’industria”.

Inoltre, e forse in modo più controverso, il documento suggerisce che la formazione principale sui modelli di apprendimento automatico venga relegata ai mesi più freddi dell’anno e alle ore notturne, per risparmiare sui costi di raffreddamento.

Sopra, statistiche PUE per ogni giorno del 2020 nel data center degli autori, con un picco/altopiano notevole e sostenuto nei mesi estivi. Di seguito, la variazione oraria media del PUE per la stessa posizione nel corso di una settimana, con il consumo energetico in aumento verso metà giornata, poiché sia ​​l'hardware di raffreddamento interno della GPU che il raffreddamento ambientale del data center faticano a mantenere una temperatura accettabile.

Gli autori affermano:

“Evidentemente, i pesanti carichi di lavoro della PNL sono in genere molto meno efficienti in estate rispetto a quelli eseguiti durante l’inverno. Data la grande variazione stagionale, se presente, ci sono esperimenti computazionalmente costosi che possono essere programmati per mesi più freddi, questa tempistica può ridurre significativamente l'impronta di carbonio.'

Il documento riconosce inoltre le possibilità emergenti di risparmio energetico possibili attraverso la potatura e l’ottimizzazione dell’architettura del modello e dei flussi di lavoro, sebbene gli autori lascino l’ulteriore sviluppo di questa strada ad altre iniziative.

Infine, gli autori suggeriscono che i nuovi articoli scientifici nel settore dell’apprendimento automatico siano incoraggiati, o forse costretti, a chiudersi con una dichiarazione che dichiari l’utilizzo energetico del lavoro condotto nella ricerca e le potenziali implicazioni energetiche dell’adozione di iniziative suggerite nel lavoro. .

Il documento, dando l'esempio, spiega le implicazioni energetiche della propria ricerca.