Feltet med kunstig intelligens blir ofte sammenlignet med oljeindustrien: når de er utvunnet og raffinert, kan data, som olje, bli en veldig lønnsom handelsvare. Imidlertid blir det nå klart at denne metaforen utvides. Som fossilt brensel har dyp læring en enorm innvirkning på miljøet. I en ny studie vurderte forskere ved University of Massachusetts Amherst læringssyklusen til flere vanlige store AI-modeller.
Den fant ut at denne prosessen kan generere over 626 000 pund (omtrent 300 000 kg) karbondioksidekvivalent, nesten fem ganger utslippene fra en typisk bil på fem år (inkludert produksjonen av selve bilen).
Hvordan AI-modeller trenes
Dette er en fantastisk kvantifisering av hva AI-forskere lenge har mistenkt.
Natural Language Processing Carbon Footprint
Salgsfremmende video:
Oppgaven tar spesielt for seg prosessen med å trene en modell for naturlig språkprosessering (NLP), et underfelt til AI som omhandler treningsmaskiner for å arbeide med menneskelig språk. I løpet av de siste to årene har NLP-samfunnet gjort flere viktige milepæler innen maskinoversettelse, fullføring av setninger og andre standard graderingsoppgaver. Den beryktede OpenAI GPT-2-modellen har som et eksempel lyktes med å skrive overbevisende falske nyheter.
Men slike fremskritt krevde å trene stadig større modeller på strukkede datasett fra setninger trukket fra Internett. Denne tilnærmingen er beregningsdyktig og veldig energikrevende.
Forskerne så på de fire modellene i området som var ansvarlige for de største sprangene i ytelse: Transformer, ELMo, BERT og GPT-2. De trente hver av dem på en enkelt GPU i en dag for å måle strømforbruket.
De tok deretter antall treningstimer som er spesifisert i de originale modelldokumentene for å beregne den totale energiforbruket under hele treningsprosessen. Denne mengden ble konvertert til tilsvarende kilo karbondioksid, noe som var i samsvar med AWS-energimiksen fra Amazon, verdens største skyleverandør.
Den fant ut at beregnings- og miljøkostnadene ved trening økte i forhold til størrelsen på modellen, og deretter økte eksponentielt når den endelige nøyaktigheten til modellen ble justert. Et neuralt arkitektursøk som prøver å optimalisere en modell ved gradvis å endre den nevrale nettverksstrukturen gjennom prøving og feiling, medfører ekstremt høye kostnader med liten ytelsesgevinst. Uten den etterlot den dyreste BERT-modellen et karbonavtrykk på 635 kg, nær en transamerikansk tur / retur.
Dessuten bør disse tallene bare betraktes som grunnlinjer.
I alt anslår forskerne at prosessen med å lage og teste den endelige modellen som er verdig til publisering, krevde opplæring av 4.789 modeller på seks måneder. Når det gjelder CO2-ekvivalent, er dette omtrent 35.000 kg.
Betydningen av disse tallene er kolossal, spesielt gitt dagens trender innen AI-forskning. Generelt neglisjerer AI-forskning effektiviteten fordi store nevrale nettverk anerkjennes som nyttige for forskjellige oppgaver, og selskaper med ubegrensede databehandlingsressurser vil bruke dem for å få et konkurransefortrinn.
Ilya Khel
