Organisasi penelitian AI nirlaba yang menyelidiki lintasan dan dampak AI, Epoch AI, pekan ini mengumumkan hasil risetnya, dimana model AI masa depan akan dilatih dengan komputasi 10.000 kali lebih banyak daripada algoritma canggih saat ini, seperti GPT-4 milik OpenAI.
Epoch AI mengungkapkan, model AI terbaru memiliki ratusan miliar hingga lebih dari satu triliun koneksi jaringan internal dan belajar menulis atau membuat kode seperti yang kita lakukan dengan menggunakan sebagian besar internet. Laboraturium AI menyadari bahwa membuat algoritma—atau model—mereka semakin besar dan memberi mereka lebih banyak data secara konsisten menghasilkan peningkatan luar biasa dalam hal yang dapat mereka lakukan dan seberapa baik mereka melakukannya.
Dibutuhkan daya komputasi yang lebih besar untuk melatih algoritma yang lebih besar. Jadi, untuk mencapai titik ini, komputasi yang didedikasikan untuk pelatihan AI telah meningkat empat kali lipat setiap tahun, menurut organisasi penelitian AI nirlaba, Epoch AI .
“Jika pertumbuhan itu terus berlanjut hingga 2030, model AI masa depan akan dilatih dengan komputasi 10.000 kali lebih banyak daripada algoritma canggih saat ini, seperti GPT-4 milik OpenAI,” demikian Epoch AI.
Di masa mendatang, lanjut Epoch AI, dunia akan melihat kemajuan AI pada akhir dekade ini sedrastis perbedaan antara pembuatan teks dasar GPT-2 pada tahun 2019 dan kemampuan pemecahan masalah canggih GPT-4 pada tahun 2023, demikian Epoch dalam laporan penelitian terbarunya.
Tanpa bisa dipungkiri, AI modern sudah menyedot daya yang signifikan, puluhan ribu chip canggih, dan triliunan contoh daring. Sementara itu, industri tersebut telah mengalami kekurangan chip, dan penelitian menunjukkan bahwa industri tersebut mungkin kehabisan data pelatihan yang berkualitas. Dengan asumsi perusahaan terus berinvestasi dalam penskalaan AI, yang menjadi pertanyaan adalah apakah pertumbuhan pada tingkat ini memungkinkan secara teknis?
Epoch melihat empat kendala terbesar dalam penskalaan AI: Daya, chip, data, dan latensi. Daya merupakan kendala terbesar bagi penskalaan AI. Gudang yang dipenuhi chip canggih dan peralatan untuk menjalankannya—atau pusat data— merupakan pemakan daya . Model terdepan terbaru Meta dilatih pada 16.000 chip Nvidia terkuat yang menggunakan listrik sebesar 27 megawatt.
Menurut Epoch, ini setara dengan konsumsi daya tahunan 23.000 rumah tangga di AS. Namun, bahkan dengan peningkatan efisiensi, pelatihan model AI tingkat lanjut pada tahun 2030 akan membutuhkan daya 200 kali lebih banyak, atau sekitar 6 gigawatt. Itu setara dengan 30% daya yang dikonsumsi oleh semua pusat data saat ini.
Hanya sedikit pembangkit listrik yang dapat menghasilkan daya sebanyak itu, dan sebagian besar kemungkinan besar memiliki kontrak jangka panjang. Namun, asumsi tersebut didasarkan pada asumsi bahwa satu pembangkit listrik dapat mengaliri listrik ke pusat data.
Epoch menyarankan perusahaan akan mencari area tempat mereka dapat memanfaatkan beberapa pembangkit listrik melalui jaringan listrik lokal. Dengan memperhitungkan pertumbuhan utilitas yang direncanakan, mengambil jalur ini memang sulit tetapi memungkinkan.
Untuk mengatasi hambatan tersebut, perusahaan dapat mendistribusikan pelatihan ke beberapa pusat data. Di sini, mereka akan membagi kumpulan data pelatihan ke beberapa pusat data yang terpisah secara geografis, sehingga mengurangi kebutuhan daya untuk setiap pusat data. Strategi ini akan membutuhkan koneksi serat optik berkecepatan tinggi dan berpita lebar. Namun, secara teknis hal ini dapat dilakukan, dan pelatihan Google Gemini Ultra adalah salah satu contoh awal.
Secara keseluruhan, Epoch menyarankan berbagai kemungkinan mulai dari 1 gigawatt (sumber daya lokal) hingga 45 gigawatt (sumber daya terdistribusi). Semakin banyak perusahaan listrik memanfaatkan, semakin besar model yang dapat mereka latih. Mengingat keterbatasan daya, sebuah model dapat dilatih menggunakan daya komputasi sekitar 10.000 kali lebih banyak daripada GPT-4.
Semua daya itu digunakan untuk menjalankan chip AI. Beberapa di antaranya menyajikan model AI yang telah selesai kepada pelanggan; beberapa melatih model generasi berikutnya. Epoch mengamati dengan saksama yang terakhir.
Lab AI melatih model baru menggunakan unit pemrosesan grafis , atau GPU, dan Nvidia adalah yang terbaik dalam GPU. TSMC memproduksi chip ini dan menggabungkannya dengan memori bandwidth tinggi. Peramalan harus memperhitungkan ketiga langkah tersebut. Menurut Epoch, kemungkinan ada kapasitas cadangan dalam produksi GPU, tetapi memori dan pengemasan mungkin menghambatnya.
Mengingat proyeksi pertumbuhan kapasitas produksi industri, mereka memperkirakan antara 20 dan 400 juta chip AI akan tersedia untuk pelatihan AI pada tahun 2030. Beberapa di antaranya akan menyediakan model yang sudah ada, dan laboratorium AI hanya akan mampu membeli sebagian kecil dari keseluruhannya. ■
