Meta, yang mengembangkan salah satu model bahasa besar open-source terbesar, Llama, percaya akan memerlukan daya komputasi yang jauh lebih banyak untuk melatih model di masa depan.
Mark Zuckerberg berkata dalam panggilan hasil Meta pada suku kedua pada hari Selasa bahawa untuk melatih Llama 4, syarikat akan memerlukan 10 kali lebih banyak komputasi daripada yang diperlukan untuk melatih Llama 3. Tetapi beliau masih ingin Meta membangun kapasiti untuk melatih model daripada ketinggalan pesaing-pesaingnya.
“Jumlah komputasi yang diperlukan untuk melatih Llama 4 kemungkinan akan hampir 10 kali lebih banyak daripada yang kami gunakan untuk melatih Llama 3, dan model-model masa depan akan terus berkembang melebihi itu,” kata Zuckerberg.
“Sukar untuk meramalkan bagaimana kecenderungan ini akan berlangsung beberapa generasi ke masa depan. Tetapi pada tahap ini, saya lebih suka risiko membangun kapasiti sebelum digunakan daripada terlalu lewat, mengingat masa pemintalan projek inferens baru yang panjang.”
Meta melepaskan Llama 3 dengan 80 bilion parameter pada April. Syarikat itu minggu lepas melepaskan versi yang telah diperbaharui dari model itu, dipanggil Llama 3.1 405B, yang mempunyai 405 bilion parameter, menjadikannya model sumber terbuka terbesar Meta.
Ketua Kewangan Meta, Susan Li, juga berkata syarikat itu sedang memikirkan tentang pelbagai projek pusat data dan membangun kapasiti untuk melatih model AI masa depan. Beliau berkata Meta mengharapkan pelaburan ini akan meningkatkan belanjawan modal pada 2025.
Melatih model-model bahasa besar boleh menjadi perniagaan yang mahal. Belanjawan modal Meta meningkat hampir 33% kepada $8.5 bilion dalam K2 2024, daripada $6.4 bilion setahun sebelumnya, didorong oleh pelaburan dalam pelbagai pelayan, pusat data dan infrastruktur rangkaian.
Menurut laporan daripada The Information, OpenAI menghabiskan $3 bilion untuk melatih model dan tambahan $4 bilion untuk menyewa pelayan pada kadar diskaun dari Microsoft.
“Apabila kami meningkatkan kapasiti latihan AI generatif untuk memajukan model-model asas kami, kami akan terus membangun infrastruktur kami dengan cara yang memberi kami fleksibiliti dalam cara kami menggunakannya dari semasa ke semasa. Ini akan membolehkan kami mengarahkan kapasiti latihan kepada AI gen inferens atau kepada kerja ranking dan cadangan inti kami, apabila kami mengharapkan bahawa melakukannya akan lebih berharga,” kata Li semasa panggilan tersebut.
Semasa panggilan itu, Meta juga bercakap tentang penggunaan Meta AI yang menghadap pengguna dan berkata India adalah pasaran terbesar bagi chatbotnya. Tetapi Li pernah mencatatkan bahawa syarikat tidak mengharapkan produk Gen AI untuk menyumbang kepada pendapatan secara signifikan.
