PowerBook G4 yang menjalankan Inferensi TinyStories 110m Llama2 LLM – Kredit Gambar: Andrew Rossignol/Theresistornetwork
Seorang pengembang perangkat lunak telah membuktikan bahwa dimungkinkan untuk menjalankan LLM modern pada perangkat keras lama seperti PowerBook G4 2005, meskipun tidak ada di dekat kecepatan yang diharapkan oleh konsumen.
Sebagian besar proyek kecerdasan buatan, seperti dorongan konstan untuk kecerdasan Apple, bersandar pada memiliki perangkat yang cukup kuat untuk menangani pertanyaan secara lokal. Ini berarti bahwa komputer dan prosesor yang lebih baru, seperti chip seri-A terbaru dalam generasi iPhone 16, cenderung digunakan untuk aplikasi AI, hanya karena memiliki kinerja yang cukup agar berfungsi.
Dalam posting blog yang diterbitkan pada hari Senin oleh Jaringan resistorAndrew Rossignol – saudara laki -laki Joe Rossignol di Makrumor – Menulis tentang karyanya mendapatkan model bahasa besar modern (LLM) untuk dijalankan pada perangkat keras yang lebih lama. Apa yang tersedia baginya adalah PowerBook G4 2005, dilengkapi dengan prosesor 1.5GHz, gigabyte memori, dan keterbatasan arsitektur seperti ruang alamat 32-bit.
Setelah memeriksa proyek LLAMA2.C untuk mengimplementasikan inferensi LLAMA2 LLM dengan satu file V vanilla C dan tidak ada akselerator, Rossignol membayar inti proyek untuk melakukan beberapa perbaikan.
Perbaikan tersebut termasuk pembungkus untuk fungsi sistem, mengatur kode ke dalam perpustakaan dengan API publik, dan akhirnya porting proyek untuk dijalankan pada Mac PowerPC. Poin terakhir ini melibatkan isu-isu dengan prosesor “besar-endian”, di mana model pemeriksaan dan tokenizer malah mengharapkan penggunaan prosesor “kecil-endian”, mengacu pada sistem pemesanan byte.
Tidak terlalu cepat
Rekomendasi oleh proyek LLAMA2.C adalah menggunakan model TinyStories, yang digunakan untuk memaksimalkan kemungkinan output tanpa akselerasi perangkat keras khusus, seperti GPU modern. Pengujian sebagian besar dilakukan dengan varian 15 juta parameter (15m) dari model, sebelum beralih ke versi 110m, karena sesuatu yang lebih tinggi akan terlalu besar untuk ruang alamat.
Jumlah parameter yang digunakan dalam suatu model dapat menghasilkan model yang lebih kompleks, jadi tujuannya adalah untuk mendapatkan sebanyak mungkin yang digunakan untuk menghasilkan respons yang akurat, tanpa mengorbankan kecepatan respons. Mengingat kendala parah dari proyek, itu adalah kasus memilih model yang cukup kecil untuk dapat digunakan.
Untuk membandingkan kinerja proyek PowerBook G4, itu diletakkan dengan satu inti Intel Xeon Silver 4216 clock pada 3.2GHz. Benchmark menghasilkan waktu tes untuk kueri 26,5 detik dan 6,91 token per detik.
Menjalankan kode yang sama pada PowerBook G4 berfungsi, tetapi pada tingkat yang jauh lebih lambat 4 menit, atau sembilan kali lebih lambat dari inti Xeon tunggal. Dengan lebih banyak optimasi, termasuk menggunakan ekstensi vektor seperti Altivec, setengah menit lagi dicukur dari operasi inferensi, atau membuat PowerBook G4 hanya delapan kali lebih lambat.
Ditemukan bahwa model yang dipilih mampu menghasilkan “kisah anak -anak yang aneh.” Ini membantu meringankan suasana hati selama debugging.
Di luar kecepatan
Tampaknya tidak mungkin bahwa akan ada lebih banyak kinerja yang dapat diperas dari perangkat keras uji, karena keterbatasan seperti penggunaan 32-bit dan memori maksimum 4GB. Sementara kuantisasi dapat membantu, ada terlalu sedikit ruang alamat untuk dapat digunakan.
Mengakui bahwa proyek mungkin berhenti pada saat ini, Rossignol menawarkan bahwa proyek “telah menjadi cara yang bagus untuk membuat jari kaki saya basah dengan LLM dan bagaimana mereka beroperasi.”
Dia juga menambahkan bahwa “cukup mengesankan bahwa komputer yang 15 tahun junior (ke Xeon) dapat melakukan ini sama sekali.”
Demonstrasi perangkat keras lama yang menjalankan LLM modern ini memberi harapan kepada pengguna bahwa perangkat keras mereka yang lebih tua dapat dikeluarkan dari masa pensiun dan masih digunakan dengan AI. Namun, sambil mengingat bahwa perkembangan perangkat lunak canggih akan berjalan dengan keterbatasan dan kecepatan yang jauh lebih lambat daripada perangkat keras modern.
Pendek dari penemuan optimasi ekstrem untuk meminimalkan persyaratan pemrosesan, mereka yang bekerja pada LLM dan AI secara umum masih harus terus membeli perangkat keras yang lebih modern untuk tugas tersebut.
M3 Ultra Mac Studio terbaru adalah cara yang hebat, jika sangat mahal, untuk menjalankan LLMS besar secara lokal. Tetapi bagi hobi yang berkecimpung dalam subjek, bermain -main dengan proyek -proyek seperti PowerBook G4 masih bisa bermanfaat.
ADVERTISEMENT:
Hai, sobat pencinta slot! pernahkah denger istilah “slot gaco”? Kalau belum, siap-siap jatuh cinta sama konsep ini. slot gaco adalah mesin slot yang selalu memberi win. Yup, mesin-mesin ini bisa disebut sebagai jagoannya tuk membawa pulang hasil. any way, cemana sih
tekniknya nemuin slot gacor yang tepat? Tenang Bro and Sis, kita beri santai saja di tempat ini
Gaming terpercaya saat ini satu-satunya berada Indonesia yaitu yang memberikan return on Investment terbesar
Daftarkanlah dengan di :
Informasi mengenai KING SLOT, Segera Daftar Bersama king selot terbaik dan terpercaya no satu di Indonesia. Boleh mendaftar melalui sini king slot serta memberikan hasil kembali yang paling tinggi saat sekarang ini hanyalah KING SLOT atau Raja slot paling gacor, gilak dan gaco saat sekarang di Indonesia melalui program return tinggi di kingselot serta pg king slot
slot demo gacor
slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
akun demo slot gacor
akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
akun slot demo gacor
akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
akun demo slot pragmatic
akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
akun slot demo pragmatic
akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
akun slot demo
akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
akun demo slot
akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
slot demo gacor
slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
akun demo slot gacor
akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
akun slot demo gacor
akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
akun demo slot pragmatic
akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
akun slot demo pragmatic
akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
akun slot demo
akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
akun demo slot
akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
slot demo gacor
slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
akun demo slot gacor
akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
akun slot demo gacor
akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
akun demo slot pragmatic
akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
akun slot demo pragmatic
akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
akun slot demo
akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
akun demo slot
akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
slot demo gacor
slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
akun demo slot gacor
akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
akun slot demo gacor
akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
akun demo slot pragmatic
akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
akun slot demo pragmatic
akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
akun slot demo
akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
akun demo slot
akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
situs slot terbaru
situs slot terbaru permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
slot terbaru
slot terbaru permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
merek 88 permainan paling top dan garansi imbal balik hasil besar bersama merek88.net
merek 88 permainan paling top dan garansi imbal balik hasil besar bersama merek88.com
mantan99 permainan paling top dan garansi imbal balik hasil besar bersama mantan99.asia
mantan88 permainan paling top dan garansi imbal balik hasil besar bersama mantan88.asia
maksimal88 permainan paling top dan garansi imbal balik hasil besar bersama maksimal88.biz
maksimal88 permainan paling top dan garansi imbal balik hasil besar bersama maksimal88.asia
liburan88 permainan paling top dan garansi imbal balik hasil besar bersama liburan88.com
indodax88 permainan paling top dan garansi imbal balik hasil besar bersama indodax88.org
indah99 permainan paling top dan garansi imbal balik hasil besar bersama indah99.asia
indah88 permainan paling top dan garansi imbal balik hasil besar bersama indah88.asia
ikn88 permainan paling top dan garansi imbal balik hasil besar bersama ikn88.asia
ibukota88 permainan paling top dan garansi imbal balik hasil besar bersama ibukota88.com
huawei88 permainan paling top dan garansi imbal balik hasil besar bersama huawei88.asia
hot888 permainan paling top dan garansi imbal balik hasil besar bersama hot888.asia
hot88 permainan paling top dan garansi imbal balik hasil besar bersama hot88.sale
dingin88 permainan paling top dan garansi imbal balik hasil besar bersama dingin88.net
citra88 permainan paling top dan garansi imbal balik hasil besar bersama citra88.asia
binance88 permainan paling top dan garansi imbal balik hasil besar bersama binance88.net
best99 permainan paling top dan garansi imbal balik hasil besar bersama best99.info
best88 permainan paling top dan garansi imbal balik hasil besar bersama best88.asia
tradisional 88 permainan paling top dan garansi imbal balik hasil besar bersama tradisional88.net
tradisional 88 permainan paling top dan garansi imbal balik hasil besar bersama tradisional88.com
tombol88 permainan paling top dan garansi imbal balik hasil besar bersama tombol88.org
tombol88 permainan paling top dan garansi imbal balik hasil besar bersama tombol88.net
survey88 permainan paling top dan garansi imbal balik hasil besar bersama survey88.net
survey88 permainan paling top dan garansi imbal balik hasil besar bersama survey88.com
start88 permainan paling top dan garansi imbal balik hasil besar bersama start88.org
start88 permainan paling top dan garansi imbal balik hasil besar bersama start88.asia
obatkuat88 permainan paling top dan garansi imbal balik hasil besar bersama obatkuat88.net
obatkuat88 permainan paling top dan garansi imbal balik hasil besar bersama obatkuat88.com
mcb88 permainan paling top dan garansi imbal balik hasil besar bersama mcb88.info
mcb88 permainan paling top dan garansi imbal balik hasil besar bersama mcb88.asia
master99 permainan paling top dan garansi imbal balik hasil besar bersama master99.biz
master888 permainan paling top dan garansi imbal balik hasil besar bersama master888.asia
master88 permainan paling top dan garansi imbal balik hasil besar bersama master88.asia
live88 permainan paling top dan garansi imbal balik hasil besar bersama live88.bio
live88 permainan paling top dan garansi imbal balik hasil besar bersama live88.asia
libra88 permainan paling top dan garansi imbal balik hasil besar bersama libra88.net
kompresor88 permainan paling top dan garansi imbal balik hasil besar bersama kompresor88.net
kompresor88 permainan paling top dan garansi imbal balik hasil besar bersama kompresor88.com
kesimpulan88 permainan paling top dan garansi imbal balik hasil besar bersama kesimpulan88.net
kesimpulan88 permainan paling top dan garansi imbal balik hasil besar bersama kesimpulan88.com
kapasitor88 permainan paling top dan garansi imbal balik hasil besar bersama kapasitor88.net
kapasitor88 permainan paling top dan garansi imbal balik hasil besar bersama kapasitor88.com
kacamata88 permainan paling top dan garansi imbal balik hasil besar bersama kacamata88.net
kacamata88 permainan paling top dan garansi imbal balik hasil besar bersama kacamata88.com
jamu88 permainan paling top dan garansi imbal balik hasil besar bersama jamu88.info
jamu88 permainan paling top dan garansi imbal balik hasil besar bersama jamu88.asia
jam88 permainan paling top dan garansi imbal balik hasil besar bersama jam88.info
jam88 permainan paling top dan garansi imbal balik hasil besar bersama jam88.asia
follow88 permainan paling top dan garansi imbal balik hasil besar bersama follow88.org
follow88 permainan paling top dan garansi imbal balik hasil besar bersama follow88.net
dinamo88 permainan paling top dan garansi imbal balik hasil besar bersama dinamo88.net
dinamo88 permainan paling top dan garansi imbal balik hasil besar bersama dinamo88.info
baterai88 permainan paling top dan garansi imbal balik hasil besar bersama baterai88.net
baterai88 permainan paling top dan garansi imbal balik hasil besar bersama baterai88.com
miegacoan permainan paling top dan garansi imbal balik hasil besar bersama miegacoan.life
miegacoan permainan paling top dan garansi imbal balik hasil besar bersama miegacoan.asia
gacoan permainan paling top dan garansi imbal balik hasil besar bersama gacoan.org
gacoan permainan paling top dan garansi imbal balik hasil besar bersama gacoan.asia
website88 permainan paling top dan garansi imbal balik hasil besar bersama website88.org
waweb88 permainan paling top dan garansi imbal balik hasil besar bersama waweb88.net
waweb88 permainan paling top dan garansi imbal balik hasil besar bersama waweb88.com
translate88 permainan paling top dan garansi imbal balik hasil besar bersama translate88.net
translate88 permainan paling top dan garansi imbal balik hasil besar bersama translate88.com
tempur888 permainan paling top dan garansi imbal balik hasil besar bersama tempur888.info
tempur888 permainan paling top dan garansi imbal balik hasil besar bersama tempur888.asia
tambang99 permainan paling top dan garansi imbal balik hasil besar bersama tambang99.news
tambang99 permainan paling top dan garansi imbal balik hasil besar bersama tambang99.asia
support88 permainan paling top dan garansi imbal balik hasil besar bersama support88.org
support88 permainan paling top dan garansi imbal balik hasil besar bersama support88.net
support88 permainan paling top dan garansi imbal balik hasil besar bersama support88.asia
sogoslot88 permainan paling top dan garansi imbal balik hasil besar bersama sogoslot88.asia
siap88 permainan paling top dan garansi imbal balik hasil besar bersama siap88.news
siap88 permainan paling top dan garansi imbal balik hasil besar bersama siap88.asia
rog88 permainan paling top dan garansi imbal balik hasil besar bersama rog88.asia
rog77 permainan paling top dan garansi imbal balik hasil besar bersama rog77.info
pt88 permainan paling top dan garansi imbal balik hasil besar bersama pt88.info
pt88 permainan paling top dan garansi imbal balik hasil besar bersama pt88.asia
pln88 permainan paling top dan garansi imbal balik hasil besar bersama pln88.biz
pln88 permainan paling top dan garansi imbal balik hasil besar bersama pln88.asia
oke99 permainan paling top dan garansi imbal balik hasil besar bersama oke99.asia
oke88 permainan paling top dan garansi imbal balik hasil besar bersama oke88.asia
mining88 permainan paling top dan garansi imbal balik hasil besar bersama mining88.org
livechat88 permainan paling top dan garansi imbal balik hasil besar bersama livechat88.info
livechat88 permainan paling top dan garansi imbal balik hasil besar bersama livechat88.asia
listrik88 permainan paling top dan garansi imbal balik hasil besar bersama listrik88.org
listrik88 permainan paling top dan garansi imbal balik hasil besar bersama listrik88.info
listrik88 permainan paling top dan garansi imbal balik hasil besar bersama listrik88.asia
freeport88 permainan paling top dan garansi imbal balik hasil besar bersama freeport88.net
freeport88 permainan paling top dan garansi imbal balik hasil besar bersama freeport88.com
free88 permainan paling top dan garansi imbal balik hasil besar bersama free88.org
free88 permainan paling top dan garansi imbal balik hasil besar bersama free88.asia
domain88 permainan paling top dan garansi imbal balik hasil besar bersama domain88.org
domain88 permainan paling top dan garansi imbal balik hasil besar bersama domain88.asia
dokter888 permainan paling top dan garansi imbal balik hasil besar bersama dokter888.net
dokter888 permainan paling top dan garansi imbal balik hasil besar bersama dokter888.asia
bmkg88 permainan paling top dan garansi imbal balik hasil besar bersama bmkg88.net
bmkg88 permainan paling top dan garansi imbal balik hasil besar bersama bmkg88.com
asn88 permainan paling top dan garansi imbal balik hasil besar bersama asn88.org
