Sampai sekarang, para pemimpin TI perlu mempertimbangkan risiko keamanan dunia maya yang ditimbulkan dengan memungkinkan pengguna untuk mengakses model bahasa besar (LLM) seperti chatgpt langsung melalui cloud. Alternatifnya adalah menggunakan Open Source LLMS yang dapat di-host di tempat atau diakses melalui cloud pribadi.
Model kecerdasan buatan (AI) perlu dijalankan dalam memori dan, saat menggunakan unit pemrosesan grafis (GPU) untuk akselerasi AI, ini berarti para pemimpin TI perlu mempertimbangkan biaya yang terkait dengan pembelian bank GPU untuk membangun memori yang cukup untuk menahan keseluruhan model.
GPU akselerasi AI high-end NVIDIA, H100, dikonfigurasi dengan 80GBytes memori akses acak (RAM), dan spesifikasinya menunjukkan peringkat 350W dalam hal penggunaan energi.
China Deepseek telah mampu menunjukkan bahwa R1 LLM dapat menyaingi AS AI tanpa perlu menggunakan perangkat keras GPU terbaru. Namun, itu mendapat manfaat dari akselerasi AI berbasis GPU.
Namun demikian, menggunakan versi pribadi Deepseek masih membutuhkan investasi perangkat keras yang signifikan. Untuk menjalankan seluruh model Deepseek-R1, yang memiliki 671 miliar parameter dalam memori, membutuhkan 768GBYTES memori. Dengan NVIDIA H100 GPU, yang dikonfigurasi dengan masing-masing 80GBytes dari kartu memori video, 10 akan diperlukan untuk memastikan seluruh model Deepseek-R1 dapat berjalan di dalam memori.
Para pemimpin TI mungkin dapat menegosiasikan diskon volume, tetapi biaya hanya perangkat keras akselerasi AI untuk menjalankan Deepseek adalah sekitar $ 250.000.
GPU yang kurang kuat dapat digunakan, yang dapat membantu mengurangi angka ini. Tetapi mengingat harga GPU saat ini, server yang mampu menjalankan model 670 miliar parameter dalam-memori yang lengkap akan menelan biaya lebih dari $ 100.000.
Server dapat dijalankan pada infrastruktur cloud publik. Azure, misalnya, menawarkan akses ke NVIDIA H100 dengan 900 Gbytes memori seharga $ 27,167 per jam, yang, di atas kertas, harus dengan mudah dapat menjalankan model 671 miliar parameter Deepseek-R1 sepenuhnya dalam memori.
Jika model ini digunakan setiap hari kerja, dan dengan asumsi 35 jam minggu dan empat minggu setahun liburan dan downtime, tagihan Azure tahunan akan hampir $ 46.000 per tahun. Sekali lagi, angka ini dapat dikurangi secara signifikan menjadi $ 16,63 per jam ($ 23.000) per tahun jika ada komitmen tiga tahun.
GPU yang kurang kuat akan jelas lebih murah, tetapi biaya memori yang membuat ini menjadi penghalang. Misalnya, melihat harga Google Cloud saat ini, GPU NVIDIA T4 dihargai $ 0,35 per GPU per jam, dan tersedia dengan empat GPU, memberikan total 64 GBYTE memori seharga $ 1,40 per jam, dan 12 akan diperlukan Agar sesuai dengan model parameter Deepseek-R1 671 miliar sepenuhnya dalam memori, yang bekerja pada $ 16,80 per jam. Dengan komitmen tiga tahun, angka ini turun menjadi $ 7,68, yang berhasil hanya di bawah $ 13.000 per tahun.
Pendekatan yang lebih murah
Pemimpin TI dapat mengurangi biaya lebih lanjut dengan menghindari GPU yang mahal sama sekali dan mengandalkan seluruhnya pada unit pemrosesan pusat tujuan umum (CPU). Pengaturan ini benar-benar hanya cocok ketika Deepseek-R1 digunakan murni untuk inferensi AI.
Tweet baru -baru ini dari Matthew Carrigan, insinyur pembelajaran mesin di Hugging Face, menunjukkan sistem seperti itu dapat dibangun menggunakan dua prosesor server EPYC AMD dan 768 GBYTE memori cepat. Sistem yang disajikannya dalam serangkaian tweet dapat disatukan sekitar $ 6.000.
Menanggapi komentar pada pengaturan tersebut, Carrigan mengatakan ia dapat mencapai tingkat pemrosesan enam hingga delapan token per detik, tergantung pada prosesor spesifik dan kecepatan memori yang dipasang. Itu juga tergantung pada panjang permintaan bahasa alami, tetapi tweetnya mencakup video yang menampilkan kueri-waktu-real-time dari Deepseek-R1 pada perangkat keras yang ia bangun berdasarkan pengaturan Dual AMD EPYC dan 768GBYTES memori.
Carrigan mengakui bahwa GPU akan menang dengan kecepatan, tetapi harganya mahal. Dalam serangkaian tweetnya, ia menunjukkan bahwa jumlah memori yang dipasang memiliki dampak langsung pada kinerja. Ini karena cara Deepseek “mengingat” pertanyaan sebelumnya untuk mendapatkan jawaban lebih cepat. Teknik ini disebut caching nilai-kunci (KV).
“Dalam pengujian dengan konteks yang lebih panjang, cache KV sebenarnya lebih besar dari yang saya sadari,” katanya, dan menyarankan bahwa konfigurasi perangkat keras akan membutuhkan memori 1tbytes alih-alih 76gbytes, ketika volume teks atau konteks yang besar ditempelkan ke Deepseek-R1 permintaan permintaan.
Membeli server Dell, HPE atau Lenovo prebuilt untuk melakukan sesuatu yang serupa cenderung jauh lebih mahal, tergantung pada prosesor dan konfigurasi memori yang ditentukan.
Cara berbeda untuk mengatasi biaya memori
Di antara pendekatan yang dapat diambil untuk mengurangi biaya memori adalah menggunakan beberapa tingkatan memori yang dikendalikan oleh chip khusus. Inilah yang telah dilakukan oleh startup California Sambanova menggunakan Unit Dataflow (RDU) yang dapat dikonfigurasi ulang oleh SN40L dan arsitektur Dataflow yang berpemilik untuk memori tiga tingkat.
“Deepseek-R1 adalah salah satu model AI perbatasan paling canggih yang tersedia, tetapi potensi penuhnya dibatasi oleh inefisiensi GPU,” kata Rodrigo Liang, CEO Sambanova.
Perusahaan, yang didirikan pada tahun 2017 oleh sekelompok mantan insinyur/oracle insinyur dan memiliki kolaborasi berkelanjutan dengan departemen teknik listrik Stanford University, mengklaim chip RDU meruntuhkan persyaratan perangkat keras untuk menjalankan Deepseek-R1 secara efisien dari 40 rak ke satu ke satu ke satu ke satu ke satu ke satu ke satu ke satu rak dikonfigurasi dengan 16 RDU.
Awal bulan ini di Konferensi LEAP 2025 di Riyadh, Sambanova menandatangani kesepakatan untuk memperkenalkan platform cloud LLM-as-A-Service Saudi Arab pertama. Saud Alsheraihi, wakil presiden solusi digital di Saudi Telecom Company, mengatakan: “Kolaborasi dengan Sambanova ini menandai tonggak penting dalam perjalanan kami untuk memberdayakan perusahaan Saudi dengan kemampuan AI yang berdaulat. Dengan menawarkan platform inferencing-as-a-service yang aman dan dapat diskalakan, kami memungkinkan organisasi untuk membuka kunci potensi penuh dari data mereka sambil mempertahankan kontrol penuh. “
Kesepakatan dengan penyedia telekomunikasi Arab Saudi ini menggambarkan bagaimana pemerintah perlu mempertimbangkan semua opsi saat membangun kapasitas AI yang berdaulat. Deepseek menunjukkan bahwa ada pendekatan alternatif yang bisa sama efektifnya dengan metode yang dicoba dan diuji untuk menyebarkan serangkaian GPU yang sangat besar dan mahal.
Dan sementara itu memang berjalan lebih baik, ketika perangkat keras AI yang dipercepat GPU hadir, apa yang diklaim Sambanova adalah bahwa ada juga cara alternatif untuk mencapai kinerja yang sama untuk menjalankan model seperti Deepseek-R1 on-premise, dalam memori, tanpa memori Biaya harus memperoleh GPU yang dilengkapi dengan memori yang dibutuhkan model.
ADVERTISEMENT:
Hai, sobat pengemar slots Pernah mendengar istilah “slot gaco”? Kalau belum, siap-siap jatuh cinta dengan program ini. slot gaco merupakan mesin slot yang sering kasih kemenangan. Yup, slot-slot ini bisa disebut adalah andalannya tuk membawa come back hasil. but, cemana sih
tekniknya jumpain slot demo yang benar? Tenang Bro and Sis, kita beri tenang saja di tempat ini
Gaming terpercaya waktu sekarang hanya satu di Indonesia yaitu akan memberikan ROI terbaik
Daftarkanlah dengan di :
Informasi mengenai KING SLOT, Segera Daftar Bersama king selot terbaik dan terpercaya no satu di Indonesia. Boleh mendaftar melalui sini king slot serta memberikan hasil kembali yang paling tinggi saat sekarang ini hanyalah KING SLOT atau Raja slot paling gacor, gilak dan gaco saat sekarang di Indonesia melalui program return tinggi di kingselot serta pg king slot
slot demo gacor
slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
akun demo slot gacor
akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
akun slot demo gacor
akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
akun demo slot pragmatic
akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
akun slot demo pragmatic
akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
akun slot demo
akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
akun demo slot
akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
slot demo gacor
slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
akun demo slot gacor
akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
akun slot demo gacor
akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
akun demo slot pragmatic
akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
akun slot demo pragmatic
akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
akun slot demo
akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
akun demo slot
akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
slot demo gacor
slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
akun demo slot gacor
akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
akun slot demo gacor
akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
akun demo slot pragmatic
akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
akun slot demo pragmatic
akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
akun slot demo
akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
akun demo slot
akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
slot demo gacor
slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
akun demo slot gacor
akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
akun slot demo gacor
akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
akun demo slot pragmatic
akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
akun slot demo pragmatic
akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
akun slot demo
akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
akun demo slot
akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
situs slot terbaru
situs slot terbaru permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
slot terbaru
slot terbaru permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
merek 88 permainan paling top dan garansi imbal balik hasil besar bersama merek88.net
merek 88 permainan paling top dan garansi imbal balik hasil besar bersama merek88.com
mantan99 permainan paling top dan garansi imbal balik hasil besar bersama mantan99.asia
mantan88 permainan paling top dan garansi imbal balik hasil besar bersama mantan88.asia
maksimal88 permainan paling top dan garansi imbal balik hasil besar bersama maksimal88.biz
maksimal88 permainan paling top dan garansi imbal balik hasil besar bersama maksimal88.asia
liburan88 permainan paling top dan garansi imbal balik hasil besar bersama liburan88.com
indodax88 permainan paling top dan garansi imbal balik hasil besar bersama indodax88.org
indah99 permainan paling top dan garansi imbal balik hasil besar bersama indah99.asia
indah88 permainan paling top dan garansi imbal balik hasil besar bersama indah88.asia
ikn88 permainan paling top dan garansi imbal balik hasil besar bersama ikn88.asia
ibukota88 permainan paling top dan garansi imbal balik hasil besar bersama ibukota88.com
huawei88 permainan paling top dan garansi imbal balik hasil besar bersama huawei88.asia
hot888 permainan paling top dan garansi imbal balik hasil besar bersama hot888.asia
hot88 permainan paling top dan garansi imbal balik hasil besar bersama hot88.sale
dingin88 permainan paling top dan garansi imbal balik hasil besar bersama dingin88.net
citra88 permainan paling top dan garansi imbal balik hasil besar bersama citra88.asia
binance88 permainan paling top dan garansi imbal balik hasil besar bersama binance88.net
best99 permainan paling top dan garansi imbal balik hasil besar bersama best99.info
best88 permainan paling top dan garansi imbal balik hasil besar bersama best88.asia
tradisional 88 permainan paling top dan garansi imbal balik hasil besar bersama tradisional88.net
tradisional 88 permainan paling top dan garansi imbal balik hasil besar bersama tradisional88.com
tombol88 permainan paling top dan garansi imbal balik hasil besar bersama tombol88.org
tombol88 permainan paling top dan garansi imbal balik hasil besar bersama tombol88.net
survey88 permainan paling top dan garansi imbal balik hasil besar bersama survey88.net
survey88 permainan paling top dan garansi imbal balik hasil besar bersama survey88.com
start88 permainan paling top dan garansi imbal balik hasil besar bersama start88.org
start88 permainan paling top dan garansi imbal balik hasil besar bersama start88.asia
obatkuat88 permainan paling top dan garansi imbal balik hasil besar bersama obatkuat88.net
obatkuat88 permainan paling top dan garansi imbal balik hasil besar bersama obatkuat88.com
mcb88 permainan paling top dan garansi imbal balik hasil besar bersama mcb88.info
mcb88 permainan paling top dan garansi imbal balik hasil besar bersama mcb88.asia
master99 permainan paling top dan garansi imbal balik hasil besar bersama master99.biz
master888 permainan paling top dan garansi imbal balik hasil besar bersama master888.asia
master88 permainan paling top dan garansi imbal balik hasil besar bersama master88.asia
live88 permainan paling top dan garansi imbal balik hasil besar bersama live88.bio
live88 permainan paling top dan garansi imbal balik hasil besar bersama live88.asia
libra88 permainan paling top dan garansi imbal balik hasil besar bersama libra88.net
kompresor88 permainan paling top dan garansi imbal balik hasil besar bersama kompresor88.net
kompresor88 permainan paling top dan garansi imbal balik hasil besar bersama kompresor88.com
kesimpulan88 permainan paling top dan garansi imbal balik hasil besar bersama kesimpulan88.net
kesimpulan88 permainan paling top dan garansi imbal balik hasil besar bersama kesimpulan88.com
kapasitor88 permainan paling top dan garansi imbal balik hasil besar bersama kapasitor88.net
kapasitor88 permainan paling top dan garansi imbal balik hasil besar bersama kapasitor88.com
kacamata88 permainan paling top dan garansi imbal balik hasil besar bersama kacamata88.net
kacamata88 permainan paling top dan garansi imbal balik hasil besar bersama kacamata88.com
jamu88 permainan paling top dan garansi imbal balik hasil besar bersama jamu88.info
jamu88 permainan paling top dan garansi imbal balik hasil besar bersama jamu88.asia
jam88 permainan paling top dan garansi imbal balik hasil besar bersama jam88.info
jam88 permainan paling top dan garansi imbal balik hasil besar bersama jam88.asia
follow88 permainan paling top dan garansi imbal balik hasil besar bersama follow88.org
follow88 permainan paling top dan garansi imbal balik hasil besar bersama follow88.net
dinamo88 permainan paling top dan garansi imbal balik hasil besar bersama dinamo88.net
dinamo88 permainan paling top dan garansi imbal balik hasil besar bersama dinamo88.info
baterai88 permainan paling top dan garansi imbal balik hasil besar bersama baterai88.net
baterai88 permainan paling top dan garansi imbal balik hasil besar bersama baterai88.com
miegacoan permainan paling top dan garansi imbal balik hasil besar bersama miegacoan.life
miegacoan permainan paling top dan garansi imbal balik hasil besar bersama miegacoan.asia
gacoan permainan paling top dan garansi imbal balik hasil besar bersama gacoan.org
gacoan permainan paling top dan garansi imbal balik hasil besar bersama gacoan.asia
website88 permainan paling top dan garansi imbal balik hasil besar bersama website88.org
waweb88 permainan paling top dan garansi imbal balik hasil besar bersama waweb88.net
waweb88 permainan paling top dan garansi imbal balik hasil besar bersama waweb88.com
translate88 permainan paling top dan garansi imbal balik hasil besar bersama translate88.net
translate88 permainan paling top dan garansi imbal balik hasil besar bersama translate88.com
tempur888 permainan paling top dan garansi imbal balik hasil besar bersama tempur888.info
tempur888 permainan paling top dan garansi imbal balik hasil besar bersama tempur888.asia
tambang99 permainan paling top dan garansi imbal balik hasil besar bersama tambang99.news
tambang99 permainan paling top dan garansi imbal balik hasil besar bersama tambang99.asia
support88 permainan paling top dan garansi imbal balik hasil besar bersama support88.org
support88 permainan paling top dan garansi imbal balik hasil besar bersama support88.net
support88 permainan paling top dan garansi imbal balik hasil besar bersama support88.asia
sogoslot88 permainan paling top dan garansi imbal balik hasil besar bersama sogoslot88.asia
siap88 permainan paling top dan garansi imbal balik hasil besar bersama siap88.news
siap88 permainan paling top dan garansi imbal balik hasil besar bersama siap88.asia
rog88 permainan paling top dan garansi imbal balik hasil besar bersama rog88.asia
rog77 permainan paling top dan garansi imbal balik hasil besar bersama rog77.info
pt88 permainan paling top dan garansi imbal balik hasil besar bersama pt88.info
pt88 permainan paling top dan garansi imbal balik hasil besar bersama pt88.asia
pln88 permainan paling top dan garansi imbal balik hasil besar bersama pln88.biz
pln88 permainan paling top dan garansi imbal balik hasil besar bersama pln88.asia
oke99 permainan paling top dan garansi imbal balik hasil besar bersama oke99.asia
oke88 permainan paling top dan garansi imbal balik hasil besar bersama oke88.asia
mining88 permainan paling top dan garansi imbal balik hasil besar bersama mining88.org
livechat88 permainan paling top dan garansi imbal balik hasil besar bersama livechat88.info
livechat88 permainan paling top dan garansi imbal balik hasil besar bersama livechat88.asia
listrik88 permainan paling top dan garansi imbal balik hasil besar bersama listrik88.org
listrik88 permainan paling top dan garansi imbal balik hasil besar bersama listrik88.info
listrik88 permainan paling top dan garansi imbal balik hasil besar bersama listrik88.asia
freeport88 permainan paling top dan garansi imbal balik hasil besar bersama freeport88.net
freeport88 permainan paling top dan garansi imbal balik hasil besar bersama freeport88.com
free88 permainan paling top dan garansi imbal balik hasil besar bersama free88.org
free88 permainan paling top dan garansi imbal balik hasil besar bersama free88.asia
domain88 permainan paling top dan garansi imbal balik hasil besar bersama domain88.org
domain88 permainan paling top dan garansi imbal balik hasil besar bersama domain88.asia
dokter888 permainan paling top dan garansi imbal balik hasil besar bersama dokter888.net
dokter888 permainan paling top dan garansi imbal balik hasil besar bersama dokter888.asia
bmkg88 permainan paling top dan garansi imbal balik hasil besar bersama bmkg88.net
bmkg88 permainan paling top dan garansi imbal balik hasil besar bersama bmkg88.com
asn88 permainan paling top dan garansi imbal balik hasil besar bersama asn88.org
