Peneliti Google meluncurkan arsitektur kecerdasan buatan (AI) baru minggu lalu yang memungkinkan model bahasa besar (LLM) mengingat konteks peristiwa dan topik jangka panjang. Sebuah makalah diterbitkan oleh raksasa teknologi yang berbasis di Mountain View mengenai topik tersebut, dan para peneliti mengklaim bahwa model AI yang dilatih menggunakan arsitektur ini menunjukkan kemampuan retensi memori yang lebih “mirip manusia”. Khususnya, Google membuang arsitektur Transformer dan Recurrent Neural Network (RNN) tradisional untuk mengembangkan metode baru guna mengajarkan model AI cara mengingat informasi kontekstual.
Titans Dapat Menskalakan Jendela Konteks Model AI Lebih dari 2 Juta Token
Peneliti utama proyek ini, Ali Behrouz, memposting tentang arsitektur baru di X (sebelumnya dikenal sebagai Twitter). Dia mengklaim bahwa arsitektur baru menyediakan memori meta dalam konteks dengan perhatian yang mengajarkan model AI cara mengingat informasi pada komputasi waktu pengujian.
Menurut makalah Google, yang telah diterbitkan di jurnal online pra-cetak arXiv, arsitektur Titans dapat menskalakan jendela konteks model AI hingga lebih dari dua juta token. Memori telah menjadi masalah yang sulit dipecahkan oleh pengembang AI.
Manusia mengingat informasi dan peristiwa dengan konteks. Jika seseorang bertanya kepada seseorang tentang apa yang dia kenakan akhir pekan lalu, mereka akan dapat mengingat informasi kontekstual tambahan, seperti menghadiri pesta ulang tahun seseorang yang mereka kenal selama 12 tahun terakhir. Dengan cara ini, ketika ditanyai tindak lanjut pertanyaan tentang mengapa mereka mengenakan jaket coklat dan jeans denim akhir pekan lalu, orang tersebut akan dapat mengontekstualisasikannya dengan semua informasi jangka pendek dan jangka panjang ini.
Model AI, di sisi lain, biasanya menggunakan sistem retrieval-augmented generation (RAG), yang dimodifikasi untuk arsitektur Transformer dan RNN. Ia menggunakan informasi sebagai simpul saraf. Jadi, ketika model AI ditanyai sebuah pertanyaan, model tersebut mengakses node tertentu yang berisi informasi utama, serta node terdekat yang mungkin berisi informasi tambahan atau terkait. Namun, setelah kueri diselesaikan, informasi tersebut dihapus dari sistem untuk menghemat daya pemrosesan.
Namun, ada dua kelemahan dari hal ini. Pertama, model AI tidak dapat mengingat informasi dalam jangka panjang. Jika seseorang ingin mengajukan pertanyaan lanjutan setelah sesi selesai, ia harus memberikan konteks lengkapnya lagi (tidak seperti bagaimana fungsi manusia). Kedua, model AI tidak berfungsi dengan baik dalam mengambil informasi yang melibatkan konteks jangka panjang.
Dengan Titans AI, Behrouz dan peneliti Google lainnya berupaya membangun arsitektur yang memungkinkan model AI mengembangkan memori jangka panjang yang dapat terus dijalankan, sambil melupakan informasi sehingga dapat dioptimalkan secara komputasi.
Untuk tujuan ini, para peneliti merancang arsitektur yang mengkodekan sejarah ke dalam parameter jaringan saraf. Tiga varian yang digunakan — Memory as Context (MAC), Memory as Gating (MAG), dan Memory as a Layer (MAL). Masing-masing varian ini cocok untuk tugas tertentu.
Selain itu, Titans menggunakan sistem pembelajaran baru berbasis kejutan, yang memberi tahu model AI untuk mengingat informasi tak terduga atau informasi penting tentang suatu topik. Kedua perubahan ini memungkinkan arsitektur Titans menampilkan peningkatan fungsi memori di LLM.
Dalam tolok ukur BABILong, Titans (MAC) menunjukkan performa luar biasa, yang secara efektif menskalakan hingga lebih besar dari jendela konteks 2M, mengungguli model besar seperti GPT-4, Llama3 + RAG, dan Llama3-70B. pic.twitter.com/ZdngmtGIoW
— Ali Behrouz (@behrouz_ali) 13 Januari 2025
Dalam postingan terpisah, Behrouz mengklaim bahwa berdasarkan pengujian internal pada benchmark BABILong (pendekatan needle-in-a-haystack), model Titans (MAC) mampu mengungguli model AI besar seperti GPT-4, LLama 3 + RAG, dan Llama 3 70B.
ADVERTISEMENT:
Halo, sobat pengemar slot! pernahkah mendengar istilah “raja slot? jika tidak, bersiaplah jatuh cinta dengan program ini. slot demo adalah mesin slot yang selalu kasih win. Yup, mesin-mesin ini bisa disebut sebagai jagoannya tuk membawa come back hasil. any way, cemana sih
tekniknya jumpain slot gacor yang benar? Tenang Bro and Sis, kita bahas santai saja di tempat ini
Game terpopuler saat sekarang hanya satu di Indonesia hanya di pasti menyediakan return on Investment terbaik
SEGERA dengan di :
Informasi mengenai KING SLOT, Segera Daftar Bersama king selot terbaik dan terpercaya no satu di Indonesia. Boleh mendaftar melalui sini king slot serta memberikan hasil kembali yang paling tinggi saat sekarang ini hanyalah KING SLOT atau Raja slot paling gacor, gilak dan gaco saat sekarang di Indonesia melalui program return tinggi di kingselot serta pg king slot
slot demo gacor
slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
akun demo slot gacor
akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
akun slot demo gacor
akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
akun demo slot pragmatic
akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
akun slot demo pragmatic
akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
akun slot demo
akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
akun demo slot
akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
slot demo gacor
slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
akun demo slot gacor
akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
akun slot demo gacor
akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
akun demo slot pragmatic
akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
akun slot demo pragmatic
akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
akun slot demo
akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
akun demo slot
akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
slot demo gacor
slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
akun demo slot gacor
akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
akun slot demo gacor
akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
akun demo slot pragmatic
akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
akun slot demo pragmatic
akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
akun slot demo
akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
akun demo slot
akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
slot demo gacor
slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
akun demo slot gacor
akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
akun slot demo gacor
akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
akun demo slot pragmatic
akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
akun slot demo pragmatic
akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
akun slot demo
akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
akun demo slot
akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
situs slot terbaru
situs slot terbaru permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
slot terbaru
slot terbaru permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
merek 88 permainan paling top dan garansi imbal balik hasil besar bersama merek88.net
merek 88 permainan paling top dan garansi imbal balik hasil besar bersama merek88.com
mantan99 permainan paling top dan garansi imbal balik hasil besar bersama mantan99.asia
mantan88 permainan paling top dan garansi imbal balik hasil besar bersama mantan88.asia
maksimal88 permainan paling top dan garansi imbal balik hasil besar bersama maksimal88.biz
maksimal88 permainan paling top dan garansi imbal balik hasil besar bersama maksimal88.asia
liburan88 permainan paling top dan garansi imbal balik hasil besar bersama liburan88.com
indodax88 permainan paling top dan garansi imbal balik hasil besar bersama indodax88.org
indah99 permainan paling top dan garansi imbal balik hasil besar bersama indah99.asia
indah88 permainan paling top dan garansi imbal balik hasil besar bersama indah88.asia
ikn88 permainan paling top dan garansi imbal balik hasil besar bersama ikn88.asia
ibukota88 permainan paling top dan garansi imbal balik hasil besar bersama ibukota88.com
huawei88 permainan paling top dan garansi imbal balik hasil besar bersama huawei88.asia
hot888 permainan paling top dan garansi imbal balik hasil besar bersama hot888.asia
hot88 permainan paling top dan garansi imbal balik hasil besar bersama hot88.sale
dingin88 permainan paling top dan garansi imbal balik hasil besar bersama dingin88.net
citra88 permainan paling top dan garansi imbal balik hasil besar bersama citra88.asia
binance88 permainan paling top dan garansi imbal balik hasil besar bersama binance88.net
best99 permainan paling top dan garansi imbal balik hasil besar bersama best99.info
best88 permainan paling top dan garansi imbal balik hasil besar bersama best88.asia
tradisional 88 permainan paling top dan garansi imbal balik hasil besar bersama tradisional88.net
tradisional 88 permainan paling top dan garansi imbal balik hasil besar bersama tradisional88.com
tombol88 permainan paling top dan garansi imbal balik hasil besar bersama tombol88.org
tombol88 permainan paling top dan garansi imbal balik hasil besar bersama tombol88.net
survey88 permainan paling top dan garansi imbal balik hasil besar bersama survey88.net
survey88 permainan paling top dan garansi imbal balik hasil besar bersama survey88.com
start88 permainan paling top dan garansi imbal balik hasil besar bersama start88.org
start88 permainan paling top dan garansi imbal balik hasil besar bersama start88.asia
obatkuat88 permainan paling top dan garansi imbal balik hasil besar bersama obatkuat88.net
obatkuat88 permainan paling top dan garansi imbal balik hasil besar bersama obatkuat88.com
mcb88 permainan paling top dan garansi imbal balik hasil besar bersama mcb88.info
mcb88 permainan paling top dan garansi imbal balik hasil besar bersama mcb88.asia
master99 permainan paling top dan garansi imbal balik hasil besar bersama master99.biz
master888 permainan paling top dan garansi imbal balik hasil besar bersama master888.asia
master88 permainan paling top dan garansi imbal balik hasil besar bersama master88.asia
live88 permainan paling top dan garansi imbal balik hasil besar bersama live88.bio
live88 permainan paling top dan garansi imbal balik hasil besar bersama live88.asia
libra88 permainan paling top dan garansi imbal balik hasil besar bersama libra88.net
kompresor88 permainan paling top dan garansi imbal balik hasil besar bersama kompresor88.net
kompresor88 permainan paling top dan garansi imbal balik hasil besar bersama kompresor88.com
kesimpulan88 permainan paling top dan garansi imbal balik hasil besar bersama kesimpulan88.net
kesimpulan88 permainan paling top dan garansi imbal balik hasil besar bersama kesimpulan88.com
kapasitor88 permainan paling top dan garansi imbal balik hasil besar bersama kapasitor88.net
kapasitor88 permainan paling top dan garansi imbal balik hasil besar bersama kapasitor88.com
kacamata88 permainan paling top dan garansi imbal balik hasil besar bersama kacamata88.net
kacamata88 permainan paling top dan garansi imbal balik hasil besar bersama kacamata88.com
jamu88 permainan paling top dan garansi imbal balik hasil besar bersama jamu88.info
jamu88 permainan paling top dan garansi imbal balik hasil besar bersama jamu88.asia
jam88 permainan paling top dan garansi imbal balik hasil besar bersama jam88.info
jam88 permainan paling top dan garansi imbal balik hasil besar bersama jam88.asia
follow88 permainan paling top dan garansi imbal balik hasil besar bersama follow88.org
follow88 permainan paling top dan garansi imbal balik hasil besar bersama follow88.net
dinamo88 permainan paling top dan garansi imbal balik hasil besar bersama dinamo88.net
dinamo88 permainan paling top dan garansi imbal balik hasil besar bersama dinamo88.info
baterai88 permainan paling top dan garansi imbal balik hasil besar bersama baterai88.net
baterai88 permainan paling top dan garansi imbal balik hasil besar bersama baterai88.com
miegacoan permainan paling top dan garansi imbal balik hasil besar bersama miegacoan.life
miegacoan permainan paling top dan garansi imbal balik hasil besar bersama miegacoan.asia
gacoan permainan paling top dan garansi imbal balik hasil besar bersama gacoan.org
gacoan permainan paling top dan garansi imbal balik hasil besar bersama gacoan.asia
website88 permainan paling top dan garansi imbal balik hasil besar bersama website88.org
waweb88 permainan paling top dan garansi imbal balik hasil besar bersama waweb88.net
waweb88 permainan paling top dan garansi imbal balik hasil besar bersama waweb88.com
translate88 permainan paling top dan garansi imbal balik hasil besar bersama translate88.net
translate88 permainan paling top dan garansi imbal balik hasil besar bersama translate88.com
tempur888 permainan paling top dan garansi imbal balik hasil besar bersama tempur888.info
tempur888 permainan paling top dan garansi imbal balik hasil besar bersama tempur888.asia
tambang99 permainan paling top dan garansi imbal balik hasil besar bersama tambang99.news
tambang99 permainan paling top dan garansi imbal balik hasil besar bersama tambang99.asia
support88 permainan paling top dan garansi imbal balik hasil besar bersama support88.org
support88 permainan paling top dan garansi imbal balik hasil besar bersama support88.net
support88 permainan paling top dan garansi imbal balik hasil besar bersama support88.asia
sogoslot88 permainan paling top dan garansi imbal balik hasil besar bersama sogoslot88.asia
siap88 permainan paling top dan garansi imbal balik hasil besar bersama siap88.news
siap88 permainan paling top dan garansi imbal balik hasil besar bersama siap88.asia
rog88 permainan paling top dan garansi imbal balik hasil besar bersama rog88.asia
rog77 permainan paling top dan garansi imbal balik hasil besar bersama rog77.info
pt88 permainan paling top dan garansi imbal balik hasil besar bersama pt88.info
pt88 permainan paling top dan garansi imbal balik hasil besar bersama pt88.asia
pln88 permainan paling top dan garansi imbal balik hasil besar bersama pln88.biz
pln88 permainan paling top dan garansi imbal balik hasil besar bersama pln88.asia
oke99 permainan paling top dan garansi imbal balik hasil besar bersama oke99.asia
oke88 permainan paling top dan garansi imbal balik hasil besar bersama oke88.asia
mining88 permainan paling top dan garansi imbal balik hasil besar bersama mining88.org
livechat88 permainan paling top dan garansi imbal balik hasil besar bersama livechat88.info
livechat88 permainan paling top dan garansi imbal balik hasil besar bersama livechat88.asia
listrik88 permainan paling top dan garansi imbal balik hasil besar bersama listrik88.org
listrik88 permainan paling top dan garansi imbal balik hasil besar bersama listrik88.info
listrik88 permainan paling top dan garansi imbal balik hasil besar bersama listrik88.asia
freeport88 permainan paling top dan garansi imbal balik hasil besar bersama freeport88.net
freeport88 permainan paling top dan garansi imbal balik hasil besar bersama freeport88.com
free88 permainan paling top dan garansi imbal balik hasil besar bersama free88.org
free88 permainan paling top dan garansi imbal balik hasil besar bersama free88.asia
domain88 permainan paling top dan garansi imbal balik hasil besar bersama domain88.org
domain88 permainan paling top dan garansi imbal balik hasil besar bersama domain88.asia
dokter888 permainan paling top dan garansi imbal balik hasil besar bersama dokter888.net
dokter888 permainan paling top dan garansi imbal balik hasil besar bersama dokter888.asia
bmkg88 permainan paling top dan garansi imbal balik hasil besar bersama bmkg88.net
bmkg88 permainan paling top dan garansi imbal balik hasil besar bersama bmkg88.com
asn88 permainan paling top dan garansi imbal balik hasil besar bersama asn88.org
