Layanan kecerdasan buatan (AI) seperti ChatGPT OpenAI, Copilot Microsoft, dan Gemini Google berjalan di cloud. Namun ketika menyangkut penerapan di perusahaan, AI tidak hanya terbatas pada cloud saja.
Kemajuan teknologi, pengembangan “bahasa kecil” dan model sumber terbuka, kinerja, dan manfaat menempatkan AI di dekat sumber data menciptakan situasi yang mendukung arsitektur lokal. Lalu ada pertimbangan seputar keamanan, privasi data, perlindungan kekayaan intelektual, dan biaya. Masing-masing dari mereka memiliki alasan yang kuat untuk menggunakan AI on-premise, meskipun sebagian besar perhatian industri tertuju pada solusi cloud.
“Sebagian besar perusahaan saat ini menjalankan beban kerja AI mereka di cloud, didorong oleh keunggulan skalabilitas, efisiensi biaya, dan penerapan cepat yang signifikan yang ditawarkan oleh platform cloud seperti AWS (Amazon Web Services), Microsoft Azure, dan Google Cloud,” kata Derreck Van Gelderen, head strategi AI di PA Consulting.
“Penyedia cloud ini telah mengembangkan ekosistem komprehensif yang memungkinkan perusahaan untuk memotong biaya infrastruktur di muka yang besar dan sebagai gantinya mengakses sumber daya fleksibel yang ideal untuk menangani tuntutan komputasi AI yang tinggi – dan sekarang model AI generatif (GenAI), terutama selama masa padat sumber daya. fase pelatihan,” tambahnya.
John Gasparini, pimpinan strategi dan teknologi cloud di KPMG, melihat tren serupa. “Tentu saja, sebagian besar klien yang bekerja dengan saya menggunakan layanan AI berbasis cloud untuk menguji beberapa kasus penggunaan awal ini,” katanya. “Mereka memanfaatkan beberapa model bahasa atau landasan besar yang ada, atau membangun model mereka sendiri di atas layanan cloud ini.”
Membangun kemampuan AI internal, menurutnya, memerlukan “investasi modal yang signifikan”, namun laba atas investasi (ROI) dari AI belum terjamin.
Infrastruktur cloud memungkinkan organisasi untuk membangun sistem AI dengan cepat, namun juga mengurangi skala proyek yang gagal. Cloud juga memberikan akses siap pakai ke model-model canggih, termasuk model bahasa besar (LLM) generasi terbaru. Banyak model GenAI terkemuka, setidaknya untuk saat ini, hanya tersedia di cloud.
Namun cloud memang memiliki keterbatasan. Dan beberapa keterbatasan ini menjadi lebih menjadi beban ketika perusahaan memperluas penggunaan AI – baik dalam hal luasnya tugas yang dilakukan, atau dengan menghubungkannya dengan data yang lebih sensitif.
Keterbatasan AI di cloud
Keterbatasan AI berbasis cloud sebagian besar mencerminkan kelemahan komputasi awan untuk aplikasi perusahaan lainnya: kedaulatan data, keamanan, peraturan yang terus berkembang, dan biaya.
“Kelebihan public cloud adalah bisa menguji ide. Jika tidak berfungsi, Anda dapat mematikannya, dan pada saat itu Anda tidak perlu menanggung biaya penghapusan yang besar,” kata Gasparini dari KPMG.
Keuntungan dari public cloud adalah Anda dapat menguji ide. Jika tidak berfungsi, Anda dapat mematikannya, dan Anda tidak perlu menanggung biaya penghapusan yang besar pada saat itu
John Gasparini, KPMG
Namun seiring dengan berkembangnya proyek AI, tagihan juga meningkat. “Saya tentu saja telah melakukan percakapan dengan klien baru-baru ini yang mulai mencari cara untuk mendapatkan visibilitas biaya AI,” tambahnya.
Seperti halnya aplikasi cloud lainnya, perusahaan perlu memahami cara memprediksi dan mengelola biaya tersebut. Dan untuk AI, biaya dapat meningkat seiring dengan semakin besarnya volume data untuk pelatihan dan semakin banyaknya pengguna yang melakukan lebih banyak pertanyaan melalui alat AI.
“Cloud dapat berkembang dan dengan biaya jangka pendek dapat bekerja dengan sangat baik,” saran Grant Caley, direktur solusi Inggris dan Irlandia di pemasok teknologi NetApp. “Tetapi begitu Anda meninggalkan barang-barang di sana, (termasuk) data itu sendiri, Anda harus membayarnya. Ini menjadi argumen biaya dengan cepat.”
Selain itu, jika sebuah bisnis menggunakan database vektor untuk proyek AI – dan sebagian besar memang menggunakan database tersebut – para pelaku industri memperkirakan bahwa mereka memerlukan ruang 10 kali lebih banyak dibandingkan dengan data aslinya. Hal ini dengan cepat meningkatkan biaya. Kedaulatan data, privasi, dan keamanan juga menjadi alasan peralihan dari cloud ke AI on-premise.
“Beberapa tantangan utama yang dihadapi organisasi adalah privasi dan kedaulatan data,” Van Gelderen dari PA Consulting memperingatkan. “Hal ini sangat penting terutama di sektor-sektor seperti pertahanan, nuklir, layanan kesehatan, dan organisasi dengan regulasi ketat lainnya yang memerlukan kontrol kuat atas data.”
Performa juga bisa menjadi masalah. “Latensi juga merupakan masalah lain, terutama untuk aplikasi yang memerlukan respons real-time atau latensi rendah, seperti sistem otonom atau solusi berbasis edge,” katanya. “Penundaan yang disebabkan oleh transmisi data ke dan dari server cloud dapat menjadi faktor pembatas.”
Memindahkan AI secara internal
Keterbatasan cloud mendorong setidaknya beberapa perusahaan untuk menjalankan AI secara internal, atau mencari opsi on-premise seiring dengan berkembangnya operasi AI mereka. Hal ini terkait dengan jenis perusahaan AI yang dijalankan, lokasi sumber data, dan perbedaan kebutuhan fase pelatihan dan inferensi AI.
Cloud dapat berkembang dan pada titik biaya jangka pendek yang bekerja dengan sangat baik. Namun begitu Anda meninggalkan barang di sana, (termasuk) datanya sendiri, Anda harus membayarnya. Ini menjadi argumen biaya dengan cepat
Hibah Caley, NetApp
“Saat ini, ketika kebanyakan orang mengacu pada AI, 90% dari waktu mereka memikirkan teknologi GenAI,” kata Van Gelderen dari PA Consulting. “AI Generatif dan LLM, bagaimanapun, hanyalah bagian dari lanskap AI yang lebih luas dan memiliki kebutuhan infrastruktur yang berbeda dibandingkan dengan AI ‘tradisional’ – misalnya, model klasifikasi dan regresi pembelajaran mesin, dan subset lain seperti pemrosesan bahasa alami dan visi komputer. ”
Hal ini menunjukkan bahwa organisasi memerlukan lebih dari satu pendekatan teknologi untuk AI. Selain itu, semakin pentingnya generasi retrieval-augmented (RAG) menambah lapisan kompleksitas lainnya. Perusahaan menggunakan RAG untuk menambahkan konteks bisnis mereka sendiri ke keluaran model AI. Hal ini dapat menimbulkan hasil yang lebih sensitif, atau memerlukan keamanan lebih, dibandingkan hasil mentah dari model bahasa besar.
“Rasanya RAG sudah menjadi hal yang tidak dapat dinegosiasikan bagi perusahaan yang menggunakan AI generatif di lingkungan mereka sendiri,” kata kepala bidang teknologi Pure Storage untuk EMEA, Patrick Smith.
“Pertama, ini mengatasi sebagian besar, jika tidak semua, tantangan halusinasi. Kedua, ini memberi Anda kemampuan untuk menggunakan data Anda sendiri dengan AI generatif tanpa harus melakukan penyesuaian apa pun. Ketiga, ini memungkinkan Anda mengatasi masalah waktu yang sulit karena tidak dapat menggunakan data saat ini kecuali melakukan pelatihan ulang (model). Jadi, wawasan yang ada juga ditangani,” tambahnya.
Namun hal ini memengaruhi infrastruktur yang dibutuhkan untuk menjalankan AI. Menurut Smith, hal ini berdampak pada kinerja dan “gravitasi data”. Tempat terbaik untuk menemukan data, sarannya, tidak didorong oleh model bahasa yang besar dibandingkan oleh database vektor.
“Hal ini menentukan letak keseluruhan solusi, yang kemudian memengaruhi orang untuk menarik solusi AI dari cloud publik kembali ke pusat data mereka,” katanya. “Segera setelah Anda menggunakan database vektor dan pendekatan RAG, maka Anda menginginkan model tersebut di samping database vektor Anda.”
Perusahaan juga tidak selalu memerlukan model AI generatif terbaru yang berbasis cloud. Ada peningkatan minat terhadap LLM open source, seperti Meta’s Llama.
Model-model bermunculan yang dapat berjalan pada perangkat keras yang kurang kuat, dari perusahaan seperti Mistral Perancis, serta model-model yang spesifik pada sektor tertentu.
Dan para peneliti juga sedang mengerjakan model bahasa kecil. Ini mungkin lebih cocok untuk menangani data yang paling sensitif, dan lebih mudah dijalankan sendiri. Pada akhirnya, model ini dapat berjalan pada server berstandar industri, atau bahkan pada laptop yang kuat. Namun opsi ini merupakan proposisi yang sangat berbeda dengan menjalankan LLM generasi saat ini secara internal, terutama selama tahap pelatihan dan penyetelan.
Menjalankan AI secara internal – pertimbangan praktis
Perusahaan yang ingin menjalankan beban kerja AI secara internal perlu mempertimbangkan persyaratan teknis dan biaya di muka untuk infrastruktur TI dibandingkan dengan biaya yang sedang berlangsung dan berpotensi meningkat untuk cloud.
“Menjalankan beban kerja AI di lokasi menghadirkan beberapa tantangan, termasuk biaya perangkat keras yang tinggi, kebutuhan daya dan pendinginan, serta tuntutan pemeliharaan yang berkelanjutan. Membangun infrastruktur yang mampu mendukung model GenAI berskala besar membutuhkan banyak modal,” Van Gelderen dari PA Consulting memperingatkan. “Dalam fase pelatihan, yang memerlukan kumpulan data besar dan kekuatan pemrosesan yang besar, lingkungan cloud sering kali memberikan keuntungan yang jelas.”
Gagal di cloud itu murah, tapi suksesnya mahal
Patrick Smith, Penyimpanan Murni
Perusahaan juga perlu mempertimbangkan apakah mereka memiliki ruang pusat data, daya, dan komponen yang dibutuhkan.
Perangkat keras khusus AI, terutama unit pemrosesan grafis (GPU), mahal dan sulit diperoleh. Hyperscaler dan pelanggan cloud AI mereka memiliki akses ke GPU dalam jumlah besar. “Permintaan untuk chipset (GPU) melebihi pasokan,” kata Gasparini dari KPMG. “Oleh karena itu, hanya sedikit yang tersisa untuk dikonsumsi oleh korporasi.”
Perusahaan mungkin perlu mempertimbangkan model yang tidak terlalu intensif sumber daya untuk implementasi AI di lokasi, yang dapat berjalan pada perangkat keras yang ada.
Namun ada juga argumen efisiensi yang mendukung hal tersebut. Pada tahap inferensi, model AI mungkin akan terus berjalan, sehingga lebih ekonomis untuk dijalankan secara internal, asalkan perusahaan memiliki kapasitas pusat data.
“Mengembalikan segala sesuatunya ke pusat data adalah hal yang baik untuk dilakukan dari sudut pandang profil biaya, terutama jika model tersebut akan berjalan sepanjang waktu,” saran Caley dari NetApp. “Jika Anda hanya akan menjalankan banyak GPU selama 10 jam untuk mengerjakan sebuah proyek, mungkin cloud lebih baik untuk itu.”
Smith dari Pure Storage setuju. “Gagal di cloud itu murah, tapi suksesnya mahal,” katanya. “Lakukan pembuatan prototipe di sana – Anda bisa membuang semuanya jika tidak berjalan sesuai rencana. Namun ketika Anda memasukkannya ke dalam produksi, karena Anda telah membuktikan ROI Anda, Anda telah membuktikan bahwa ini adalah layanan bisnis yang berharga, dan Anda ingin fokus pada potensi biayanya.”
Hal ini, pada akhirnya, kemungkinan besar akan mendorong organisasi untuk menemukan model AI yang dapat bekerja dengan infrastruktur TI yang mereka miliki atau mampu mereka bangun, dibandingkan mengandalkan cloud untuk strategi AI jangka panjang mereka.
ADVERTISEMENT:
Hai, para pencinta slot! pernahkah mendengar istilah “raja slot? Kalau belum, siap-siap jatuh cinta dengan program ini. raja slot adalah mesin slots yang sering memberi win. Ya, mesin-mesin ini bisa disebut sebagai jagoannya tuk membawa pulang cuan. but, cemana sih
tekniknya nemuin slot demo yang tepat? Santuy Bro, kita bahas tenang aja di tempat ini
Permainan terbaik waktu ini hanya satu di Indonesia hanya di akan memberikan ROI tertinggi
Daftar dengan di :
Informasi mengenai KING SLOT, Segera Daftar Bersama king selot terbaik dan terpercaya no satu di Indonesia. Boleh mendaftar melalui sini king slot serta memberikan hasil kembali yang paling tinggi saat sekarang ini hanyalah KING SLOT atau Raja slot paling gacor, gilak dan gaco saat sekarang di Indonesia melalui program return tinggi di kingselot serta pg king slot
