Data selalu dianggap sebagai perhiasan mahkota organisasi, tetapi karena ledakan sumber data, memahami informasi terstruktur dan tidak terstruktur yang terkandung dalam berbagai penyimpanan data perusahaan adalah tugas yang semakin kompleks. Menyatukan semuanya untuk memberikan pandangan yang homogen tentang aktivitas bisnis mungkin tampak seperti proyek yang tidak akan pernah berakhir, itulah sebabnya sekarang ada minat dalam rekayasa data.
Menurut analis Gartner, insinyur data memainkan peran kunci dalam memungkinkan organisasi untuk membuka kunci nilai data. Ini melibatkan merancang dan membangun sistem untuk mengumpulkan, menyimpan, mengubah, mengoperasionalkan, dan mengirimkan data pada skala. Perusahaan analis mengatakan rekayasa data melibatkan kolaborasi antara bisnis dan untuk membuat data yang sesuai dapat diakses dan tersedia untuk berbagai pengguna data – seperti ilmuwan data atau analis data – pada waktu yang tepat.
Gartner’s Keterampilan penting bagi insinyur data untuk berhasil Laporan mengidentifikasi berbagai keterampilan yang diperlukan dalam rekayasa data. Laporan Penulis Mayank Talwar, Zain Khan dan Shubhankar Nandi Jelaskan Bahasa Kueri Terstruktur (SQL) sebagai meresap di berbagai alat dan platform, menjadikannya keterampilan yang kritis dan diperluas. Sebagai contoh meresap SQL, mereka mencatat bahwa DBT, alat transformasi data, memungkinkan insinyur data untuk mengubah data di gudang mereka hanya dengan menulis pernyataan SQL SELECT.
Keterampilan inti kedua yang diidentifikasi dalam laporan ini adalah pemrosesan data, yang digambarkan sebagai “keterampilan dasar yang harus dimiliki oleh setiap insinyur data”. Ini karena data dalam format mentahnya biasanya tidak berguna untuk analitik. Pemrosesan data mencakup pemrosesan batch dan real-time; Penyimpanan mencakup teknologi seperti danau data, gudang data, basis data grafik dan dokumen, dan penyimpanan objek. Bahasa pemrograman umum yang digunakan oleh tim rekayasa data termasuk Python, Java dan Scala.
Keterampilan inti lainnya yang terdaftar oleh Gartner termasuk penyimpanan data, orkestrasi data, pemrograman dan kolaborasi. Berkenaan dengan orkestrasi data, para analis mencatat bahwa pipa rekayasa data perlahan-lahan bergerak dari alat yang mendukung arsitektur yang digerakkan oleh tugas, seperti Airflow Apache dan Luigi, menuju alat yang menawarkan pendekatan yang digerakkan data, seperti Dagster, Flyte dari Lyft dan dan Flyte dan reflow.
Gartner merekomendasikan para pemimpin TI memprioritaskan pengembangan keterampilan rekayasa data inti karena mereka banyak diadopsi, banyak digunakan dan telah terbukti memberikan manfaat yang signifikan.
Pendekatan yang lebih sederhana?
Ada kasus untuk menilai pendekatan yang lebih sederhana untuk mencapai tujuan menyediakan data perusahaan yang tepat waktu kepada bisnis dalam format yang dapat memanfaatkan pengguna untuk perencanaan dan analisis. Di sinilah penyedia sistem perencanaan sumber daya perusahaan tradisional (ERP) melihat peluang untuk membangun bisnis di sekitar kebutuhan organisasi untuk memiliki satu versi kebenaran. Dari perspektif ERP, versi tunggal kebenaran ini berada dalam sistem catatan yang membentuk sistem ERP.
SAP, misalnya, memberikan seluruh sistem dan tumpukan aplikasi sebagai penawaran cloud-centric berdasarkan berlangganan, bersama dengan penambangan proses dan alat lainnya, ditambah dukungan, pemeliharaan dan layanan lainnya.
Dale Vile, salah satu pendiri firma analis Freeform Dynamics, mencatat bahwa SAP’s Business Technology Platform (BTP) dapat dianggap sebagai bagian integral dari penawaran cloud pemasok. BTP pada dasarnya adalah platform sebagai layanan (PAAS) yang memungkinkan pelanggan untuk memperluas aplikasi SAP dan/atau membangun aplikasi khusus.
“Untuk beberapa pelanggan, layanan yang mencakup semua ini benar-benar menarik karena itu berarti mereka tidak perlu lagi khawatir tentang operasi tingkat sistem, pemantauan, keamanan, dan sebagainya,” kata Vile. “Banyak hal yang membuat lanskap SAP begitu menantang untuk dijalankan dan diubah dari waktu ke waktu diurus begitu Anda menandatangani kontrak.”
Kontrak secara efektif mengikat suatu organisasi ke dalam SAP. Meskipun ada kasus untuk membangun fleksibilitas, untuk beberapa organisasi, jauh lebih penting untuk memiliki satu versi kebenaran dan memiliki semua data di satu tempat. Ini adalah kasus di perusahaan manufaktur Irlandia Waterwipes, seperti yang dijelaskan Liz Cotter.
Anda dapat memiliki otomatisasi analitik canggih Anda, tetapi jika data master Anda tidak akurat, maka data transaksional Anda tidak berharga
Liz Cotter, waterwipes
Sebelumnya, katanya, sistem perangkat lunak sebagai layanan (SaaS) duduk bersama SAP dan “mungkin telah diintegrasikan dengan SAP, tetapi tidak sepenuhnya diselaraskan”. Dengan kata lain, organisasi memilih produk SaaS terbaik untuk mendukung proses bisnis tertentu, seperti sumber daya manusia atau layanan pelanggan. Cotter mengatakan ini berarti SAP bukan sistem catatan untuk beberapa set data baru yang digunakan oleh bisnis.
Dia mengatakan SAP DataSphere memungkinkan bisnis untuk menjalankan platform standar sebagai sistem catatan untuk data transaksional, yang menyediakan salinan master dari data organisasi. “Saya merasa bahwa SAP telah beralih dan menawarkan lebih banyak alat untuk memenuhi permintaan data yang diperkaya,” katanya.
Cotter bergabung dengan waterwipes pada Januari 2024 dengan pengiriman untuk menempatkan manajemen data dan tata kelola data. Dia mengatakan perusahaan tidak memanfaatkan data terbaik yang tersedia, yang dapat digunakan untuk mendapatkan wawasan dan membantu menyelaraskan dengan indikator kinerja utama strategis (KPI).
“Ketika kami menilai kematangan data kami, tidak ada tata kelola data dan keamanan data. Kami membutuhkan alat untuk membantu mengurangi risiko itu dengan cepat, ”katanya.
Seperti yang ditunjukkan Cotter, inisiatif bisnis yang digerakkan oleh IT yang sukses membutuhkan fondasi data yang solid. “Anda dapat memiliki otomatisasi analitik canggih Anda, tetapi jika data master Anda tidak akurat, maka data transaksional Anda tidak berharga,” katanya. Untuk Cotter, ada sedikit gunanya berinvestasi dalam teknologi baru kecuali data seakurat mungkin.
Perusahaan mulai bekerja dengan Bluestonex dalam mengimplementasikan alat manajemen data master MAEXTRO -nya. Ini dikembangkan pada SAP BTP dan menyediakan tata kelola data dan manajemen data untuk waterwipes.
“Ini pada dasarnya aplikasi untuk mengelola data, alur kerja, dan pelaporan data,” kata Cotter.
Ini menghindari pengembang SAP yang harus menjalankan kueri langsung pada sistem S/4HANA perusahaan. Dalam hal kematangan data, Cotter mengatakan: “Kami tidak akan mencapai tingkat ahli, tetapi kami ingin menyelaraskan dengan strategi 2027 kami, yang sangat ambisius dalam hal penjualan dan pertumbuhan pelanggan.”
Pendekatan bertahap telah melibatkan membangun tata kelola data dan praktik terbaik manajemen data terlebih dahulu, sebelum berinvestasi dalam teknologi.
Mendukung AI
Mengingat tren untuk berbuat lebih banyak dengan kecerdasan buatan (AI), para analis Gartner mendesak para pemimpin TI untuk memastikan insinyur data mengakui perlunya meningkatkan diri sendiri. Upskilling ini, menurut Gartner, diperlukan jika insinyur data ingin berpartisipasi dalam membangun lapisan Data Foundation untuk perusahaan yang telah memutuskan untuk melatih model bahasa pada data perusahaan mereka.
“Dengan selera Genai (generatif kecerdasan buatan) untuk melatih data yang meningkat secara eksponensial, insinyur data dapat memainkan peran penting dalam membuat platform data dan pipa yang dapat memasok data berkualitas tinggi yang diperlukan untuk melatih model-model ini,” kata analis di dalam Keterampilan penting bagi insinyur data untuk berhasil laporan.
Gartner memperkirakan bahwa perusahaan akan mulai membangun model bahasa yang lebih kecil, lebih halus dan dikuratori bisnis-sebagai lawan dari model bahasa besar-untuk kontrol yang lebih besar pada biaya, privasi, risiko, dan akurasi. Gartner percaya insinyur data perlu mempelajari cara bekerja dengan data yang tidak terstruktur dan membuat repositori data untuk memungkinkan pembangunan model ini.
Idealnya, para pemimpin TI akan diberikan waktu dan sumber daya untuk mengembangkan praktik rekayasa data, tetapi ini tidak mungkin. Pengalaman Cotter di WaterWipes menunjukkan itu sangat mungkin bagi bahkan organisasi -organisasi yang masih cukup awal dalam perjalanan manajemen data mereka untuk mencapai nilai bisnis secara relatif cepat. Satu peringatan adalah bahwa ini mungkin melibatkan terikat pada set produk tertentu, seperti sistem ERP.
ADVERTISEMENT:
Hello, para pengemar slot! Pernah denger semboyan “slot demo”? jika belum, siap-siap jatuh cinta sama program ini. slot gaco merupakan mesin slots yang sering kasih kemenangan. Yup, slot-slot ini bisa dibilang sebagai jagoannya tuk bawa pulang cuan. but, gimana sih
tekniknya nemuin slot gaco yang benar? Santuy Bro and Sis, kita beri santai aja di tempat ini
Gaming tergaco waktu ini satu-satunya berada Indonesia yaitu pasti menyediakan return on Investment terbaik
Daftar hanya di :
Informasi mengenai KING SLOT, Segera Daftar Bersama king selot terbaik dan terpercaya no satu di Indonesia. Boleh mendaftar melalui sini king slot serta memberikan hasil kembali yang paling tinggi saat sekarang ini hanyalah KING SLOT atau Raja slot paling gacor, gilak dan gaco saat sekarang di Indonesia melalui program return tinggi di kingselot serta pg king slot
