Data Warehouse dan Data Mining

Definisi :
Data Warehouse adalah Pusat repositori informasi yang mampu
memberikan database berorientasi subyek untuk informasi yang
bersifat historis yang mendukung DSS (Decision Suport System)
dan EIS (Executive Information System).
Salinan dari transaksi data yang terstruktur secara spesifik pada
query dan analisa.
Salinan dari transaksi data yang terstruktur spesifik untuk query
dan laporan
Tujuan :
Meningkatkan kualitas dan akurasi informasi bisnis dan
mengirimkan informasi ke pemakai dalam bentuk yang
dimengerti dan dapat diakses dengan mudah


Empat karakteristik data warehouse

1. Subject oriented
– Data yang disusun menurut subyek berisi hanya informasi yang penting bagi pemprosesan decision support.
– Database yang semua informasi yang tersimpan di kelompokkan berdasarkan
subyek tertentu misalnya: pelanggan, gudang, pasar, dsb.
– Semua Informasi tersebut disimpan dalam suatu sistem data warehouse.
– Data-data di setiap subyek dirangkum ke dalam dimensi, misalnya : periode
waktu, produk, wilayah, dsb, sehingga dapat memberikan nilai sejarah untuk
bahan analisa.

2. Integrated
– Jika data terletak pada berbagai aplikasi yang terpisah dalam suatu lingkungan operasional, encoding data sering tidak seragam sehinggga bila data dipindahkan ke data warehouse maka coding akan diasumsikan sama seperti lazimnya.

3. Time variant
Data warehouse adalah tempat untuk storing data selama 5 sampai 10 tahun atau lebih, data digunakan untuk perbandingan atau perkiraan dan data ini tidak dapat diperbaharui.


4. Non-volatile
Data tidak dapat diperbaharui atau dirubah tetapi hanya dapat ditambah dan dilihat

Konsep data warehouse





Langkah penerapan data warehouse




Proses Data warehouse




ARSITEKTUR DATA WAREHOUSE

Pilihan berikut harus dibuat didalam perancangan data warehouse
• process model
Tipe apa yang akan dimodelkan?
• grain
Apa dasar data dan level atom data yang akan disajikan?
• dimensi
Dimensi apa yang dipakai untuk masing-masing record tabel fakta?
• ukuran
Ukuran apa yang akan mengumpulkan masing-masing record tabel fakta?


ARSITEKTUR DAri DATA WAREHOUSE




Arsitektur Data Warehouse




OLAP (On-line analytical processing)

 OLAP adalah suatu sistem atau teknologi yang dirancang untuk
mendukung proses analisis kompleks dalam rangka mengungkapkan
kecenderungan pasar dan faktor-faktor penting dalam bisnis

 OLAP ditandai dengan kemampuannya menaikkan atau menurunkan
dimensi data sehingga kita dapat menggali data sampai pada level yang
sangat detail dan memperoleh pandangan yang lebih luas mengenai
objek yang sedang kita analisis.

 OLAP secara khusus memfokuskan pada pembuatan data agar dapat
diakses pada saat pendefinisian kembali dimensi.

 OLAP dapat digunakan membuat rangkuman dari multidimensi data
yang berbeda, rangkuman baru dan mendapatkan respon secara online,
dan memberikan view dua dimensi pada data cube multidimensi secara
interaktif.


Data Mining

Ekstraksi informasi atau pola yang penting atau menarik dari data yang ada di database yang besar sehingga menjadi informasi yang sangat berharga

proses penemuan yang efisien sebuah pola terbaik yang dapat menghasilkan sesuatu yang bernilai dari suatu koleksi data yang sangat besar


Perbedaan data warehouse dan data mining



teknologi data warehouse digunakan untuk melakukan OLAP (On-line Analytical Processing) , sedangkan data mining digunakan untuk melakukan information discovery


Arsitektur Data Mining




Tahap pemprosesan dalam Data Mining



Knowledge Discovery In Database (KDD)


Tahapan Proses KDD

1. Data Selection
– Menciptakan himpunan data target , pemilihan himpunan data, atau memfokuskan pada subset variabel atau sampel data, dimana penemuan (discovery) akan
dilakukan.
– Pemilihan (seleksi) data dari sekumpulan data operasional perlu dilakukan sebelum tahap penggalian informasi dalam KDD dimulai. Data hasil seleksi yang akan digunakan untuk proses data mining, disimpan dalam suatu berkas, terpisah dari basis data operasional.

2. Pre-processing/ Cleaning
– Pemprosesan pendahuluan dan pembersihan data merupakan operasi dasar seperti penghapusan noise dilakukan.

– Sebelum proses data mining dapat dilaksanakan, perlu dilakukan proses cleaning pada data yang menjadi fokus KDD.

– Proses cleaning mencakup antara lain membuang duplikasi data, memeriksa data yang inkonsisten, dan memperbaiki kesalahan pada data, seperti kesalahan cetak (tipografi).

– Dilakukan proses enrichment, yaitu proses “memperkaya" data yang sudah ada dengan data atau informasi lain yang relevan dan diperlukan untuk KDD, seperti data atau
informasi eksternal.

3. Transformation
– Pencarian fitur-fitur yang berguna untuk mempresentasikan data bergantung kepada goal yang ingin dicapai.

– Merupakan proses transformasi pada data yang telah dipilih, sehingga data tersebut sesuai untuk proses data mining. Proses ini merupakan proses kreatif dan sangat
tergantung pada jenis atau pola informasi yang akan dicari dalam basis data


4. Data mining
– Pemilihan tugas data mining; pemilihan goal dari proses KDD misalnya klasifikasi, regresi, clustering, dll.

– Pemilihan algoritma data mining untuk pencarian (searching)

– Proses Data mining yaitu proses mencari pola atau informasi menarik dalam data terpilih dengan menggunakan teknik atau metode tertentu. Teknik, metode, atau algoritma dalam data mining sangat bervariasi. Pemilihan metode atau algoritma yang tepat sangat bergantung pada tujuan dan proses KDD secara keseluruhan.

5. Interpretation/ Evaluation
– Penerjemahan pola-pola yang dihasilkan dari data mining.

– Pola informasi yang dihasilkan dari proses data mining perlu ditampilkan dalam bentuk yang mudah dimengerti oleh pihak yang berkepentingan.

– Tahap ini merupakan bagian dari proses KDD yang mencakup pemeriksaan apakah pola atau informasi yang ditemukan bertentangan dengan fakta atau hipotesa yang ada sebelumnya.


Arsitektur Data Mining

Keterangan :
1. Data cleaning (Pembersihan Data) : untuk membuang data yang tidak konsisten dan noise)
2. Data integration : penggabungan data dari beberapa sumber
3. Data Mining Engine : Mentranformasikan data menjadi bentuk yang sesuai untuk di mining
4. Pattern evaluation : untuk menemukan yang bernilai melalui knowledge base
5. Graphical User Interface (GUI) : untuk end user


Model Data Mining

•Prediction Methods
–Menggunakan beberapa variabel untuk memprediksi sesuatu atau suatu nilai yang
akan datang.

•Description Methods
– Mendapatkan pola penafsiran (humaninterpretable patterns) untuk menjelaskan
data.


Penerapan Data Mining di Perusahaan

1. Analisa Perusahaan dan Manajemen Resiko
2. Perencanaan Keuangan dan Evaluasi Aset
Data Mining dapat membantu untuk melakukan analisis dan prediksi cash flow serta melakukan contingent claim analysis untuk mengevaluasi aset. Selain itu uga dapat menggunakannya untuk analisis trend.

3. Perencanaan Sumber Daya (Resource Planning)
Dengan melihat informasi ringkas (summary) serta pola pembelanjaan dan pemasukan dari masing-masing resource, dapat memanfaatkannya untuk melakukan resource planning.

4. Persaingan (Competition)
Sekarang ini banyak perusahaan yang berupaya untuk dapat melakukan competitive intelligence. Data Mining dapat membantu untuk memonitor pesaing-pesaing dan melihat market direction mereka.
dapat melakukan pengelompokan customer dan memberikan variasi harga/layanan/bonus untuk masing-masing grup.
Menyusun strategi penetapan harga di pasar yang sangat kompetitif. Hal ini diterapkan oleh perusahaan minyak REPSOL di Spanyol dalam menetapkan harga jual gas di pasaran.