NPM : 2231024

Role : Back End

NPM : 2231086

Roles : UI/UX designer

NPM : 2231055

Roles : Data Collector

NPM : 2231048

Roles : Data Scientist

NPM :2231206

Roles : Data Scientist

1. Fokus pada Kolaborasi: IBM Data Science Methodology menekankan pentingnya kolaborasi antar tim, seperti bisnis, IT, dan data science. Hal ini memungkinkan keputusan berbasis data yang lebih menyeluruh.

2. Pendekatan yang Terstruktur: Metodologi ini memiliki kerangka kerja yang jelas dan terstruktur dari fase perencanaan hingga implementasi. Hal ini sangat membantu dalam memastikan tidak ada langkah yang terlewatkan.

3. Berfokus pada Iterasi: Metodologi ini memungkinkan adanya iterasi yang fleksibel di berbagai tahap untuk memperbaiki model atau strategi berdasarkan hasil analisis data.

4. Kompatibilitas dengan Alat dan Teknologi IBM: Tentunya metodologi ini dirancang untuk berintegrasi dengan platform IBM seperti IBM Watson Studio, sehingga memudahkan bagi pengguna yang telah menggunakan alat-alat tersebut.

Kekurangan:

1. Ketergantungan pada Ekosistem IBM: Walaupun metodologi ini dapat digunakan secara umum, ia lebih optimal jika diterapkan bersama alat-alat dari ekosistem IBM. Hal ini bisa menjadi kendala bagi organisasi yang tidak menggunakan produk IBM.

2. Tidak terlalu rinci pada fase pemodelan: Beberapa kritikus menyebutkan bahwa metodologi ini kurang rinci dalam bagian pemodelan, terutama untuk pemodelan yang lebih kompleks.

3. Kebutuhan akan Sumber Daya: Implementasi metodologi ini mungkin memerlukan tim multidisiplin yang besar, sehingga bisa menjadi tantangan bagi organisasi kecil.

Study Case

Studi Kasus: Prediksi Daerah Asal Usul Resep Berdasarkan Bahan-bahan

Memahami Masalah Bisnis:

• Tujuan: Mengembangkan model yang dapat memprediksi asal usul geografis sebuah resep berdasarkan bahan-bahan yang digunakan.

• Metrik: Akurasi prediksi asal usul resep, precision, dan recall untuk setiap daerah.

Pendekatan Analitik:

• Menggunakan model pembelajaran mesin untuk mengklasifikasikan resep ke dalam daerah tertentu berdasarkan pola penggunaan bahan.

• Menganalisis keterkaitan bahan tertentu dengan wilayah geografis.

Kebutuhan Data:

• Data Resep: Bahan-bahan yang digunakan dalam resep.

• Data Geografis: Informasi asal daerah dari setiap resep yang ada dalam dataset.

Pengumpulan Data:

• Mengumpulkan dataset yang berisi bahan-bahan dan daerah asal resep dari sumber data publik, seperti Kaggle atau situs kuliner.

• Data diambil dari berbagai jenis masakan, seperti Italia, India, Cina, dll.

Pemahaman Data:

• Melakukan analisis eksploratori untuk memahami distribusi bahan-bahan yang digunakan dalam setiap wilayah.

• Menganalisis frekuensi dan variasi bahan antar daerah.

• Mengidentifikasi outlier dan missing values.

Persiapan Data:

• Membersihkan data dari bahan yang tidak relevan atau nilai yang hilang.

• Melakukan feature engineering, seperti membuat variabel baru yang menunjukkan penggunaan bahan tertentu yang khas di suatu daerah.

• Melakukan teknik one-hot encoding untuk mengonversi bahan menjadi fitur numerik yang dapat digunakan oleh model.

Pemodelan:

• Mengembangkan model pembelajaran mesin seperti Random Forest, Logistic Regression, atau Naive Bayes untuk mengklasifikasikan resep ke dalam daerah asal.

• Melakukan validasi silang untuk menguji performa model dan menghindari overfitting.

Evaluasi:

• Mengevaluasi model menggunakan metrik seperti accuracy, precision, recall, dan F1 score.

• Membandingkan performa berbagai algoritma dan memilih model yang paling cocok.

Penyebaran:

• Mengintegrasikan model ini ke dalam aplikasi berbasis web untuk memprediksi asal usul resep berdasarkan input bahan dari pengguna.

• Mengembangkan dashboard untuk visualisasi hasil prediksi dan tren pola masakan dari berbagai daerah.

Umpan Balik:

• Memantau akurasi prediksi secara berkala.

• Mengumpulkan umpan balik dari pengguna dan data baru untuk meningkatkan performa model melalui pembaruan berkala.

source : https://github.com/kk289/IBM-Data-Science/tree/master/Course%203_Data%20Science%20Methodology

1. Pendekatan Terstruktur: Metodologi ini menawarkan pendekatan terstruktur yang mencakup setiap tahap penting dalam siklus proyek data science, seperti pemahaman data, persiapan, modeling, evaluasi, dan deployment.

2. Mendukung Kolaborasi: Metode ini dirancang untuk tim yang berkolaborasi, sehingga mendukung peran yang beragam dalam siklus data science, termasuk analis, engineer, dan developer.

3. Terintegrasi dengan Alat IBM: Berjalan dengan baik pada platform IBM seperti Watson Studio dan IBM Cloud, memberikan akses mudah ke alat dan teknologi canggih untuk data science dan AI.

4. Dukungan AutoAI: IBM Data Science Method terintegrasi dengan AutoAI yang dapat mengotomatiskan pemilihan model dan hyperparameter tuning, mempercepat proses pengembangan.

   
   

Kekurangan IBM Data Science Method:

1. Ketergantungan pada Ekosistem IBM: Meskipun kuat, metode ini sangat bergantung pada penggunaan alat dan teknologi dari IBM, yang bisa menjadi keterbatasan jika organisasi ingin menggunakan alat open-source atau dari vendor lain.

2. Kurva Pembelajaran yang Curam: Memahami dan mengimplementasikan metode ini mungkin memerlukan waktu, terutama bagi tim yang belum familiar dengan metodologi dan alat IBM.

3. Biaya Implementasi: Menggunakan alat dan teknologi IBM dapat meningkatkan biaya, terutama bagi organisasi kecil dengan anggaran terbatas.

1. Contoh Studi Kasus Penerapan IBM Data Science Method dalam kasus Memahami Masalah Menganalisis sentimen penonton terhadap film-film yang dirilis.

   Metrik: Akurasi prediksi sentimen, insight tentang faktor-faktor yang mempengaruhi sentimen positif/negatif.

   Manfaat bisnis: Membantu dalam pemilihan film untuk distribusi, perbaikan strategi pemasaran, dan peningkatan pengalaman penonton.

2. Pendekatan Analitik: Menggunakan teknik Natural Language Processing (NLP) dan machine learning untuk klasifikasi sentimen (positif/negatif) berdasarkan teks ulasan.

3. Kebutuhan Data:

   • Teks ulasan film

   • Rating numerik (jika tersedia)

   • Metadata film (genre, direktur, aktor utama, dll.)

   • Tanggal rilis dan tanggal ulasan

4. Pengumpulan Data: Data bisa dikumpulkan dari sumber seperti IMDB, Rotten Tomatoes, atau platform streaming internal.

5. Pemahaman Data: Melakukan analisis eksploratori untuk memahami distribusi sentimen, panjang ulasan, kata-kata yang sering muncul, dll.

6. Persiapan Data:

   • Membersihkan teks (menghapus karakter khusus, mengubah ke lowercase)

   • Tokenisasi

   • Menghapus stopwords

   • Stemming atau lemmatization

   • Vektorisasi teks (misalnya menggunakan TF-IDF)

7. Pemodelan: Mengembangkan model klasifikasi sentimen, misalnya menggunakan Naive Bayes, SVM, atau model deep learning seperti LSTM.

8. Evaluasi: Mengevaluasi model menggunakan metrik seperti akurasi, presisi, recall, dan F1-score.

9. Penyebaran: Mengintegrasikan model ke dalam sistem rekomendasi film atau dashboard analitik.

10. Umpan Balik: Secara berkala mengumpulkan umpan balik dari tim bisnis dan memperbarui model dengan data baru.

https://github.com/bentrevett/pytorch-sentiment-analysis

1. Terstruktur: Memberikan kerangka kerja yang jelas dan terorganisir.

2. Fleksibel: Dapat disesuaikan dengan berbagai jenis proyek.

3. Iteratif: Mendorong perbaikan berkelanjutan melalui umpan balik.

4. Berorientasi bisnis: Menekankan pentingnya menyelaraskan dengan tujuan bisnis.

5. Kolaboratif: Mendorong kerjasama antar tim.

Kekurangan:

1. Kompleksitas: Mungkin terlalu rumit untuk proyek-proyek kecil.

2. Waktu: Proses yang menyeluruh dapat memakan waktu lebih lama.

3. Kebutuhan sumber daya: Mungkin memerlukan tim yang lebih besar.

4. Kurva pembelajaran: Membutuhkan waktu untuk menguasai metodologi ini.

5. Potensi over-engineering: Risiko terlalu banyak perencanaan untuk masalah sederhana.

Contoh Studi Kasus: Penerapan IBM Data Science Method dalam kasus prediksi churn pelanggan untuk sebuah perusahaan telekomunikasi.

1. Memahami Masalah Bisnis:

   • Tujuan: Mengurangi churn pelanggan sebesar 20% dalam 6 bulan.

   • Metrik: Tingkat retensi pelanggan dan pendapatan yang dipertahankan.

2. Pendekatan Analitik:

   • Menggunakan model prediktif untuk mengidentifikasi pelanggan berisiko churn.

   • Menganalisis faktor-faktor yang berkontribusi terhadap churn.

3. Kebutuhan Data:

   • Data pelanggan: demografi, riwayat penggunaan layanan, interaksi layanan pelanggan.

   • Data produk: jenis layanan, harga, fitur.

   • Data kompetitor: penawaran dan harga kompetitor.

4. Pengumpulan Data:

   • Mengekstrak data dari CRM, sistem billing, dan survei kepuasan pelanggan.

   • Mengumpulkan data pasar tentang kompetitor.

5. Pemahaman Data:

   • Analisis eksploratori untuk memahami distribusi dan korelasi antar variabel.

   • Identifikasi outlier dan missing values.

6. Persiapan Data:

   • Membersihkan data dari nilai yang hilang atau tidak valid.

   • Melakukan feature engineering untuk menciptakan variabel baru yang relevan.

7. Pemodelan:

   • Mengembangkan model machine learning (misalnya, Random Forest) untuk memprediksi churn.

   • Melakukan validasi silang untuk menguji performa model.

8. Evaluasi:

   • Mengevaluasi model menggunakan metrik seperti AUC-ROC, presisi, dan recall.

   • Membandingkan performa model dengan baseline.

9. Penyebaran:

   • Mengintegrasikan model ke dalam sistem CRM untuk identifikasi real-time pelanggan berisiko.

   • Mengembangkan dashboard untuk tim retensi pelanggan.

10. Umpan Balik:

    • Memantau performa model secara berkala.

    • Mengumpulkan umpan balik dari tim bisnis dan melakukan penyesuaian.

https://github.com/IBM/watson-studio-learning-path-assets

• Kualitas dan Keandalan: IBM memiliki reputasi kuat dalam menghasilkan solusi data science yang berkualitas tinggi dan andal. Perusahaan ini telah menginvestasikan banyak sumber daya dalam riset dan pengembangan alat-alat yang canggih.

• Skalabilitas: Metode IBM seringkali dirancang untuk menangani dataset yang sangat besar dan kompleks, yang umum ditemukan dalam dunia bisnis modern.

• Integrasi dengan Teknologi Lain: Produk dan layanan IBM seringkali terintegrasi dengan baik dengan teknologi lain yang ada dalam suatu organisasi, seperti database, sistem operasi, dan aplikasi bisnis lainnya.

• Dukungan Komunitas: IBM memiliki komunitas pengguna yang besar dan aktif, yang dapat memberikan dukungan, berbagi pengetahuan, dan membantu memecahkan masalah.

• Fokus pada Bisnis: Metode IBM seringkali berorientasi pada hasil bisnis yang konkret. Perusahaan ini berusaha untuk membantu kliennya dalam membuat keputusan bisnis yang lebih baik berdasarkan data.

Kekurangan Metode Ilmu Data IBM

• Kompleksitas: Alat dan metode IBM seringkali sangat canggih dan kompleks, sehingga membutuhkan keahlian khusus untuk digunakan secara efektif.

• Biaya: Produk dan layanan IBM umumnya memiliki biaya lisensi yang cukup tinggi, yang dapat menjadi kendala bagi organisasi dengan anggaran terbatas.

• Ketergantungan pada Vendor: Terlalu bergantung pada produk IBM dapat menghambat fleksibilitas dalam memilih solusi data science yang paling sesuai.

• Kurva Pembelajaran: Untuk menguasai alat dan metode IBM, diperlukan waktu dan upaya yang cukup besar untuk mempelajari berbagai konsep dan teknik.

Use Case Analisis Sentimen Produk di E-commerce

• Tujuan: Memahami persepsi konsumen terhadap produk tertentu, mengidentifikasi tren, dan meningkatkan kualitas produk atau layanan.

• Data: Ulasan pelanggan yang terdapat pada platform e-commerce (misalnya, Amazon, Tokopedia).

Proses Analisis Sentimen

1. Pengumpulan Data:

   • Scraping: Mengambil data ulasan dari berbagai platform e-commerce (Amazon, Tokopedia, Shopee, dll.)

   • API: Menggunakan API yang disediakan oleh platform e-commerce untuk mendapatkan data secara terstruktur.

2. Pembersihan Data:

   • Preprocessing: Menghapus noise seperti emotikon, tanda baca yang tidak perlu, dan stop words.

   • Tokenisasi: Membagi teks menjadi kata-kata individu.

   • Normalisasi: Mengubah kata ke bentuk dasarnya (stemming atau lemmatization).

3. Feature Extraction:

   • Bag-of-Words: Mengubah teks menjadi vektor numerik berdasarkan frekuensi kemunculan kata.

   • TF-IDF: Memberikan bobot yang lebih tinggi pada kata yang jarang muncul tetapi relevan.

   • Word Embeddings: Merepresentasikan kata dalam ruang vektor semantik, menangkap hubungan antara kata-kata.

4. Analisis Sentimen:

   • Rule-Based: Menggunakan kamus sentimen (misalnya, VADER) untuk mengklasifikasikan sentimen.

   • Machine Learning: Melatih model klasifikasi (misalnya, Naive Bayes, Support Vector Machine, atau model deep learning) untuk memprediksi sentimen berdasarkan fitur yang telah diekstrak.

5. Evaluasi:

   • Metrik Evaluasi: Menggunakan metrik seperti akurasi, precision, recall, dan F1-score untuk mengukur kinerja model.

   • Visualisasi: Memvisualisasikan hasil analisis menggunakan grafik atau word cloud.

https://github.com/abdullahselek/sentiment-analysis-on-amazon-reviews

1. Dapat Diaplikasikan untuk Berbagai Proyek:

   IBM Data Science Methodology dirancang agar fleksibel dan dapat diterapkan pada berbagai skenario, baik untuk prediksi, analisis, segmentasi, atau pemrosesan bahasa alami (NLP).

2. Integrasi dengan Alat-Alat IBM:

   Kerangka ini dioptimalkan untuk bekerja dengan alat-alat IBM seperti Watson Studio, IBM Cloud, dan SPSS. Ini memudahkan implementasi, monitoring, dan deployment proyek data science secara efisien.

3. Fokus pada Pemahaman Masalah Bisnis:

   • Tahapan awal dalam metodologi ini adalah “Business Understanding”, yang membantu memastikan bahwa proyek dimulai dengan pemahaman yang mendalam tentang masalah bisnis yang ingin diselesaikan.

   • Membantu mencocokkan solusi data science dengan tujuan bisnis sehingga hasil akhirnya lebih relevan.

4. Memiliki Komponen Evaluasi yang Kuat:

   • Metodologi ini menekankan pentingnya evaluasi model yang mendalam, tidak hanya dari sisi performa model, tetapi juga dampak bisnis, interpretasi hasil, dan keberlanjutan model di masa depan.

Kekurangan:

1. Kurva Pembelajaran yang Curam bagi Pemula:

   Bagi yang baru mengenal data science atau belum familiar dengan metodologi ini, memahami dan menerapkan setiap tahap secara mendalam bisa menjadi tantangan. Dokumentasi IBM yang mendetail kadang bisa terasa kompleks untuk pemula.

2. Tidak Terlalu Berbeda dari Metodologi Lain:

   IBM Data Science Methodology berbasis pada CRISP-DM dan Metodologi KDD yang sudah lebih dulu ada. Oleh karena itu, jika dibandingkan dengan metodologi tersebut, perbedaannya mungkin tidak terlalu signifikan bagi para profesional yang sudah menggunakan metode-metode lain.

3. Terlalu Formal untuk Proyek Kecil:

   Metodologi ini sangat cocok untuk proyek besar dengan kompleksitas yang tinggi. Namun, untuk proyek data science yang sederhana, beberapa tahapannya bisa terasa berlebihan dan memakan waktu lebih lama.

4. Memerlukan Keterampilan Multidisiplin:

   Menggunakan metodologi ini secara optimal memerlukan pemahaman yang baik tidak hanya tentang teknik data science, tetapi juga tentang manajemen proyek, domain bisnis, dan pemahaman alat-alat cloud.

Contoh studi kasus:

Deteksi Penipuan Kartu Kredit

Metodologi IBM Data Science:

Memahami Masalah Bisnis:

• Tujuan: Mengurangi kerugian finansial akibat penipuan kartu kredit dengan mendeteksi transaksi mencurigakan secara real-time.

• Metrik: Tingkat deteksi transaksi penipuan, precision, recall, serta pengurangan biaya akibat penipuan.

Pendekatan Analitik:

• Menggunakan model pembelajaran mesin untuk mengidentifikasi transaksi penipuan berdasarkan pola anomali dalam data.

• Menganalisis fitur-fitur transaksi yang menunjukkan pola penipuan.

Kebutuhan Data:

• Data Transaksi: Informasi tentang waktu, jumlah transaksi, lokasi, dan jenis merchant.

• Data Pelanggan: Informasi demografi pelanggan serta riwayat transaksi sebelumnya.

• Data Eksternal: Informasi terkait perangkat, alamat IP, dan lokasi geografis.

Pengumpulan Data:

• Data diambil dari sistem manajemen transaksi keuangan yang menyimpan riwayat transaksi kartu kredit.

• Mengumpulkan data eksternal dari sumber seperti ISP atau penyedia layanan keamanan.

Pemahaman Data:

• Melakukan analisis eksploratori untuk memahami pola transaksi normal dan penipuan.

• Mengidentifikasi outlier yang mungkin merupakan transaksi penipuan.

Pembersihan dan Persiapan Data:

• Mengatasi Data Hilang: Mengimputasi data yang hilang atau membuang transaksi yang memiliki informasi yang kurang signifikan.

• Feature Engineering: Membuat variabel baru yang dapat membantu dalam identifikasi, seperti waktu transaksi yang tidak biasa atau lokasi yang tidak sesuai dengan riwayat pelanggan.

• Penanganan Ketidakseimbangan Data: Melakukan oversampling atau undersampling untuk mengatasi ketidakseimbangan data antara transaksi normal dan penipuan.

Pemilihan Model:

• Anomaly Detection: Menggunakan algoritma seperti Isolation Forest, Local Outlier Factor (LOF), atau One-Class SVM untuk mendeteksi transaksi yang tidak sesuai dengan pola normal.

• Klasifikasi: Jika terdapat label yang jelas pada data penipuan, model klasifikasi seperti Random Forest, XGBoost, atau Neural Network dapat digunakan untuk mengklasifikasikan transaksi sebagai normal atau fraud.

Evaluasi Model:

• Mengevaluasi performa model menggunakan metrik seperti precision, recall, F1-score, dan ROC curve untuk mengukur akurasi dan efektivitas model dalam mendeteksi penipuan.

Deployment:

• Menyebarkan model ke dalam sistem deteksi penipuan secara real-time yang dapat langsung memberi peringatan jika terjadi transaksi mencurigakan.

• Mengembangkan dashboard untuk memantau performa model dan menganalisis laporan transaksi yang terdeteksi sebagai penipuan.

Umpan Balik:

• Memantau performa model dan terus memperbarui dengan data transaksi terbaru.

• Mengumpulkan umpan balik dari sistem manajemen risiko untuk meningkatkan akurasi model.

https://github.com/yzhao062/PyOD