NPM : 2231024

Role : Back End

NPM :2231206

Roles : Data Scientist

NPM : 2231086

Roles : UI/UX designer

NPM : 2231048

Roles : Data Scientist

NPM : 2231055

Roles : Data Collector

Sebuah perusahaan teknologi saat ini tengah mengembangkan asisten suara bertenaga AI yang dirancang untuk perangkat rumah. Berikut ini adalah uraian singkat tentang proses pengumpulan data perusahaan tersebut:

1. Mereka mempekerjakan agen pengumpulan data khusus seperti Shaip untuk merekrut dan mengelola ribuan peserta dari latar belakang bahasa yang beragam, memastikan beragam aksen, dialek, dan pola bicara.

2. Perusahaan mengatur individu untuk melakukan aktivitas, seperti menyetel alarm, menanyakan informasi cuaca terkini, mengelola perangkat rumah pintar, dan menanggapi berbagai perintah dan pertanyaan.

3. Mereka merekam suara-suara di berbagai lingkungan untuk meniru situasi kehidupan nyata, seperti ruangan yang tenang, dapur yang sibuk, dan suasana luar ruangan.

4. Perusahaan juga mengumpulkan rekaman kebisingan sekitar, seperti gonggongan anjing dan suara televisi, untuk membantu AI dalam membedakan perintah suara dari kebisingan latar belakang.

src : https://id.shaip.com/blog/ai-data-collection-buyers-guide/

• Deskripsi: Langkah pertama adalah memahami dengan jelas masalah yang ingin dipecahkan oleh proyek AI. Misalnya, apakah tujuannya adalah untuk mengembangkan sistem pengenalan suara, mobil otonom, atau chatbot?

• Contoh: Dalam proyek AI untuk asisten suara, tujuannya mungkin untuk membuat sistem yang bisa mengenali dan memahami perintah suara dalam berbagai bahasa dan aksen.

2. Menentukan Jenis Data yang Diperlukan

• Deskripsi: Setelah tujuan ditentukan, jenis data yang relevan dengan proyek harus diidentifikasi. Data bisa berupa teks, gambar, audio, video, atau kombinasi dari beberapa jenis data.

• Contoh: Untuk pengembangan chatbot, data yang diperlukan mungkin mencakup percakapan teks, sedangkan untuk sistem pengenalan wajah diperlukan data gambar.

3. Mengumpulkan Data dari Sumber yang Relevan

• Deskripsi: Proses ini melibatkan pengumpulan data dari berbagai sumber. Sumber data bisa berupa data internal perusahaan, data publik, atau data yang dikumpulkan secara khusus.

• Sumber Data:

  • Data Internal: Data pelanggan, catatan transaksi, log aplikasi.

  • Data Publik: Dataset yang tersedia di internet, seperti dataset citra dari Kaggle atau OpenAI.

  • Data Real-Time: Sensor IoT, kamera CCTV, atau rekaman audio.

• Contoh: Dalam pengembangan AI untuk mobil otonom, data dikumpulkan dari sensor di kendaraan, seperti kamera dan radar, serta data lalu lintas dan cuaca.

4. Memastikan Keragaman dan Kualitas Data

• Deskripsi: Sangat penting untuk mengumpulkan data yang beragam dan berkualitas tinggi untuk mencegah bias dalam model AI. Data harus mencerminkan berbagai kondisi, skenario, atau karakteristik yang mungkin muncul di dunia nyata.

• Contoh: Dalam pengembangan sistem pengenalan suara, data yang dikumpulkan harus mencakup berbagai aksen, nada suara, dan lingkungan (seperti ruangan yang tenang dan tempat yang bising) untuk memastikan AI dapat bekerja dalam berbagai kondisi.

5. Membersihkan dan Menyaring Data (Data Preprocessing)

• Deskripsi: Data mentah sering kali memiliki kesalahan, data ganda, atau bagian yang tidak relevan. Oleh karena itu, data harus diproses sebelum digunakan. Langkah ini mencakup pembersihan, normalisasi, penghapusan data yang tidak konsisten, dan penanganan data yang hilang.

• Contoh: Dalam proyek analisis sentimen dari media sosial, komentar spam atau data yang tidak relevan harus disaring sebelum dilanjutkan ke langkah berikutnya.

6. Anonimisasi dan Pengamanan Data

• Deskripsi: Untuk memastikan privasi dan kepatuhan terhadap regulasi, data sensitif seperti informasi pribadi harus dianonimkan atau disamarkan sebelum digunakan.

• Contoh: Dalam proyek kesehatan, informasi pribadi pasien harus dihapus atau diganti dengan ID anonim sebelum digunakan dalam pelatihan model AI.

7. Labeling Data (Pelabelan Data)

• Deskripsi: Dalam beberapa proyek AI, terutama supervised learning, data perlu diberi label untuk memberikan informasi yang benar kepada model saat pelatihan. Pelabelan bisa dilakukan oleh manusia (manual) atau menggunakan alat otomatis.

• Contoh: Dalam proyek pengenalan gambar, setiap gambar mungkin diberi label seperti "kucing" atau "anjing" agar AI dapat belajar membedakan antara objek-objek tersebut.

8. Augmentasi Data

• Deskripsi: Untuk meningkatkan jumlah data dan keragaman data tanpa mengumpulkan data baru, augmentasi data bisa dilakukan. Augmentasi melibatkan memodifikasi data yang ada, seperti memutar gambar, mengubah warna, menambahkan kebisingan latar belakang dalam data audio, atau memperlambat video.

• Contoh: Dalam pengembangan sistem pengenalan wajah, gambar wajah bisa diperbesar, diputar, atau diubah kontrasnya untuk menambah variasi data.

9. Pengelolaan dan Penyimpanan Data

• Deskripsi: Setelah data dikumpulkan, data harus disimpan dan dikelola dengan baik agar mudah diakses selama proses pelatihan model. Pengelolaan data juga harus memperhatikan keamanan dan skalabilitas.

• Contoh: Dalam proyek besar seperti pengembangan mobil otonom, data dari ribuan jam pengujian video dan sensor disimpan dalam sistem penyimpanan cloud yang dapat diakses tim pengembang.

10. Validasi dan Pengujian Data

• Deskripsi: Setelah data dikumpulkan dan diproses, langkah selanjutnya adalah memastikan bahwa data tersebut sesuai dengan tujuan proyek dan dapat digunakan untuk pelatihan model AI. Ini dilakukan dengan menguji sebagian data dan memastikan bahwa data tersebut mewakili berbagai situasi yang mungkin dihadapi AI dalam dunia nyata.

• Contoh: Dalam pengembangan chatbot, validasi dilakukan dengan memastikan bahwa data percakapan mencakup berbagai skenario pengguna, mulai dari percakapan formal hingga informal.

6. Mereka menggunakan metode augmentasi data untuk menghasilkan versi sampel audio yang berbeda, memodifikasi nada dan kecepatan, atau menggabungkan kebisingan latar belakang sintetis.

7. Untuk melindungi privasi, informasi pribadi dihapus dari transkrip, dan sampel audio dianonimkan.

8. Perusahaan memastikan bahwa mereka mewakili individu dari berbagai kelompok usia, jenis kelamin, dan aksen secara setara untuk mencegah bias dalam kinerja AI.

9. Perusahaan tersebut menetapkan proses untuk terus mengumpulkan data dengan memanfaatkan asisten suara mereka dalam skenario kehidupan nyata. Tujuannya adalah untuk meningkatkan pemahaman AI terhadap bahasa alami dan berbagai jenis pertanyaan dari waktu ke waktu. Tentu saja, semua ini dilakukan dengan persetujuan pengguna.