Data Pengguna Digunakan untuk Melawan Pengguna

preview_1455751041

Sudah beberapa dekade berlalu sejak platform dan aplikasi mengumpulkan data tentang pengguna. Data tersebut tentu saja digunakan untuk memberikan layanan yang semakin baik. Namun bukan tidak mungkin data tersebut juga disalahgunakan untuk melawan pengguna itu sendiri. Dalam sebuah panel konferensi SXSW, terjadi debat bagaimana data digunakan, baik untuk membuat asumsi tentang pengguna maupun mengubah produk dan layanan yang ditawarkan.

Ashkan Soltani mereferensikan sebuah pengembangan perangkat lunak IBM yang dirancang untuk memastikan apakah seseorang yang sudah sampai di Eropa dari Suriah adalah teroris atau pengungsi. Perangkat lunak tersebut menggunakan beberapa sumber data untuk menciptakan terrorist score yang menentukan kemungkinan bahwa seseorang terlibat dalam kegiatan terorisme. Meskipun motivasi di balik perangkat lunak ini dimengerti, namun potensi penyalahgunaan atau kesalahan jelas terlihat.

Nicole Wong, mantan U.S. Deputy Chief Technology Officer untuk pemerintahan Obama, memperkenalkan konsep negative selection algorithms dengan mengutip kasus di sebuah universitas besar di AS yang mengubah prosedur perekrutan mereka untuk gelar ilmu komputer yang sangat dihormati ketika menjadi jelas proses penyaringan awal telah sengaja melakukan diskriminasi terhadap perempuan.

Contoh lain dari bagaimana data (sengaja dan tidak sadar) mengubah, baik konten yang dilihat maupun produk yang ditawarkan secara online adalah paten Facebook yang menilai kelayakan keuangan berdasarkan social graph pengguna dan studi yang menunjukkan bahwa perempuan cenderung tidak melihat iklan Google untuk pekerjaan dengan bayaran tinggi. Ini artinya data pengguna berjenis kelamin perempuan telah dibelokkan untuk melawan mereka. Mereka tak akan melihat iklan pekerjaan dengan bayaran tinggi semata karena mereka perempuan.

Panelis dalam diskusi tersebut mengakui hal tersebut merupakan tantangan dan masalah besar serta kurangnya jawaban yang pasti untuk memecahkan masalah tersebut. Sekian banyak data pengguna di platform dan aplikasi tentunya tidak hanya digunakan untuk melayani pengguna, tetapi mungkin juga digunakan untuk melawan pengguna itu sendiri. Misalnya data percakapan, data penjelajahan internet bisa saja digunakan, baik sengaja atau tidak untuk melawan pengguna.

Sumber: The Next Web