The Journal of American Medical Association menerbitkan makalah tahun lalu, mengatakan para peneliti menggunakan 85.000 foto sinar-X untuk melatih algoritma kecerdasan buatan, dan berhasil mendiagnosis risiko kematian pasien dengan akurasi sangat tinggi.
Kadang-kadang, algoritma bahkan melanggar akal sehat atau etika dasar. Sebagai contoh, di Fakultas Kedokteran Icahn di Gunung Sinai-New York, para peneliti mengembangkan algoritma untuk mengidentifikasi wabah pneumonia. Pada saat mengevaluasi gambar, algoritma juga memasukkan nama institusi medis dari mana gambar berasal. Dengan kata lain, jika hasil film tersebut berasal dari rumah sakit dengan tingkat diagnosis pneumonia paling tinggi, algoritma akan menilai pasien memiliki kemungkinan lebih tinggi terkena pneumonia.
Tentu saja, strategi evaluasi ini jelas salah. Algoritma seharusnya hanya mengevaluasi film itu sendiri. Tetapi, tidak boleh mempertimbangkan dari rumah sakit mana film itu berasal.
Baca Juga:Jokowi Minta Padat Karya Tunai Diterapkan Lewat Skema Dana DesaKondisi Perekonomian Mendatang Teramat Sulit, Ini Pernyataan Lengkap Kwik Kian Gie
Sebagai analogi, ibaratnya Anda meminta algoritma melihat foto untuk mengidentifikasi siapa pencuri dalam sebuah foto. Algoritma dalam data pelatihan di Dunia Barat cendrung menganggap orang kulit hitam adalah pencuri sebagai persentase paling tinggi. Sehingga, Algoritma dengan mudah mengidentifikasi Orang Kulit Hitam sebagai pencuri ketika mereka menemukan foto-foto orang kulit hitam.
Jelas, warna kulit tidak boleh digunakan sebagai dasar penilaian, dan kecerdasan buatan secara tidak sengaja dicurigai melakukan diskriminasi ras. Ini adalah masalah efek kotak hitam.
Sistem medis modern sangat jelas mengenai pembatasan tanggung jawab medis. Para dokter harus memikul tanggung jawab jika mereka membuat diagnosa dan perawatan yang berakibat fatal. Jika diagnosis kecerdasan buatan salah, dan dokter ikut melakukan perawatan yang salah sesuai dengan anjuran kecerdasan buatan, “apakah ini menjadi tanggung jawab dokter atau tanggung jawab algoritma?”
Dalam litigasi medis, ini adalah masalah yang serius.
Kadangkala, algoritma juga akan “sakit”. Kita belum dapat 100% mengandalkannya. Namun, Seiring perjalanan waktu, algoritma akan mengekstraksi makna baru dari berbagai jenis data dan belajar dengan sendirinya. Misalkan sebuah rumah sakit yang baru mengganti sistem perangkat lunak baru, sehingga mengakibatkan perubahan data akan menghancurkan efektivitas algoritma sebelumnya. Pada saat yang sama, para dokter juga tidak sadar, tetapi sudah terlambat ketika menemukan masalah.