Dalam “Banking AI Day” yang berlangsung Senin (9/9) kemarin, Kepala Eksekutif Pengawas Lembaga Pembiayaan, Perusahaan Modal Ventura, Lembaga Keuangan Mikro dan Lembaga Jasa Keuangan Lainnya (PVML) Otoritas Jasa keuangan (OJK) Agusman mengingatkan kembali bahwa penerapan teknologi kecerdasan buatan (artificial intelligence/AI) punya sejumlah tantangan juga risiko, selain tentunya punya manfaat meningkatkan efisiensi bagi industri jasa keuangan.
Benar apa yang dikhawatirkan Agusman bahwa penerapan AI akan sangat berisiko bila institusi keuangan gagal menjaga keamanan data dan privasi. Serangan siber, risiko kebohongan data, kata dia, akan berdampak pada kredibilitas kita semua. Yang dimaksud kita semua dalam konteks ini tentu industri jasa keuangan serta OJK sebagai institusi yang punya otoritas penuh di industri jasa keuangan.
Agusman juga menyinggung soal tantangan utama dalam penerapan AI terkait kepatuhan, di mana sistem AI dapat memastikan kepatuhan terhadap berbagai aturan, regulasi, dan standar yang ada. Regulasi yang berkaitan dengan AI, perlu adaptif dan progresif agar dapat mengikuti perkembangan teknologi tanpa menghambat inovasi. Selain itu tantangan yang juga perlu dihadapi dengan baik adalah masalah etika.
Etika ini akan memastikan bahwa kita bisa membuat publik semakin percaya bahwa AI justru membuat kita lebih bertanggung jawab terhadap perkembangan teknologi informasi maupun sektor keuangan secara keseluruhan ke depan.
Salah satu langkah yang harus segera dilakukan oleh OJK adalah menciptakan standar minimum untuk penggunaan AI, seperti yang telah diterapkan oleh Singapura melalui AI Verify, yakni sebuah inisiatif penting yang dilakukan oleh Singapura untuk memastikan bahwa pengembangan dan penerapan AI dilakukan secara bertanggung jawab.
Saya kira, apa yang diungkapkan pejabat OJK di atas amatlah penting dan menjadi pengingat akan urgensi peningkatan regulasi.
Salah satu langkah yang harus segera dilakukan oleh OJK adalah menciptakan standar minimum untuk penggunaan AI, seperti yang telah diterapkan oleh Singapura melalui AI Verify, yakni sebuah inisiatif penting yang dilakukan oleh Singapura untuk memastikan bahwa pengembangan dan penerapan AI dilakukan secara bertanggung jawab.
Secara garis besar, AI Verify mencakup beberapa langkah utama yang dapat menjadi contoh bagi Indonesia, khususnya OJK, dalam menerapkan tata kelola AI yang lebih baik:
Pertama, penilaian transparansi algoritma. AI Verify memfasilitasi uji coba terhadap sistem AI untuk menilai transparansi algoritma yang digunakan. Tujuan utama di sini adalah memastikan bahwa model AI bekerja sesuai dengan prinsip keadilan dan tidak menghasilkan keputusan yang bias. OJK dapat mengadopsi mekanisme serupa untuk industri keuangan di Indonesia, mengharuskan penyedia layanan keuangan melaporkan cara kerja algoritma yang mereka gunakan untuk memastikan tidak ada keputusan diskriminatif, terutama terhadap kelompok rentan.
Kedua, pengujian ketepatan dan keadilan. AI Verify juga melakukan pengujian ketat terhadap ketepatan prediksi AI dan mengevaluasi apakah hasil yang diberikan oleh AI memperlakukan semua pengguna secara adil. Dalam konteks jasa keuangan, hal ini sangat penting karena jika big data yang digunakan tidak dikelola dengan benar, ada risiko bahwa kelompok rentan (seperti masyarakat berpenghasilan rendah atau minoritas) dapat dilabeli sebagai “berisiko tinggi,” yang dapat menyebabkan diskriminasi dalam akses kredit atau layanan keuangan lainnya.
AI Verify memfasilitasi uji coba terhadap sistem AI untuk menilai transparansi algoritma yang digunakan. Tujuan utama di sini adalah memastikan bahwa model AI bekerja sesuai dengan prinsip keadilan dan tidak menghasilkan keputusan yang bias. OJK dapat mengadopsi mekanisme serupa untuk industri keuangan di Indonesia, mengharuskan penyedia layanan keuangan melaporkan cara kerja algoritma yang mereka gunakan untuk memastikan tidak ada keputusan diskriminatif, terutama terhadap kelompok rentan.
Ketiga, lepatuhan terhadap regulasi dan etika. AI Verify mendorong perusahaan untuk memastikan bahwa AI yang digunakan mematuhi regulasi dan prinsip-prinsip etika yang telah ditetapkan. Dengan menerapkan standar yang sama, OJK dapat memastikan bahwa perusahaan-perusahaan jasa keuangan yang menggunakan AI harus mematuhi panduan ketat yang tidak hanya mengatur cara penggunaan teknologi tetapi juga bagaimana mereka memitigasi risiko yang mungkin timbul, termasuk risiko diskriminasi.
Keempat, audit dan pemantauan berkelanjutan. Salah satu fitur utama dari AI Verify adalah kemampuan untuk melakukan audit dan pemantauan secara berkala terhadap sistem AI. Langkah ini penting untuk menjaga agar AI tetap beroperasi sesuai dengan pedoman yang ditetapkan, serta dapat beradaptasi terhadap perubahan regulasi dan ekspektasi sosial. OJK dapat mengadopsi prinsip ini dengan melakukan audit rutin terhadap sistem AI yang digunakan oleh industri jasa keuangan, untuk memastikan bahwa teknologi AI terus memenuhi standar keamanan dan etika.
Risiko pada kelompok rentan
Penggunaan AI dan big data dalam industri jasa keuangan memang menjanjikan banyak manfaat, seperti peningkatan efisiensi dan akurasi dalam proses pengambilan keputusan. Namun, di balik potensi tersebut, ada risiko besar bahwa kelompok rentan—seperti masyarakat berpenghasilan rendah, kaum minoritas, atau individu yang tidak memiliki riwayat keuangan formal—dapat menjadi korban diskriminasi akibat proses yang tidak adil atau algoritma yang bias.
Beberapa bentuk diskriminasi yang mungkin terjadi pada kelompok rentan adalah:
Pertama, Labeling kelompok rentan sebagai berisiko tinggi. AI menggunakan data historis dan pola perilaku untuk membuat keputusan, seperti menilai kelayakan kredit atau menentukan premi asuransi. Namun, data yang digunakan sering kali tidak lengkap atau penuh dengan bias historis yang memperkuat ketidaksetaraan yang sudah ada. Misalnya, masyarakat berpenghasilan rendah mungkin dilihat sebagai “berisiko tinggi” hanya karena mereka tidak memiliki riwayat kredit yang solid. Label “berisiko tinggi” ini dapat membuat mereka tidak mendapatkan akses ke produk-produk keuangan penting, seperti pinjaman dengan bunga rendah, atau bahkan bisa ditolak dalam aplikasi mereka.
Kedua, akses yang tidak merata terhadap produk keuangan. Kelompok rentan, seperti mereka yang tinggal di daerah pedesaan atau dengan akses terbatas ke teknologi, mungkin kurang terwakili dalam big data yang digunakan oleh AI. Hal ini dapat mengakibatkan produk keuangan yang dirancang oleh perusahaan berbasis AI menjadi kurang relevan atau bahkan tidak tersedia untuk kelompok ini. Sebagai contoh, algoritma yang menggunakan data dari pengguna di kota besar mungkin tidak sepenuhnya memperhitungkan kebutuhan spesifik komunitas pedesaan, yang bisa menciptakan kesenjangan dalam akses layanan keuangan.
Ketiga, bias dalam penentuan premi asuransi atau kelayakan kredit. Algoritma AI yang digunakan untuk menilai kelayakan kredit atau menetapkan premi asuransi sering kali bergantung pada data demografis, seperti kode pos, pekerjaan, atau pendidikan. Hal ini berpotensi menimbulkan bias yang mengarah pada diskriminasi terhadap kelompok tertentu, terutama mereka yang tinggal di wilayah miskin atau yang memiliki latar belakang pendidikan rendah. Individu dari kelompok ini dapat dikenakan premi yang lebih tinggi atau dianggap tidak layak untuk pinjaman, meskipun secara faktual, kemampuan mereka untuk membayar mungkin sama atau bahkan lebih baik dibanding kelompok lainnya.
Keempat, stigmatization berdasarkan data kriminal atau riwayat hidup. AI yang digunakan dalam sektor keuangan mungkin juga mempertimbangkan data non-finansial, seperti catatan kriminal, riwayat pekerjaan yang tidak stabil, atau penggunaan layanan bantuan sosial. Kelompok rentan yang pernah terlibat dalam sistem peradilan pidana atau mereka yang pernah mengalami pengangguran jangka panjang bisa secara otomatis dianggap sebagai individu berisiko tinggi, bahkan jika kondisi mereka saat ini telah membaik. Hal ini dapat menciptakan stigma tambahan dan menghalangi akses mereka ke layanan keuangan yang mereka butuhkan untuk membangun kehidupan yang lebih stabil.
Algoritma AI yang digunakan untuk menilai kelayakan kredit atau menetapkan premi asuransi sering kali bergantung pada data demografis, seperti kode pos, pekerjaan, atau pendidikan. Hal ini berpotensi menimbulkan bias yang mengarah pada diskriminasi terhadap kelompok tertentu, terutama mereka yang tinggal di wilayah miskin atau yang memiliki latar belakang pendidikan rendah.
Kelima, penggunaan data sosial yang tidak akurat. Dengan semakin berkembangnya penggunaan data sosial—seperti aktivitas di media sosial atau interaksi digital lainnya—AI mungkin akan semakin sering menggunakan informasi tersebut untuk membuat penilaian. Kelompok rentan yang tidak memiliki akses atau kemampuan untuk memanfaatkan teknologi ini dengan baik bisa mendapatkan skor atau penilaian yang lebih rendah, karena mereka tidak cukup aktif di dunia digital. Di sisi lain, individu yang mungkin lebih aktif di dunia digital tetapi berasal dari latar belakang ekonomi yang rendah juga dapat dipersepsikan secara negatif berdasarkan pola aktivitas mereka yang mungkin dianggap tidak sesuai.
Keenam, reproduksi bias historis. Algoritma AI sering kali dilatih menggunakan data yang ada, yang mungkin telah mengandung bias historis terhadap kelompok tertentu. Jika data yang digunakan untuk melatih AI mencerminkan ketidakadilan atau diskriminasi yang sudah ada di masyarakat, AI akan mereplikasi bias tersebut. Sebagai contoh, jika dalam sejarah keuangan, kelompok tertentu (seperti ras atau gender tertentu) lebih sering dianggap berisiko tinggi, maka AI yang dilatih dengan data tersebut akan memperkuat stereotip ini, meskipun sebenarnya hal tersebut tidak relevan dalam konteks saat ini.
Dengan pengawasan yang lebih ketat, OJK bisa memastikan bahwa AI dalam sektor keuangan tidak hanya mempromosikan inovasi tetapi juga menjaga prinsip keadilan dan inklusivitas, khususnya untuk melindungi kelompok-kelompok yang paling rentan dalam masyarakat.
Adil dan transparan
Untuk mengatasi potensi diskriminasi ini, OJK perlu memastikan bahwa penerapan AI dan big data di sektor jasa keuangan dilakukan secara adil dan transparan. Langkah-langkah yang bisa diambil meliputi:
- Audit Algoritma secara berkala untuk mendeteksi dan mengurangi bias yang mungkin ada dalam sistem AI.
- Transparansi Data, di mana industri jasa keuangan harus mengungkapkan secara jelas data apa yang digunakan oleh AI dalam pengambilan keputusan.
- Pengawasan dan Regulasi Khusus untuk melindungi kelompok rentan dari potensi dampak negatif AI, misalnya dengan menetapkan panduan yang jelas tentang penggunaan data sosial atau data non-finansial.
Dengan pengawasan yang lebih ketat, OJK bisa memastikan bahwa AI dalam sektor keuangan tidak hanya mempromosikan inovasi tetapi juga menjaga prinsip keadilan dan inklusivitas, khususnya untuk melindungi kelompok-kelompok yang paling rentan dalam masyarakat. ■
*) Tuhu Nugraha, pengamat dan praktisi teknologi, principal Indonesia Applied Digital Economy & Regulatory Network (IADERN). Tulisan ini merupakan hasil kolaborasi digitalbank.id dengan IADERN yang bertujuan membangun literasi dan narasi AI yang baik untuk Indonesia.
