New York – Rachel S tinggal di lingkungan yang dapat dilalui dengan berjalan kaki di Brooklyn, New York. Hampir setiap hari dia bisa hidup nyaman tanpa mobil. Ia sering bekerja jarak jauh, namun terkadang harus ke kantor. Di sinilah segalanya menjadi sedikit rumit baginya. Tempat kerjanya tidak mudah diakses oleh transportasi umum.

Karena dia tidak perlu sering mengemudi, dia melamar menggunakan platform berbagi mobil Zipcar untuk memenuhi kebutuhannya sesekali. Proses pengaplikasiannya yang cukup cepat membuat konsumen dapat bepergian dengan relatif cepat menggunakan armada mobil.

Sayangnya, hal ini tidak terjadi pada kasus Rachel. Begitu dia menekan tombol kirim, perangkat lunak kecerdasan buatan yang digunakan perusahaan menganggapnya tidak memenuhi syarat. Terkejut dengan hasilnya, Rachel menghubungi tim layanan pelanggan perusahaan.

Lagi pula, dia tidak memiliki kesalahan yang menunjukkan bahwa dia adalah pengemudi yang tidak bertanggung jawab. Tidak ada poin di SIM Anda. Satu-satunya kemunduran adalah tilang yang diterimanya pada usia tujuh belas tahun, yang telah dilunasi bertahun-tahun yang lalu.

Meskipun kesalahan lalu lintas telah diperbaiki, kini di usia 30-an ia masih berjuang menghadapi konsekuensinya.

Dia berbicara dengan tim layanan pelanggan Zipcar, tetapi tidak berhasil. Meski memiliki SIM yang bersih, dia ditolak. Dia mengklaim bahwa perusahaan menyimpulkan bahwa mereka tidak punya pilihan lain dan keputusan tersebut tidak dapat diubah oleh manusia.

“Tidak ada jalan atau proses untuk mendapatkan perhatian seseorang dan meskipun itu masuk akal, satu-satunya cara untuk mencoba lagi adalah dengan mengajukan permohonan kembali,” dan ada biaya pendaftaran yang tidak dapat dikembalikan, kata Rachel kepada Al Jazeera, mengenang wawancara dengan perusahaan .

Zipcar tidak menanggapi permintaan komentar Al Jazeera.

Rachel adalah salah satu dari banyak konsumen yang ditolak pinjaman, keanggotaan, dan bahkan kesempatan kerja oleh sistem AI tanpa kebijakan bantuan atau banding apa pun, karena perusahaan terus mengandalkan AI untuk membuat keputusan penting yang berdampak pada kehidupan sehari-hari.

Termasuk D yang baru saja kehilangan pekerjaannya.

Sebagai syarat wawancara, D meminta agar kami menggunakan inisialnya hanya untuk menghormati privasinya. D tidak berhasil mencari peluang baru.

Setelah berbulan-bulan mencari, D akhirnya mendapatkan pekerjaan, tapi ada satu masalah besar – waktu.

Masih ada beberapa minggu sebelum D memulai pekerjaan barunya dan beberapa minggu setelah D menerima gaji pertamanya.

Untuk mendapatkan bantuan tambahan, D mengajukan pinjaman pribadi di berbagai platform sebagai upaya untuk menghindari pinjaman gajian predator untuk sementara waktu.

D ditolak untuk semua pinjaman yang mereka ajukan. Meskipun D tidak mengonfirmasi perusahaan mana yang spesifik, sektor ini memiliki banyak pilihan, antara lain Pemula, Peningkatan, SoFi, Best Egg, dan Happy Money.

D mengatakan bahwa ketika mereka menelepon perusahaan tersebut setelah mengajukan permohonan secara online, tidak ada yang bisa membantu dan tidak ada permohonan banding.

Ketika D berumur dua puluhan, dia mempunyai kartu kredit yang tidak dia gunakan untuk membayar tagihannya. Itu satu-satunya kartu kredit mereka. Mereka juga menyewa apartemen dan menggunakan transportasi umum.

Menurut pemberi pinjaman online yang didukung AI, kurangnya riwayat kredit dan agunan membuat mereka tidak memenuhi syarat untuk mendapatkan pinjaman, meskipun mereka telah melunasi utangnya enam tahun lalu.

D tidak memastikan di perusahaan mana dia mengajukan pinjaman. Al Jazeera menghubungi masing-masing perusahaan untuk memberikan komentar mengenai proses mereka – hanya dua yang merespons – Upgrade dan Upstart – pada saat publikasi.

“Ada kasus di mana kami dapat mengubah keputusan pinjaman berdasarkan informasi tambahan, yaitu bukti sumber pendapatan lain yang tidak diberikan dalam permohonan asli, namun jika menyangkut “penilaian manusia”, “Masih banyak ruang untuk bias pribadi, yang telah dengan susah payah dihilangkan oleh regulator dan pemimpin industri,” kata juru bicara Upgrade kepada Al Jazeera melalui email. “Teknologi telah membawa objektivitas dan keadilan dalam proses pemberian pinjaman, dan keputusan kini dibuat berdasarkan kemampuan sebenarnya dari pemohon.”

Prasangka sejarah menjadi lebih kuat

Tapi itu tidak sesederhana itu. Bias sejarah yang ada seringkali diperkuat oleh teknologi modern. Menurut investigasi yang dilakukan oleh outlet The Markup pada tahun 2021, orang kulit hitam Amerika 80 persen lebih mungkin ditolak secara otomatis oleh lembaga pemberi pinjaman dibandingkan orang kulit putih.

“Kecerdasan buatan hanyalah sebuah model yang dilatih berdasarkan data historis,” kata Naeem Siddiqi, penasihat senior di SAS, sebuah perusahaan kecerdasan buatan dan data global tempat dia memberikan nasihat kepada bank mengenai risiko kredit.

Hal ini dipicu oleh sejarah panjang praktik diskriminatif di Amerika Serikat dalam perbankan terhadap komunitas kulit berwarna.

“Jika Anda mengambil data yang bias, yang dilakukan AI atau model apa pun pada dasarnya hanyalah mengulangi apa yang Anda berikan,” kata Siddiqui.

“Sistem ini dirancang untuk mengambil keputusan sebanyak mungkin dengan bias dan penilaian manusia yang paling sedikit, sehingga merupakan keputusan yang obyektif. Itulah ironi situasinya… tentu saja ada yang tidak lolos,” tambah Siddiqi.

Ini bukan hanya tentang ras. Perusahaan seperti Apple dan Goldman Sachs bahkan dituduh secara sistematis memberikan batas kredit yang lebih rendah kepada perempuan dibandingkan laki-laki.

Kekhawatiran ini juga bersifat generasi. Siddiqi berpendapat bahwa penolakan tersebut sangat membatasi mobilitas sosial generasi muda, seperti generasi muda milenial (lahir 1981–1996) dan Generasi Z (lahir 1997–2012), di semua kelompok demografi.

Hal ini karena definisi standar kesehatan keuangan – yang mencakup kartu kredit, rumah, dan mobil – menjadi kurang penting ketika menilai tanggung jawab keuangan seseorang. Hanya sekitar separuh Generasi Z yang memiliki kartu kredit. Ini merupakan penurunan dibandingkan semua generasi sebelumnya.

Perwakilan Generasi Z juga cenderung tidak memiliki jaminan, seperti mobil, yang dapat mereka berikan saat mengajukan pinjaman. Menurut yang baru-baru ini tes Menurut McKinsey, kelompok usia ini lebih kecil kemungkinannya untuk memutuskan mendapatkan SIM dibandingkan generasi sebelumnya. Hanya seperempat dari anak-anak berusia 16 tahun dan 45 persen dari anak-anak berusia 17 tahun yang memiliki SIM. Ini merupakan penurunan masing-masing sebesar 18 dan 17 persen.

Biro Perlindungan Keuangan Konsumen telah memperketat perlindungan konsumen. Agensi pada bulan September diumumkan bahwa lembaga pemberi pinjaman sekarang harus menjelaskan alasan penolakan pemberian kredit.

“Kreditor sering kali memberikan algoritma kompleks ini dengan kumpulan data yang besar, terkadang termasuk data yang dapat dikumpulkan melalui pengawasan konsumen. Akibatnya, konsumen mungkin ditolak kreditnya karena alasan yang mereka anggap tidak penting bagi keuangan mereka,” kata badan tersebut dalam sebuah pernyataan.

Namun, lembaga tersebut tidak mengatasi kurangnya prosedur banding yang manusiawi karena D mengaku dia menanganinya secara pribadi.

D mengatakan mereka harus menunda pembayaran sejumlah tagihan, yang akan membahayakan kesehatan keuangan jangka panjang mereka dan dapat berdampak pada kemampuan mereka untuk mendapatkan pinjaman dengan tingkat bunga yang wajar di masa depan, jika memang ada.

“Terlewatkan oleh Kemungkinan”

Siddiqi menyarankan agar pemberi pinjaman mulai mempertimbangkan data alternatif ketika membuat keputusan pinjaman, yang dapat mencakup pembayaran sewa dan utilitas dan bahkan perilaku media sosial, serta pola pengeluaran.

Di media sosial, izin asing merupakan indikator utama.

“Jika Anda memiliki lebih banyak uang, Anda akan lebih sering bepergian, dan jika Anda mengikuti situs-situs seperti Bloomberg, Financial Times, dan Reuters, kemungkinan besar Anda akan bertanggung jawab secara finansial,” tambah Siddiqi.

Permasalahan penolakan otomatis tidak hanya berdampak pada pengajuan pinjaman dan keanggotaan, namun juga berdampak pada peluang kerja. Di platform media sosial seperti pengguna Reddit pos email penolakan yang mereka terima segera setelah mengirimkan lamaran mereka.

“Saya memenuhi semua persyaratan dan memenuhi semua kata kunci, dan dalam satu menit setelah mengirimkan lamaran saya, saya menerima surat pengakuan dan penolakan,” Matthew Mullen, penulis poster asli, mengatakan kepada Al Jazeera.

Editor video dari Connecticut mengatakan ini adalah pertama kalinya baginya. Para ahli seperti Lakia Elam, kepala perusahaan konsultan Sumber Daya Manusia Magnificent Differences Consulting, mengatakan bahwa antara sistem pelacakan pelamar dan alat berbasis AI lainnya, hal ini menjadi topik yang lebih besar dan lebih bermasalah.

Sistem pelacakan pelamar sering kali melewatkan keterampilan yang dapat ditransfer yang tidak selalu sesuai dengan keahlian kandidat di atas kertas.

“Seringkali kandidat dengan jalur karir non-linear, banyak di antaranya berasal dari latar belakang yang berbeda, kehilangan peluang,” kata Elam kepada Al Jazeera.

“Saya selalu memberi tahu organisasi bahwa kita harus menjaga sentuhan kemanusiaan dalam proses ini,” kata Elam.

Namun, organisasi semakin mengandalkan program seperti ATS dan ChatGPT. Elam mengatakan hal ini membuat banyak kandidat pekerjaan yang berharga hilang, termasuk dirinya sendiri.

“Kalau hari ini saya harus melalui sistem AI, saya jamin ditolak,” kata Elam.

Dia memiliki GED – setara dengan ijazah sekolah menengah atas – dibandingkan dengan gelar empat tahun.

“Mereka melihat GED di resume saya dan mengatakan kita harus menjauhinya,” tambah Elam.

Inilah salah satu alasan mengapa orang Amerika tidak ingin kecerdasan buatan terlibat dalam proses rekrutmen. Menurut data April 2023 laporan dari Pew Research, 41 persen orang Amerika percaya bahwa kecerdasan buatan tidak boleh digunakan untuk menyaring lamaran pekerjaan.

“Ini adalah bagian dari perbincangan yang lebih luas tentang hilangnya jalan menuju proses hukum,” kata Rachel.

Sumber