London:
Menurut data Reuters, beberapa model kecerdasan buatan yang paling penting gagal memenuhi peraturan Eropa di bidang-bidang utama seperti ketahanan keamanan siber dan dampak diskriminasi.
UE telah lama memperdebatkan aturan AI baru sebelum OpenAI membuat ChatGPT tersedia untuk umum pada akhir tahun 2022. Rekor popularitas dan perdebatan publik yang terjadi selanjutnya tentang dugaan ancaman eksistensial dari model tersebut mendorong anggota parlemen untuk merancang aturan khusus untuk AI “tujuan umum” ( GPAI) .
Kini, alat baru yang dirancang oleh startup Swiss LatticeFlow dan mitranya serta didukung oleh pejabat Uni Eropa telah menguji model kecerdasan buatan generatif yang dikembangkan oleh perusahaan teknologi besar seperti Meta dan OpenAI dalam lusinan kategori di bawah undang-undang kecerdasan buatan yang berlaku di blok tersebut. diberlakukan secara bertahap selama dua tahun ke depan.
Memberikan setiap model skor dari 0 hingga 1, peringkat yang dirilis Rabu oleh LatticeFlow menunjukkan bahwa model yang dikembangkan oleh Alibaba, Anthropic, OpenAI, Meta, dan Mistral semuanya memiliki peringkat rata-rata 0,75 atau lebih tinggi.
Namun, alat “Pemeriksa Model Bahasa Besar (LLM)” milik perusahaan mengungkapkan kekurangan pada beberapa model di bidang-bidang utama, menyoroti bidang-bidang di mana perusahaan mungkin perlu mengalihkan sumber daya untuk memastikan kepatuhan.
Perusahaan yang gagal mematuhi Undang-Undang Kecerdasan Buatan akan dikenakan denda sebesar 35 juta euro ($38 juta) atau 7% dari omset tahunan global.
Hasil yang beragam
Saat ini, UE masih mencoba untuk menentukan bagaimana ketentuan Undang-Undang Kecerdasan Buatan mengenai alat AI generatif seperti ChatGPT akan ditegakkan, dengan mempertemukan para ahli untuk mengembangkan kode etik untuk mengatur teknologi tersebut pada musim semi 2025.
Namun tes LatticeFlow, yang dikembangkan bekerja sama dengan para peneliti dari universitas ETH Zurich di Swiss dan lembaga penelitian INSAIT di Bulgaria, memberikan indikator awal mengenai area tertentu di mana perusahaan teknologi mungkin gagal mematuhi hukum.
Misalnya, diskriminasi merupakan masalah yang terus berlanjut dalam pengembangan model AI generatif, yang mencerminkan bias manusia dalam hal gender, ras, dan bidang lainnya ketika diminta untuk melakukan hal tersebut.
Saat menguji hasil diskriminasi LLM Checker, LatticeFlow memberi “GPT-3.5 Turbo” OpenAI skor yang relatif rendah yaitu 0,46. Dalam kategori yang sama, model “Qwen1.5 72B Chat” Alibaba Cloud hanya menerima 0,37.
Saat menguji “pembajakan cepat”, sejenis serangan dunia maya di mana peretas menyamarkan insentif berbahaya sebagai insentif yang sah untuk mengekstrak informasi sensitif, LLM Checker memberi model Meta “Obrolan Llama 2 13B” skor 0,42. Dalam kategori yang sama, model “8x7B Instruct” dari startup Perancis Mistral menerima 0,38.
“Claude 3 Opus,” model yang dikembangkan oleh perusahaan Anthropic yang didukung Google, menerima nilai rata-rata tertinggi sebesar 0,89.
Tes ini telah dirancang sejalan dengan teks Undang-Undang Kecerdasan Buatan dan akan diperluas untuk mencakup langkah-langkah penegakan hukum lebih lanjut saat tes tersebut diperkenalkan. LatticeFlow mengatakan alat Pemeriksa LLM-nya akan tersedia secara gratis bagi pengembang untuk memeriksa kompatibilitas model mereka secara online.
Petar Tsankov, CEO dan salah satu pendiri perusahaan, mengatakan kepada Reuters bahwa hasil tes secara umum positif dan memberi perusahaan rencana tindakan untuk meningkatkan model mereka sejalan dengan Undang-Undang Kecerdasan Buatan.
“UE masih mengembangkan seluruh kriteria kepatuhan, namun kami sudah melihat beberapa kesenjangan dalam model tersebut,” katanya. “Kami percaya bahwa dengan peningkatan fokus pada optimalisasi kepatuhan, penyedia model dapat bersiap dengan baik untuk memenuhi persyaratan peraturan.”
Meta menolak berkomentar. Alibaba, Anthropic, Mistral dan OpenAI tidak segera menanggapi permintaan komentar.
Meskipun Komisi Eropa tidak dapat memverifikasi alat eksternal, badan tersebut telah diberitahu pada setiap tahap pengembangan LLM Checker dan menggambarkannya sebagai “langkah pertama” dalam penerapan peraturan baru.
Juru bicara Komisi Eropa mengatakan: “Komisi menyambut baik penelitian ini dan Platform Penilaian Model AI sebagai langkah pertama dalam menerjemahkan Undang-Undang Kecerdasan Buatan UE ke dalam persyaratan teknis.”
(Cerita ini belum diedit oleh staf NDTV dan dibuat secara otomatis dari feed sindikasi.)
