BOSTON - Para ilmuwan di MIT, Harvard, dan Cornell, memperingatkan kelemahan penggunaan kecerdasan buatan generatif atau generative artificial intelligence (AI). Para ilmuwan menemukan AI model bahasa besar (large language models/LLMs) tidak cocok untuk penggunaan di dunia nyata.

Dalam sebuah studi baru yang dipublikasikan ke basis data pracetak arXiv, para ilmuwan di MIT, Harvard, dan Cornell menemukan bahwa model bahasa besar (LLM), seperti GPT-4 atau Claude 3 Opus milik Anthropic, gagal menghasilkan model dasar yang secara akurat mewakili dunia nyata.

Sistem kecerdasan buatan (AI) generatif mungkin dapat menghasilkan beberapa hasil yang membuka mata, tetapi penelitian baru menunjukkan bahwa mereka tidak memiliki pemahaman tentang dunia dan aturan nyata.

“AI model bahasa besar mungkin tampak cerdas di permukaan, tetapi mereka kesulitan untuk benar-benar memahami dunia nyata dan memodelkannya secara akurat,” keterangan studi baru tersebut dikutip dari laman Live Science, Minggu (17/11/2024).

Hal itu menimbulkan kekhawatiran bahwa sistem AI yang diterapkan dalam dunia nyata, misalnya dalam mobil tanpa pengemudi, dapat mengalami malfungsi ketika dihadapkan pada lingkungan atau tugas yang dinamis.

Para ilmuwan menguji AI model bahasa besar (LLM) untuk memberikan petunjuk arah mengemudi belokan demi belokan di New York City, hasilnya memberikan akurasi hampir 100%. 

Namun, ketika perubahan tidak terduga ditambahkan ke suatu arahan (seperti jalan memutar dan jalan yang ditutup), keakuratan yang diberikan LLM menurun drastis. 

Dalam beberapa kasus, hal itu mengakibatkan kegagalan total. Fakta ini menimbulkan kekhawatiran bahwa sistem AI yang diterapkan dalam situasi dunia nyata, misalnya dalam mobil tanpa pengemudi, dapat mengalami malfungsi.

Hal ini menunjukkan bahwa perlu pendekatan yang berbeda untuk penggunaan LLM agar untuk menghasilkan akurasi. Belum diketahui pendekatan seperti apa yang bisa dilakukan, tetapi hal ini menyoroti kerapuhan sistem AI LLM saat dihadapkan pada lingkungan yang dinamis.

“Saya harap kami dapat meyakinkan orang-orang bahwa ini adalah pertanyaan yang harus dipikirkan dengan sangat hati-hati. Kami tidak harus bergantung pada intuisi kami sendiri untuk menjawabnya,” kata Ashesh Rambachan, asisten profesor ekonomi dan peneliti utama di Laboratorium Sistem Informasi dan Keputusan MIT (LIDS). (wib)