Daftar Isi
Perpustakaan universitas di berbagai belahan dunia saat ini sedang berjuang menghadapi serbuan bot pengikis data kecerdasan buatan (AI). Aktivitas bot tersebut memperlambat atau bahkan merusak situs web yang seharusnya digunakan oleh mahasiswa, peneliti, dan masyarakat umum.
Koleksi Digital Lumpuh Akibat Bot Pengikis
Menurut keterangan dari pustakawan dan pihak universitas kepada CBC News, seluruh koleksi arsip termasuk dokumen akademik, sejarah, serta dokumen pemerintah terpaksa offline akibat terjangan bot yang persisten. Jill Strykowski, pemimpin bagian katalogisasi dan dokumen pemerintah di San Jose State University, menyatakan bahwa bot-bot tersebut terus-menerus membombardir sistem untuk mengambil materi sebanyak mungkin dari internet.
Bot ini digunakan oleh perusahaan AI maupun pihak ketiga guna memindai situs web dan mengumpulkan data untuk melatih model bahasa besar (LLM) seperti Claude, Gemini, dan ChatGPT. Perpustakaan, museum, serta lembaga warisan budaya menjadi sasaran utama karena menyediakan informasi berkualitas dan telah diverifikasi tanpa harus terhalang oleh paywall atau keharusan masuk akun.
Strykowski menambahkan bahwa masalah ini menimbulkan beban kerja yang luar biasa bagi setiap institusi yang melakukan digitalisasi informasi terbuka. Laporan mengenai gangguan tersebut mulai muncul pada akhir tahun 2024 di kawasan Amerika Utara, Eropa, serta Oseania, dan para ahli menyampaikan kepada CBC News bahwa situasinya kian memburuk.
Dean Seeman selaku direktur koleksi dan infrastruktur digital di University of Victoria Libraries menuturkan bahwa tantangan baru terus bermunculan. Volume lalu lintas bot yang terlalu tinggi terkadang membuat situs perpustakaan tidak bisa diakses sama sekali untuk sementara waktu, sehingga menciptakan masalah nyata bagi akses publik.
Peter Lewis, Ketua Riset Kanada untuk Kecerdasan Buatan yang Tepercaya di Ontario Tech University, menilai pengguna biasa kini harus bersaing dengan lalu lintas tak terbatas dari peternakan bot. Ia menyebut tindakan perusahaan swasta besar ini bersifat ekstraktif terhadap institusi kepentingan publik demi menghasilkan model komersial yang nantinya dijual kembali kepada masyarakat.
Perbedaan Bot Baik dan Bot Buruk
Eric Hellman selaku direktur eksekutif Project Gutenberg menjelaskan dalam sebuah blog bahwa bot-bot tersebut berperan sebagai monster yang diprogram dengan buruk dan merusak akses terbuka di internet. Ia menuturkan kepada CBC News bahwa kondisi yang ada semakin memburuk dan permasalahan utamanya terletak pada perbedaan antara bot yang baik dan bot yang buruk.
Mesin pencari seperti Google dan situs arsip seperti Internet Archive menggunakan bot yang mematuhi pedoman robots.txt yang mengatur tindakan mereka agar tidak mengganggu fungsi situs. Sebaliknya, bot pengikis AI kerap mengabaikan aturan tersebut dan membanjiri situs web dengan ribuan permintaan dokumen per detik dalam berbagai format unduhan.
Sebagai ilustrasi, University of North Carolina at Chapel Hill melaporkan ribuan pencarian musik Finlandia dari berbagai alamat internet pada hari yang sama, yang membuat katalog perpustakaan harus menutup akses bagi mahasiswa dan staf secara berkala. Hellman menjelaskan bahwa solusi lama dengan memblokir alamat IP bermasalah sudah tidak lagi efektif karena satu peternakan bot dapat beroperasi menggunakan ribuan alamat IP berbeda.
Project Gutenberg sebenarnya terbuka agar material mereka dipakai untuk pelatihan AI dan menyediakan opsi unduh seluruh pustaka buku secara instan. Namun, menurut Hellman, bot-bot tersebut terlalu bodoh untuk menggunakan fasilitas yang sudah disediakan secara terhormat tanpa merobohkan situs web.
Upaya Perlindungan dan Tanggapan Perusahaan AI
Sejumlah perpustakaan menerapkan tantangan CAPTCHA atau sistem verifikasi untuk menyaring bot, tetapi langkah tersebut berisiko menyaring bot yang bermanfaat. Michael Weinberg, salah satu direktur lembaga kolaboratif GLAM-E, mengatakan bahwa beberapa perpustakaan juga mulai mewajibkan kredensial masuk yang justru membatasi akses manusia terhadap informasi publik.
Di sisi lain, perusahaan AI besar berargumen bahwa pengikisan data publik untuk pelatihan model mereka diizinkan di bawah doktrin penggunaan wajar dan demi kepentingan terbaik masyarakat. Menghadapi kritik luas serta gugatan hak cipta, perusahaan seperti Anthropic, OpenAI, Google, dan Microsoft menyatakan dukungannya untuk menghormati sinyal pengecualian tunggal yang terstandarisasi dalam berkas robots.txt.
Kendati demikian, kepatuhan tersebut bersifat sukarela dan kesepakatan itu belum mencakup bot bermasalah dari perusahaan pihak ketiga serta rintisan AI berskala kecil. Weinberg menyampaikan bahwa digitalisasi informasi bernilai merupakan perkembangan fantastis bagi umat manusia yang memberikan kemudahan akses bagi peneliti dan guru.
Organisasi seperti GLAM-E kini berupaya mencari solusi jangka panjang guna melestarikan akses tersebut bagi manusia maupun bot yang membantu. Weinberg mengingatkan bahwa aktivitas bot saat ini justru menciptakan disinsentif bagi perpustakaan untuk membagikan koleksi mereka secara daring.
Sumber: Hacker News: Front Page
