Empat perusahaan AI besar mengumumkan kesepakatan baru pada 30 Oktober 2026: pemilik situs cukup menulis satu sinyal di robots.txt untuk menyatakan apakah konten mereka boleh dipakai melatih model AI. Langkah ini menyatukan aturan yang selama ini harus ditulis terpisah untuk setiap perusahaan.
Apa yang terjadi?
OpenAI mengumumkan akan menghormati sinyal bersama di robots.txt, sehingga pengelola situs bisa menyampaikan satu preferensi pelatihan AI kepada beberapa penyedia sekaligus. Selama ini, pemilik situs harus mengenali tiap crawler dan memelihara aturan berbeda untuk masing-masing penyedia. 🔗 Unite.AI
Sinyal itu memakai token kebijakan __usage_ai-training di baris User-Agent robots.txt. Situs yang ingin menolak pelatihan AI cukup menulis baris tersebut bersama Disallow: /, dan bisa juga membatasi penolakan hanya pada folder tertentu. 🔗 Skimwire
Google, Microsoft, dan Anthropic juga disebut ikut mendukung sinyal yang sama, sehingga satu aturan bisa dibaca oleh semua penyedia yang berpartisipasi. Draf teknisnya ditulis oleh Kevin Kelley dari Anthropic dan berasal dari kelompok kerja AI Preferences di IETF. 🔗 Unite.AI
Kenapa penting?
Bagi penerbit, media, dan pemilik situs, aturan ini mengurangi beban teknis yang selama ini merepotkan. Mereka tidak lagi harus memperbarui banyak blok aturan setiap kali ada crawler baru.
Bagi industri AI, ini adalah upaya pertama yang terkoordinasi untuk menyeragamkan cara situs menyatakan preferensi pelatihan. Jika diadopsi luas, sinyal ini bisa menjadi bahasa umum antara penerbit dan pengembang model.
Jadwal penerapan
- Anthropic: sudah mulai menerapkan dukungan untuk token ini.
- OpenAI: dalam beberapa bulan ke depan, tanpa tanggal pasti, dan detail implementasi akan diumumkan menyusul.
- Microsoft: menargetkan 1 Februari 2027.
- Google: menargetkan penerapan pada 2027.
Apa yang perlu diperhatikan?
- Sinyal ini bersifat sukarela, baik bagi pemilik situs maupun penyedia AI yang memilih menghormatinya.
- Dokumennya masih berstatus draf individu IETF, bukan standar resmi, dan belum mendapat dukungan formal dari IETF.
- Sinyal ini mengatur preferensi pelatihan, bukan perilaku crawling. Menolak pelatihan tidak otomatis memblokir perayapan, pencarian, atau jawaban AI yang mengutip halaman.
- Memperbarui robots.txt tidak menghapus konten yang sudah terkumpul dalam dataset lama atau sudah terlatih ke dalam model.
- Aturan crawler lama tiap perusahaan tetap berlaku. OpenAI menegaskan kontrol robots.txt yang sudah ada tetap dihormati bersama sinyal baru ini.
Tidak ada komentar:
Posting Komentar