Source Substitution Test: Ketika AI Mengganti Sumber Primer dengan Ringkasan Sekunder
Catatan lab untuk Source Substitution Test ini berada pada versi 2.0, diperbarui 29 Juli 2026. Protokol siap ditinjau, tetapi main run publik belum dinyatakan selesai.
Kadang-kadang kegagalan terbaik justru terlihat seperti keberhasilan. Query meminta tanggal serta ketentuan kebijakan yang tersedia di dokumen regulator, tetapi banyak blog merangkum secara tidak seragam.
Dalam pengujian Source Substitution Test, jawaban yang terdengar rapi belum tentu mempunyai jalur bukti yang rapi. Sumber primer dapat tergeser, kutipan dapat berputar, dan informasi lama dapat muncul kembali tanpa tanda usia. Publisher, peneliti, dan tim AI Search membutuhkan cara membedakan visibility dari integritas sumber.
Satu contoh yang akan diperiksa pada Source Substitution Test adalah bagaimana sistem bergerak dari situasi “Query meminta tanggal serta ketentuan kebijakan yang tersedia di dokumen regulator, tetapi banyak blog merangkum secara tidak seragam.” menuju keputusan akhir. Catatan tidak berhenti pada output. Tim menandai titik saat bukti muncul, saat batas mulai kabur, dan saat koreksi masih mungkin dilakukan. Dengan cara ini, Source Substitution Test dapat menjelaskan mekanisme kegagalan, bukan hanya memajang hasil yang terlihat salah.
Dari Skenario Nyata ke Unit Analisis
Nilai praktis Source Substitution Test muncul ketika orang lain dapat membaca record dan memahami mengapa sebuah keputusan dibuat, termasuk keputusan untuk tidak menyimpulkan apa pun.
Hipotesis yang Bisa Ditolak
Untuk mencegah cherry-picking, Source Substitution Test menahan fokus pada Kapan AI mengganti sumber primer dengan artikel ringkasan yang lebih mudah diambil? Contoh yang tidak mewakili unit analisis dipisahkan dari dataset utama.
Accessibility, struktur halaman, dan popularitas sumber sekunder dapat mengalahkan otoritas sumber asli.
Environment Record Source Substitution Test
Skenario Source Substitution Test tidak berubah antar-main run: Query meminta tanggal serta ketentuan kebijakan yang tersedia di dokumen regulator, tetapi banyak blog merangkum secara tidak seragam. Jika kondisi produk berubah, run diberi cohort baru.
- Identitas run Source Substitution Test: query set dan variasi bahasa.
- Kondisi input: mode login, lokasi, waktu, serta permukaan produk.
- Jejak yang disimpan: URL sumber, tanggal publikasi, dan jenis sumber.
- Boundary: kutipan terlihat, kutipan implisit, serta jalur menuju sumber primer.
Cara Menilai Tanpa Cherry-Picking
Pengukuran Source Substitution Test memeriksa nilai proporsi sumber primer, fidelity kutipan, jarak dari sumber asal, dan perbedaan jawaban saat domain primer disebut eksplisit. Kegagalan tool atau provider dicatat terpisah agar tidak salah dianggap perilaku model.
Dalam review Source Substitution Test, penilaian dilakukan sampai tingkat sumber, bukan berhenti pada apakah nama domain muncul. Bila reviewer berbeda, disagreement dicatat dan diselesaikan dengan adjudication note yang menunjuk ke evidence.
Publication Gate
Source Substitution Test tidak memuat pemenang model atau persentase kegagalan. Kedua jenis klaim itu menunggu dataset lengkap.
Untuk Source Substitution Test, satu komponen yang hilang tidak selalu membatalkan eksperimen. Namun kekurangan itu tidak boleh disembunyikan.
Apa Arti Hasil Nanti
Batas klaim Source Substitution Test ditentukan oleh tidak semua interface menampilkan citation atau retrieval log. Temuan lokal tidak akan dipromosikan sebagai hukum universal.
Untuk Source Substitution Test, ketidakmampuan mengulang juga merupakan hasil. Penyebabnya dapat berasal dari model update, product routing, atau data yang tidak lengkap.
Kualitas retrieval tidak cukup dinilai dari jumlah tautan; asal bukti dan fidelity harus dilacak. Dalam arsitektur Rajaseo, Source Substitution Test memperkuat evidence hub Rajaseo. Ia mengikuti Research Standards Protocol dan berbagi konteks dengan Preferred Source Signal Test: Apakah Pilihan Pengguna Mengubah Kemunculan Sumber? serta Citation Chain Integrity Test: Melacak Kutipan sampai ke Bukti Asli.
Sumber yang Membantu Membatasi Scope Source Substitution Test
Rujukan berikut membantu menyusun boundary dan terminology untuk Source Substitution Test. Sumber eksternal tidak dianggap sebagai bukti bahwa main run Rajaseo telah selesai.