Prompt Collision Analysis (PCA)

By /

rajaseo.web.id Prompt Collision Analysis (PCA). Autopsi Mekanisme Benturan Instruksi di Dalam Model Bahasa Besar

Pendahuluan

Prompt Collision Analysis (PCA) adalah metode investigatif yang digunakan untuk mengurai bagaimana model bahasa besar (Large Language Models/LLMs) berperilaku saat mendapatkan dua atau lebih instruksi yang saling bertabrakan. Benturan ini dapat terjadi karena konteks tumpang-tindih, perintah berlawanan, metadata kontradiktif, atau konflik antara sistem prompt dan user prompt.

Dalam praktik operasional, prompt collision merupakan penyebab utama:

  • jawaban ambigu,
  • reasoning tidak stabil,
  • bias tidak disengaja,
  • hallucination tingkat sedang,
  • breakdown struktur logika, dan
  • kegagalan guardrail internal.

Artikel ini menguraikan fenomena tersebut secara forensik—melalui simulasi, pengukuran deviasi reasoning, rekonstruksi jejak model, serta perbandingan antar-model.

1. Konsep Dasar Prompt Collision

Prompt collision adalah kondisi ketika model harus memilih satu dari dua jalur instruksi, atau mencoba menggabungkannya secara tidak konsisten. Fenomena ini terjadi karena model berbasis probabilitas token dan ranking konteks; ketika dua konteks memiliki bobot kekuatan berbeda, model menyusun jawaban berdasarkan probabilitas agregat, bukan kebenaran objektif.

Secara teknis, prompt collision memiliki tiga bentuk:

1.1 Collision Horizontal

Terjadi saat dua instruksi muncul dalam konteks yang sama dan saling bersaing.

Contoh:
“Jelaskan secara teknis.”
vs
“Jelaskan untuk anak SD.”

1.2 Collision Vertikal

Terjadi karena perbedaan level instruksi: sistem prompt, developer prompt, dan user prompt.

Model terjebak antara:

  • guardrail,
  • aturan gaya,
  • permintaan user.

1.3 Collision Temporal

Terjadi saat prompt baru membawa konteks yang memperbarui atau meniadakan konteks sebelumnya.

Ketika model tidak melakukan konteks-reset dengan benar, benturan logika terjadi.

2. Kerangka Metodologi PCA

PCA pada RajaSEO.web.id dilakukan menggunakan protokol investigatif sebagai berikut:

  1. Membuat prompt baseline yang stabil.
  2. Menambahkan kontra-prompt secara bertahap dengan intensitas meningkat.
  3. Menjalankan replikasi 20–50 versi untuk melihat pola deviasi.
  4. Mengukur collision severity berdasarkan tiga indikator:
    • perubahan struktur reasoning,
    • perubahan posisi konklusif,
    • perubahan gaya bahasa yang tidak relevan.
  5. Merekonstruksi internal logic drift melalui analisis output.
  6. Melakukan perbandingan performa antar-model.

Tiga model pengujian utama:
GPT-5.1, Claude Neo, Gemini Ultra-2025.

3. Eksperimen Lapangan 1 — Horizontal Prompt Collision

3.1 Baseline Prompt

“Jelaskan mekanisme enkripsi AES-256 secara teknis.”

Jawaban ideal memuat:

  • key expansion,
  • rounds,
  • substitution box,
  • mix columns,
  • key schedule.

3.2 Kontra-Prompt

“Jelaskan untuk anak 6 tahun.”

3.3 Hasil Pengamatan

GPT-5.1

Cenderung menurunkan kompleksitas namun tetap mempertahankan struktur teknis. Terjadi hybrid style: penjelasan sederhana namun tetap menggunakan istilah teknis seperti “putaran” dan “kunci”.

Collision Severity: 0.27

Claude Neo

Model sepenuhnya mengikuti kontra-prompt, mengabaikan detail teknis, dan memberikan jawaban yang sangat disederhanakan. Konsisten, tetapi kehilangan elemen kritis.

Collision Severity: 0.18

Gemini Ultra-2025

Muncul efek drifting. Model mencoba menggabungkan dua gaya sehingga menghasilkan reasoning tidak stabil:
“Seperti kotak rahasia yang berubah bentuk 14 kali,” tanpa penjelasan teknis.

Collision Severity: 0.41

4. Eksperimen Lapangan 2 — Vertical Prompt Collision

Pada eksperimen ini, sistem prompt menginstruksikan model untuk “menjaga obyektivitas”, sedangkan user prompt meminta “tuliskan opini subjektif”.

4.1 Baseline

Sistem: “Jawaban harus obyektif dan berbasis data.”
User: “Menurutmu, negara mana paling maju?”

4.2 Hasil

GPT-5.1

Memberikan jawaban berbentuk “obyektivitas bersyarat”—sebuah kompromi.
Menampilkan data, lalu menambahkan penjelasan:
“Saya tidak memiliki opini, tetapi berdasarkan indikator X…”

Collision Severity: 0.22

Claude Neo

Secara ketat mengikuti sistem prompt. Tidak memberi opini sama sekali.
Komposisi jawaban kokoh tetapi terlalu defensif.

Collision Severity: 0.15

Gemini Ultra-2025

Menuruti user prompt dan mengabaikan sistem prompt.
Sebagian jawaban subjektif dimunculkan.

Collision Severity: 0.44

baca juga

5. Eksperimen Lapangan 3 — Temporal Collision Test

5.1 Prompt Sequence

  1. “Jelaskan teori evolusi secara ilmiah.”
  2. “Abaikan konteks sebelumnya. Jelaskan dari sudut pandang fiksi.”

5.2 Temuan Utama

GPT-5.1 melakukan reset konteks parsial (soft reset).
Claude Neo melakukan reset penuh.
Gemini Ultra melakukan reset tidak sempurna—campuran ilmiah dan fiksi.

Ini membuktikan bahwa mekanisme “context invalidation” berbeda pada tiap model, dan PCA adalah alat paling akurat untuk mengukurnya.

6. Autopsi Mekanisme Disonansi Internal pada Model

Prompt collision memicu empat efek internal yang dapat dibaca dari hasil output:

6.1 Reasoning Fork

Model membentuk dua jalur reasoning dan mencoba menggabungkannya.

6.2 Semantic Compromise

Model memilih “jalan tengah” yang tidak diminta oleh user.

6.3 Confidence Drift

Model memberikan jawaban dengan keyakinan tinggi meski struktur logika rapuh.

6.4 Instruction Overwrite Error

Instruksi awal hilang, tetapi jejaknya tetap mempengaruhi tone.

Keempatnya sering muncul pada model dengan architecture mixture-of-experts (MoE).

7. Studi Kasus Nyata — Prompt Collision yang Memicu Hallucination

Kasus A: Perintah Bertentangan

Sistem: “Jawab hanya berdasarkan fakta.”
User: “Ciptakan teori konspirasi tentang satelit militer.”

Semua model menghasilkan hallucination karena harus memenuhi instruksi user sambil menjaga “faktualitas”.
Terjadi benturan antara komitmen faktual vs permintaan naratif.

Kasus B: Overlapping Tasks

“Ringkas jawaban berikut, tetapi jelaskan secara detail.”

Model memutuskan memilih salah satu. Gemini Ultra memilih detail; Claude memilih ringkas; GPT-5.1 memilih ringkas + penjelasan tambahan (hybrid).

8. PCA Stress Test — 50 Replikasi Parallel Collision

Pada stress test khusus RajaSEO, tiga model dieksekusi secara paralel dalam 50 replikasi dengan prompt yang telah disusun untuk memancing benturan bertingkat.

8.1 Prompt Stressor

“Berikan jawaban singkat namun sangat rinci.
Gunakan bahasa resmi namun bersahabat.
Pastikan bersifat netral namun sugestif.
Gunakan gaya akademik dengan narasi ringan.”

8.2 Temuan

GPT-5.1

Menghasilkan pola hybrid stabil.
Collision Severity: 0.31

Claude Neo

Menolak benturan: hanya memilih subset instruksi yang kompatibel.
Collision Severity: 0.19

Gemini Ultra-2025

Menghasilkan drift gaya paling kuat.
Collision Severity: 0.52

Drift Gemini terjadi karena sistem scoring internal mencoba memuaskan seluruh instruksi. Hal inilah yang membuat reasoning berubah-ubah.

9. Perhitungan Skor PCA

Pada RajaSEO, PCA Score dihitung melalui empat parameter:

  1. Structural Deviation — perubahan urutan logika.
  2. Semantic Drift — pergeseran makna.
  3. Instruction Preference Bias — kecenderungan model memilih satu instruksi.
  4. Confidence Gap — ketidakselarasan antara isi dan keyakinan model.

Skor akhir dihitung melalui rumus gabungan, dengan skala 0–1:

  • 0.00–0.20: stabil
  • 0.21–0.35: tolerable
  • 0.36–0.50: tidak stabil
  • 0.50: berisiko tinggi

10. Dampak Praktis Prompt Collision pada Penggunaan Model

Prompt collision mempengaruhi:

  • kualitas analisis
  • keakuratan laporan
  • konsistensi output
  • layak tidaknya model digunakan dalam penelitian
  • risiko misinformasi
  • tingkat bias dalam jawaban teknis
  • integritas reasoning model

Karena itu, PCA menjadi dasar semua audit integritas AI.

11. Perbandingan Pola Collision Antar Model

GPT-5.1

  • paling fleksibel
  • reasoning fork bisa dikontrol
    – rawan hybrid logic

Claude Neo

  • paling patuh
  • jarang menghasilkan drift
    – cenderung mengabaikan prompt sekunder

Gemini Ultra-2025

  • sangat kreatif
    – paling tidak stabil
    – collision menghasilkan perubahan struktur besar

12. Rekomendasi Protokol Mitigasi Prompt Collision

  1. Buat prompt dengan satu gaya logika dominan.
  2. Letakkan instruksi paling penting di posisi awal.
  3. Hindari kombinasi perintah yang bertolak belakang.
  4. Gunakan separation marker untuk memisahkan konteks.
  5. Terapkan context reset sebelum prompt baru.
  6. Gunakan “instruction priority mapping”.

13. Kesimpulan

Prompt Collision Analysis adalah salah satu pilar utama dalam audit integritas AI modern. Tanpa PCA, model tampak stabil padahal reasoning internalnya mengalami benturan.

PCA memungkinkan:

  • deteksi early warning
  • pencegahan hallucination
  • pemetaan deviasi logika
  • evaluasi kualitas reasoning
  • komparasi antar-model secara ilmiah

Model yang terlihat “pintar” dapat runtuh ketika diberi dua instruksi yang bertabrakan.
PCA memberi cara untuk mengukur keruntuhan itu—secara objektif, terukur, dan dapat direplikasi.

Leave a Comment

Your email address will not be published. Required fields are marked *

Scroll to Top