Separuh Waktu, “Contekan dari Ahli” Justru Bikin AI Makin Salah

Peneliti nemuin cara sederhana buat ngeberesin ini: kalau saran gurunya bentrok sama jawaban yang bener, abaikan gurunya. Hasilnya naik — tapi ada satu hal di paper-nya yang nggak cocok sama tabelnya sendiri.

Bayangin lo lagi belajar matematika, dan lo punya dua sumber bantuan.

Sumber pertama: seorang guru. Dia nunjukin cara dia ngerjain soalnya, langkah demi langkah. Lo tinggal niru caranya.

Sumber kedua: kunci jawaban. Dia nggak ngajarin apa-apa. Dia cuma bilang: jawaban lo bener, atau salah.

Dua-duanya berguna. Tapi kadang mereka bentrok.

Guru bilang “kerjain lewat sini”. Kunci jawaban bilang “jalur itu ujungnya salah”.

Nah — lo nurut yang mana?

Ini persis masalah yang dihadapi AI

Dua sumber tadi itu punya nama teknis di dunia pelatihan AI:

Guru = distillation. Model besar yang udah pinter nunjukin cara mikirnya ke model kecil, dan model kecilnya niru.

Kunci jawaban = verifiable reward. Sistem yang cuma ngecek: hasil akhirnya bener apa nggak.

Cara lama: dua sinyal itu digabung. Masalahnya, kalau dua-duanya bentrok, saran gurunya bisa narik model ke arah yang salah — sambil kelihatan kayak lagi ngajarin.

Solusinya: satu filter sederhana

Sebuah paper di arXiv ngenalin metode namanya OPDVR, dan intinya cuma satu aturan:

Kalau saran guru bakal ngelawan sinyal kebenaran — abaikan saran gurunya untuk langkah itu.

Itu doang. Paper-nya sendiri nyebut mekanismenya sebagai “gerbang ReLU yang sangat sederhana” — filter yang matiin kontribusi negatif.

Dan yang bikin praktis: metode ini nggak nambahin setelan baru yang harus diatur manual.

Klaim teoritisnya: dengan aturan ini, arah pembelajaran model nggak akan pernah berlawanan dengan arah sinyal kebenaran. Sementara metode lama bisa berlawanan kalau dua sinyalnya konflik.

Dan ini angka yang bikin gua berhenti sejenak

Paper-nya nyatet seberapa sering gerbang itu aktif — alias seberapa sering saran gurunya diabaikan.

Hasilnya: sekitar 48–50% buat model ukuran 4B, dan 40–44% buat model 1,7B.

Baca ulang.

Hampir separuh waktu, saran dari “guru” itu justru ngelawan sinyal jawaban yang benar.

Ini bukan berarti gurunya jelek. Guru itu ngajarin cara dia mikir, dan cara mikir yang bagus buat satu model belum tentu cocok buat model lain yang kemampuannya beda.

Yang menarik: selama ini separuh sinyal itu tetep dipakai, dan nggak ada yang sadar itu bikin rugi.

Hasilnya gimana?

Diuji di enam ujian penalaran matematika — termasuk soal-soal olimpiade tingkat AIME dan AMC.

Uji arsitektur sama:

• Metode baru (OPDVR): 49,1
• Metode lama: 47,8
• Sang guru sendiri: 50,4

Uji lintas arsitektur:

• Metode baru: 22,8
• Metode lama: 20,9

Ada juga varian lain namanya GRPD, yang ganti penilaian “benar/salah” jadi skor relatif dalam kelompok berisi 8 jawaban. Hasilnya 49,4 — lebih tinggi dari dua pembanding utamanya.

⚠️ Sekarang bagian yang perlu lo tau

Ada tiga hal yang bikin angka-angka di atas perlu dibaca hati-hati.

Satu: paper-nya ngeklaim menang di semua enam ujian. Tabelnya sendiri bilang lain.

Di uji arsitektur sama, metode baru ini kalah di MATH500 — 84,7 lawan 85,5.

Jadi yang bener: rata-ratanya lebih tinggi, tapi bukan menang bersih di semua ujian. Klaim dan tabelnya nggak sinkron, dan itu ditemuin sama yang nulis liputannya.

Dua: muridnya masih kalah dari gurunya.

49,1 lawan 50,4. Metodenya bikin murid lebih deket ke guru — bukan ngelewatin.

Tiga: nggak ada rentang ketidakpastian.

Nggak dilaporin seberapa besar hasilnya bisa berubah kalau uji cobanya diulang. Di dunia riset, selisih 1,3 poin tanpa informasi variasi itu belum tentu selisih yang nyata.

Dan ini preprint — versi 2, bertanggal 28 Agustus 2026. Artinya belum melewati tinjauan sejawat.

Tapi ada satu hal yang justru nunjukin ini riset yang jujur

Peneliti-nya juga nguji versi kebalikannya — gerbang yang dibalik arahnya.

Hasilnya: 44,6. Lebih rendah dari metode baru (49,1) dan dari metode lama (47,8).

Kenapa ini bagus? Karena artinya mereka ngetes apakah arah aturannya penting, bukan cuma ngasih tau hasil terbaiknya. Kalau versi terbaliknya juga bagus, berarti yang bikin naik bukan idenya.

Ngetes cara bikin metode lo sendiri gagal itu tanda peneliti yang serius.

Kenapa ini penting buat lo

Ini bagian yang menurut gua paling kepake, dan berlaku jauh di luar urusan AI.

Waktu lo belajar sesuatu, lo juga punya dua sumber:

Saran dari orang yang lebih jago — mentor, kreator yang lo tonton, buku, kursus.

Hasil nyata dari yang lo kerjain — angka, respons orang, apakah caranya jalan atau nggak.

Sebagian besar waktu, dua-duanya sejalan.

Tapi kadang bentrok. Dan penelitian ini nunjukin satu hal yang menarik: saat bentrok, ikutin hasil nyatanya.

Bukan karena mentornya salah. Tapi karena saran itu lahir dari kondisi dia, bukan kondisi lo. Sama persis kayak guru AI tadi: cara mikirnya bagus, tapi belum tentu cocok buat kapasitas dan situasi yang berbeda.

Dan yang paling bikin mikir: di penelitian ini, hampir separuh saran gurunya ternyata kontraproduktif.

Bukan berarti berhenti belajar dari orang. Tapi berarti: jangan nurut buta pas hasil di depan mata udah ngasih tau hal yang berbeda.

---

Sumber: preprint arXiv (versi 2, 28 Agustus 2026) dan liputan atasnya. Catatan: gua nggak baca paper aslinya, cuma liputan yang lo kasih — dan angka-angka di atas adalah hasil yang dilaporkan penulisnya sendiri, belum diverifikasi lewat tinjauan sejawat maupun pengulangan independen.