AI Sebenernya Nggak Punya Ingatan Sama Sekali. Yang Selama Ini Inget Obrolan Lo Itu Bukan AI-nya.

Tiap kali lo kirim satu pesan ke chatbot AI, seluruh percakapan lo dari awal dikirim ulang. Setiap. Kali. Ada paper yang ngebahas cara ngakalin ini — plus satu trik yang bisa langsung lo pakai.

Ini fakta yang bikin banyak orang kaget pas pertama tau:

Model AI nggak inget apa pun.

Bukan “ingatannya pendek”. Bukan “kadang lupa”. Nol. Tiap kali lo kirim pesan, dari sisi model itu adalah pertama kalinya dia denger tentang lo.

Terus kenapa chatbot kelihatan nyambung terus?

Karena aplikasinya yang nyimpen, terus ngirim ulang seluruh riwayat obrolan tiap kali lo ngetik pesan baru. Model cuma baca tumpukan teks itu, jawab, terus lupa lagi.

Analogi yang paling pas

Bayangin lo lagi komplain ke customer service, tapi tiap kali lo bales chat, yang ngejawab orang yang beda.

Biar nyambung, lo harus nempelin ulang seluruh percakapan sebelumnya di tiap pesan. “Halo, jadi gini — [tempel 40 pesan sebelumnya] — nah lanjutannya gimana?”

Itu persis yang terjadi di balik layar tiap kali lo chat sama AI.

Kenapa dibikin lupa? Bukannya itu bodoh?

Ini bagian menariknya: lupa itu fitur, bukan bug.

Istilah teknisnya stateless — nggak nyimpen kondisi. Alasannya soal skala.

Kalau tiap server AI harus inget siapa lo dan lo lagi ngobrolin apa, maka permintaan lo harus dikirim ke server yang sama terus. Begitu server itu penuh atau mati, obrolan lo hangus.

Karena semua server “amnesia” dan setara, permintaan lo bisa dilempar ke server mana pun yang lagi kosong. Mau nambah 1.000 server? Tinggal colok. Itu yang bikin layanan AI bisa ngelayanin ratusan juta orang.

Tapi beban ingatannya nggak ilang — cuma pindah. Yang nanggung sekarang: aplikasi yang manggil AI-nya.

Nah, ini yang diusulin paper-nya

Paper ini — ditulis Joseph Axisa dan dipresentasiin di workshop konferensi ACM CAIS 2026 — ngasih nama buat pola arsitektur yang jadi solusinya: Hydration Proxy Pattern.

Nama yang aneh, tapi masuk akal kalau dibongkar:

Hydration = “ngisi cairan”. Kayak mi instan kering yang disiram air panas biar jadi mi beneran. Riwayat obrolan lo disimpen dalam bentuk “kering” di database, terus “disiram” jadi konteks utuh tepat sebelum dikirim ke AI.

Proxy = perantara. Ada lapisan di tengah yang ngurusin ini, terpisah dari mesin AI-nya.

Intinya: pisahin urusan “nyimpen ingatan” dari urusan “mikir”. Jangan dicampur.

Kenapa ini penting buat perusahaan (dan negara)

Paper ini pakai istilah “platform sovereignty” — kedaulatan platform atas data percakapan.

Maksudnya: kalau arsitekturnya bener, data obrolan tetep ada di sisi lo, bukan numpang di penyedia AI. Lo yang nentuin disimpen di mana, berapa lama, siapa yang boleh akses.

Buat perusahaan Indonesia yang mau pakai AI tapi kepikiran soal aturan perlindungan data — ini bukan urusan teknis doang. Ini urusan legal dan kepercayaan.

Bagian yang nyambung ke duit lo

Ini bagian yang paling praktis, dan ada kaitannya sama berita beberapa hari lalu.

Ada teknik namanya KV caching. Cara kerjanya begini: kalau bagian awal konteks yang lo kirim sama persis kayak sebelumnya, AI nggak perlu ngitung ulang bagian itu — dia pakai hasil hitungan yang udah disimpen. Jauh lebih murah, jauh lebih cepat.

Inget berita Claude Fable 5.1 minggu ini? Harga baca cache-nya dipangkas 75%. Nah, itu jenis penghematan yang lagi diomongin di sini.

Tapi ada jebakannya. Cache itu gampang rusak.

Kalau lo ngutak-atik bagian awal konteks — nyelipin data baru di depan, ngubah urutan, nambahin timestamp — cache-nya nggak kepake dan lo bayar harga penuh lagi. Padahal manajemen state yang canggih justru sering ngelakuin itu.

Jadi ada tarik-menarik: mau data lo berdaulat, atau mau tagihan lo murah?

Solusi yang diusulin paper ini namanya Context Stabilization Mandate — aturan main biar bagian awal konteks dijaga tetap stabil, jadi cache-nya nggak rusak sambil tetap ngatur state sendiri.

Yang bisa langsung lo pakai

Kalau lo bikin automation, bot, atau tools apa pun yang manggil AI lewat API, prinsipnya bisa lo tiru tanpa perlu ngerti arsitekturnya:

Taro yang nggak berubah di depan. Taro yang berubah di belakang.

Instruksi sistem, aturan, contoh, persona — semua itu di awal, dan jangan diutak-atik. Pesan baru, data yang berubah, timestamp — semua di akhir.

Kedengeran sepele. Tapi bedanya bisa berlipat di tagihan bulanan lo, terutama kalau prompt lo panjang.

⚠️ Catatan soal paper-nya

Biar lo bisa nakar sendiri: ini paper 3 halaman dengan 1 tabel, dipresentasiin di workshop dalam konferensi ACM CAIS 2026 — bukan riset besar dengan eksperimen panjang.

Paper workshop itu formatnya emang buat ngenalin ide dan bikin nama buat pola yang mungkin udah dipraktikin diam-diam di banyak tempat. Nilainya ada di kerapian konsep dan penamaan, bukan di bukti empiris.

Dan gua cuma baca abstraknya, bukan isi lengkapnya.

Kenapa ini penting buat lo

Satu kalimat yang layak dibawa pulang:

Ingatan AI itu ilusi yang dibayar per token.

Tiap kali obrolan lo makin panjang, biaya tiap pesan berikutnya makin mahal — karena seluruh riwayat dikirim ulang. Itu sebabnya percakapan panjang kerasa makin lemot dan makin mahal.

Dan itu juga sebabnya “memory” di produk AI itu bukan sihir. Itu database, plus arsitektur yang rapi.

---

Sumber: abstrak paper “Architecting Conversational Data Systems for Stateless LLM APIs: The Hydration Proxy Pattern” oleh Joseph Axisa — SAO Workshop, ACM CAIS 2026, arXiv:2609.01834