Token AI: Apa yang Dihitung dan Cara Menekannya

Orang biasanya menyangka tagihan API naik karena jumlah permintaannya bertambah. Yang lebih sering terjadi: jumlah permintaannya sama, tapi tiap permintaan jadi lebih berat.

Tulisan ini soal apa yang sebenarnya dihitung, dan empat cara menekannya yang semuanya berdasar tarif resmi — bukan trik.

Token itu apa

Token adalah potongan kata. Satu kata bisa jadi satu token, atau dua, atau lebih tergantung bentuknya. Yang perlu kamu tahu secara praktis cuma dua hal:

Teks berbahasa Indonesia umumnya memakan lebih banyak token daripada teks Inggris dengan panjang yang sama. Jadi perkiraan biaya yang kamu baca di artikel berbahasa Inggris cenderung terlalu optimistis untuk aplikasi berbahasa Indonesia.

Jangan mengandalkan perkiraan. Semua penyedia besar menyediakan alat tokenizer untuk menghitung token sebuah teks dengan tepat. Memakai alat itu lima menit lebih berguna daripada membaca sepuluh artikel soal perkiraan, termasuk yang ini.

Yang dihitung: dua sisi dengan tarif berbeda

Input — semua yang kamu kirim: instruksi sistem, riwayat percakapan, dokumen yang ditempelkan, hasil pencarian yang kamu sisipkan.

Output — semua yang dijawab model.

Di hampir semua model OpenAI, output sekitar lima kali lebih mahal daripada input. Angka pastinya per model ada di artikel harga API.

Konsekuensinya sering berlawanan dengan apa yang orang kerjakan: banyak waktu dihabiskan merapikan prompt supaya lebih pendek, padahal memperpendek jawaban biasanya lebih berpengaruh ke tagihan. Satu instruksi “jawab maksimal tiga kalimat” bisa memotong biaya lebih banyak daripada merapikan prompt setengah hari.

Kenapa percakapan panjang makin mahal per pesan

Ini mekanisme yang paling sering mengagetkan orang yang baru memakai API.

Model tidak punya ingatan antar permintaan. Supaya dia tahu konteks percakapan, seluruh riwayat dikirim ulang di setiap pesan baru.

Jadi di percakapan sepuluh pesan:

• Pesan pertama mengirim 1 pesan sebagai input.
• Pesan kedua mengirim 2 pesan.
• Pesan kesepuluh mengirim 10 pesan.

Biaya totalnya bukan sepuluh kali biaya satu pesan — dia tumbuh jauh lebih cepat dari itu, karena input tiap pesan membawa semua yang sebelumnya. Pesan pendek di akhir percakapan panjang bisa lebih mahal daripada pesan panjang di awal.

Dan kalau riwayatnya menumpuk sampai melewati 272 ribu token input, untuk model GPT-6 dan GPT-5.x permintaannya masuk tarif konteks panjang yang lebih tinggi — bukan cuma lebih banyak token dengan tarif sama.

Empat cara menekannya

1. Pilih model per tugas, bukan satu model untuk semuanya. Selisih antar model bisa seratus kali untuk beban kerja yang sama. Pekerjaan sederhana — mengklasifikasi, memformat, mengekstrak — hampir selalu selesai dengan model termurah. Simpan model mahal untuk bagian yang memang gagal di model murah. Satu aplikasi boleh memakai dua model berbeda di dua bagian berbeda.

2. Susun prompt supaya bagian tetapnya bisa di-cache. Tarif cached input jauh lebih murah — di gpt-6-astra sepersepuluh harga input biasa. Yang kena tarif itu adalah bagian prompt yang berulang sama persis. Jadi taruh yang tetap di awal (instruksi sistem, dokumen rujukan) dan yang berubah di akhir. Prompt yang urutannya diacak tiap permintaan tidak akan pernah kena tarif murah itu.

3. Pakai Batch API untuk yang tidak ditunggu. Tarifnya sekitar separuh standar. Cocok untuk mengklasifikasi ribuan baris data, meringkas arsip, atau membuat deskripsi massal. Tidak cocok untuk apa pun yang jawabannya ditunggu pengguna di depan layar.

4. Jangan kirim seluruh riwayat kalau tidak perlu. Untuk banyak aplikasi, model tidak butuh sepuluh pesan sebelumnya — dia butuh ringkasan percakapan plus dua pesan terakhir. Mengganti riwayat penuh dengan ringkasan yang diperbarui berkala adalah satu perubahan kode yang bisa memotong biaya input besar-besaran di percakapan panjang.

Yang bukan cara menghemat

Mengejar model termurah untuk semua tugas. Model murah yang butuh tiga percobaan untuk menghasilkan jawaban benar lebih mahal daripada model mahal yang benar sekali jalan — dan jauh lebih mahal kalau waktumu dihitung.

Memangkas prompt sampai instruksinya kabur. Prompt yang terlalu pendek menghasilkan jawaban yang perlu diperbaiki, dan perbaikan itu permintaan baru dengan biaya baru. Input murah; jangan menghemat di tempat yang salah.

Menebak-nebak tanpa mengukur. Jalankan seratus permintaan sungguhan, lihat tagihannya, baru optimalkan bagian yang terbukti besar. Optimasi tanpa pengukuran biasanya mengerjakan bagian yang salah.

Soal pembayarannya

Saldo API perlu diisi lebih dulu, dan jalurnya tidak sama dengan langganan konsumen. Kalau kartumu bermasalah, tiga pilihan, dari yang paling murah:

Cek dulu metode yang tersedia di halaman penagihan akunmu — bisa berbeda per akun dan per negara. Lalu pertimbangkan OpenRouter, yang menggantikan beberapa titik pembayaran dengan satu. Terakhir, jasa pembayaran dengan estimasi rupiah yang sudah dihitung.

Satu hal yang berlaku di semua jalur: isi sekali dalam jumlah yang realistis untuk beberapa bulan. Biaya jasa dan biaya pembelian kredit sama-sama dihitung per transaksi, jadi mengisi sedikit-sedikit membayar biaya itu berulang kali. Tapi jangan melebihi pemakaian yang realistis — saldo API tidak bisa ditarik kembali jadi uang.