Kata "Halo" Itu Sebenarnya Berapa Token?
Di Part 1 kita udah bahas kalau AI itu pelupa, dan tiap kali kamu ngobrol, seluruh riwayat percakapan dikirim ulang. Nah sekarang pertanyaannya, pas riwayat obrolan yang panjang itu dikirim ke AI, gimana sebenarnya cara AI "mencerna" semua teks itu?
Jawabannya bakal kedengeran aneh buat yang baru denger pertama kali. AI nggak baca kalimat kayak manusia baca. Dia nggak lihat kata "halo" sebagai satu unit utuh yang punya makna. Yang dia lihat itu potongan potongan kecil bernama token, dan satu kata bisa aja kepecah jadi beberapa token sekaligus.
Contoh gampangnya, kata "ChatGPT" itu di banyak sistem tokenisasi bisa kepecah jadi dua atau tiga token, bukan satu. Kata yang jarang dipakai atau istilah teknis biasanya kepecah lebih banyak, sementara kata umum kayak "dan", "yang", "itu" biasanya jadi satu token utuh.
Anggapan gampangnya, rata rata satu token itu setara sekitar empat karakter buat teks bahasa Inggris, atau kira kira tiga perempat kata. Jadi kalau kamu nulis kalimat isinya seratus kata dalam bahasa Inggris, itu kira kira bakal jadi seratus tiga puluh sampai seratus lima puluh token. Ini cuma perkiraan kasar ya, angka pastinya tetap tergantung model dan bahasa yang dipakai.
Kenapa Dipecah Sekecil Itu?
Ini bukan soal ribet ribetan tanpa alasan. AI itu pada dasarnya cuma paham angka, bukan huruf atau kata. Jadi sebelum teks bisa diproses, dia harus diubah dulu jadi deretan angka yang mewakili tiap potongan token. Proses ini yang disebut tokenisasi.
Ada alat khusus buat ngelakuin ini, salah satu yang paling umum dipakai namanya
Kenapa nggak langsung per huruf aja? Karena kalau per huruf, jumlah "potongan" yang harus diproses AI bakal kebanyakan banget dan nggak efisien, satu kalimat pendek aja bisa jadi puluhan potongan. Kalau per kata utuh juga ada masalah, soalnya bahasa itu punya jutaan kombinasi kata, dan kata baru muncul terus tiap hari, susah dihandle semua sama model yang ukurannya terbatas. Jadi token itu semacam jalan tengah, cukup kecil buat fleksibel menghadapi kata apapun termasuk yang jarang muncul, tapi cukup besar buat tetap efisien diproses.
Teknik yang biasa dipakai buat nentuin cara motong ini namanya Byte Pair Encoding, atau disingkat BPE. Cara kerjanya kira kira gini, sistem belajar dari jutaan teks, terus nyari pasangan huruf atau potongan karakter yang paling sering muncul bareng, terus digabung jadi satu token. Makin sering suatu pasangan muncul di data latihan, makin besar kemungkinan pasangan itu jadi satu token utuh. Ini kenapa kata kata umum dalam bahasa Inggris cenderung jadi satu token, karena memang paling sering muncul di data yang dipakai buat melatih tokenizer-nya.
Kenapa Bahasa Indonesia Bisa Lebih "Mahal" Diproses
Ini bagian yang jarang dibahas tapi penting banget buat kamu yang bikin produk AI buat pasar Indonesia. Sebagian besar tokenizer yang dipakai model model populer sekarang dilatih dengan data yang didominasi bahasa Inggris. Akibatnya, kata kata bahasa Inggris yang umum sering kepecah jadi satu token doang, sementara kata kata bahasa Indonesia, apalagi yang ada imbuhan kayak "mempertanggungjawabkan" atau "diperjualbelikan", bisa kepecah jadi lebih banyak token dibanding versi bahasa Inggrisnya yang makna serupa.
Efek prakteknya, kalimat yang panjangnya "sama" secara jumlah kata antara bahasa Indonesia dan bahasa Inggris, bisa aja versi bahasa Indonesianya makan token lebih banyak. Ini artinya, kalau kamu bikin chatbot atau aplikasi AI yang mayoritas penggunanya nulis dan baca dalam bahasa Indonesia, biaya per interaksi bisa jadi sedikit lebih tinggi dibanding kalau aplikasi itu dipakai dalam bahasa Inggris, meskipun jumlah kata yang ditukar kelihatannya mirip.
Bukan berarti ini masalah besar yang bikin proyek nggak layak jalan, tapi ini detail kecil yang bagus buat diperhitungkan pas kamu bikin estimasi biaya operasional buat klien yang produknya bakal dipakai audiens Indonesia.
Ini yang Bikin Tagihan API Kamu Naik Turun
Nah ini bagian pentingnya buat kamu yang mikirin sisi bisnis. Hampir semua provider AI, entah itu OpenAI, Anthropic, atau Google, ngitung biaya pemakaian mereka berdasarkan jumlah token, bukan jumlah kata, bukan jumlah karakter, dan jelas bukan jumlah pesan.
Ini artinya dua hal yang keliatan sepele tapi ngefek langsung ke biaya:
Teks yang kamu kirim ke AI (input) dihitung tokennya. Makin panjang instruksi atau pertanyaan kamu, makin banyak token yang dihitung, makin mahal.
Jawaban yang AI kasih balik (output) juga dihitung tokennya. Kalau kamu minta AI jelasin sesuatu panjang lebar, itu juga kena biaya dari sisi token yang dihasilkan.
Biasanya, harga per token buat output itu lebih mahal dibanding harga per token buat input. Alasannya, proses menghasilkan teks baru (generate) itu secara komputasi lebih berat dibanding sekadar membaca teks yang udah ada. Jadi kalau kamu desain fitur yang bikin AI ngasih jawaban super panjang dan detail, itu ngefek lebih besar ke biaya dibanding kalau kamu kasih instruksi panjang tapi minta jawaban singkat.
Terus inget lagi soal Part 1, di mana seluruh riwayat obrolan dikirim ulang tiap kali kamu chat. Sekarang gabungin sama fakta bahwa biaya dihitung per token. Artinya, obrolan yang makin panjang bukan cuma bikin AI "mikir" lebih lama, tapi beneran nambah biaya nyata tiap kali kamu kirim pesan baru, karena seluruh histori itu ikut dihitung tokennya juga. Coba bayangin obrolan customer service yang udah jalan seratus pesan bolak balik, pesan ke seratus satu itu biayanya bakal jauh lebih mahal dibanding pesan pertama, padahal panjang pesan barunya sama aja.
Batasan yang Sering Dilupakan: Context Window
Selain biaya, ada satu batasan teknis lain yang muncul gara gara sistem token ini, namanya context window, alias batas maksimal jumlah token yang bisa diproses AI dalam satu kali panggilan.
Tiap model AI punya batasnya sendiri, dan angkanya beda beda tergantung model dan providernya. Ada yang batasnya cuma cukup buat beberapa halaman teks, ada juga model model terbaru yang batasnya udah cukup buat memuat satu buku tebal sekaligus. Tapi penting diinget, punya context window besar bukan berarti selalu lebih baik dalam segala hal, soalnya makin banyak token yang diproses, makin mahal juga biayanya, dan kadang performa model bisa sedikit menurun kalau informasi penting "tenggelam" di tengah tumpukan teks yang sangat panjang.
Kalau total token dari instruksi sistem, riwayat obrolan, dan pertanyaan baru udah kelewat batas context window ini, AI nggak bisa proses semuanya. Biasanya sistem bakal motong bagian paling awal dari riwayat obrolan, atau malah gagal total kasih respon dan ngasih pesan error.
Ini alasan kenapa chatbot yang dipakai buat obrolan super panjang, misalnya customer service yang udah ngobrol berjam jam atau asisten yang dipakai kerja seharian penuh, butuh strategi khusus biar nggak kehabisan "ruang" token.
Strategi Praktis Ngatasin Batasan Token
Ada beberapa pendekatan umum yang biasa dipakai developer buat ngakalin batasan ini, dan masing masing punya trade off sendiri:
Sliding window, cuma nyimpen sejumlah pesan terakhir aja, misalnya sepuluh pesan paling baru, dan pesan pesan lama di luar itu dibuang. Simpel diimplementasi, tapi risikonya AI bisa "lupa" hal penting yang disebut di awal obrolan.
Ringkasan berkala, jadi tiap beberapa pesan, sistem minta AI bikin ringkasan singkat dari obrolan sejauh itu, terus ringkasan itu yang disimpan dan dikirim ulang, bukan seluruh transkrip mentahnya. Ini lebih hemat token, tapi ada risiko detail kecil yang hilang pas diringkas.
Pilih informasi relevan aja, alih alih kirim semua riwayat, sistem cuma ngambil bagian bagian yang paling nyambung sama pertanyaan terbaru. Ini pendekatan yang lebih canggih dan biasanya butuh teknik pencarian berbasis makna, bukan cuma dipotong asal asalan. Teknik semacam ini yang nanti bakal dibahas lebih dalam di series soal RAG.
Nggak ada satu strategi yang paling benar buat semua kasus, semuanya tergantung kebutuhan, seberapa penting akurasi jangka panjang obrolan, dan berapa besar toleransi biaya yang dipunya.
Kenapa Ini Wajib Kamu Pikirin dari Awal
Kalau kamu lagi ngerancang fitur berbasis AI, entah itu chatbot, asisten dokumen, atau apapun yang berinteraksi sama teks panjang, paham soal token ini bakal nyelametin kamu dari beberapa masalah sekaligus.
Estimasi biaya yang lebih realistis. Daripada kaget pas lihat tagihan API bulanan, kamu bisa hitung kira kira berapa token yang bakal kepakai berdasarkan panjang teks yang biasa diproses, dan itu bisa jadi dasar nentuin harga jasa atau paket ke klien. Kalau kamu tau rata rata satu percakapan makan sekian ribu token, kamu bisa kalikan sama tarif per token dari provider yang dipakai, dan dapet gambaran biaya per pengguna per bulan.
Desain sistem yang lebih matang. Kalau tau ada batas context window, kamu bisa dari awal rancang caranya nyimpen atau meringkas riwayat obrolan, bukan asal kirim semua data mentah mentah tiap kali, yang ujung ujungnya bisa bikin sistem error pas obrolan udah kepanjangan.
Komunikasi ekspektasi ke klien. Kamu bisa jelasin ke klien dari awal kenapa fitur AI yang mereka mau itu punya konsekuensi biaya tertentu, misalnya kenapa fitur "AI yang inget semua riwayat chat pelanggan selamanya" itu beda biaya sama fitur "AI yang cuma fokus jawab pertanyaan saat ini". Ini bikin kamu kelihatan lebih paham dan lebih dipercaya sebagai partner teknis, bukan cuma tukang pasang API doang.
Yang Perlu Diingat
- AI nggak baca kata utuh, tapi potongan kecil bernama token, satu kata bisa kepecah jadi beberapa token
- Proses ngubah teks jadi token disebut tokenisasi, biasanya pakai teknik Byte Pair Encoding lewat alat seperti PLAINTEXT Snippetplaintext1 baris•8 charsUTF-8•Spaces: 4
- Bahasa Indonesia cenderung makan lebih banyak token dibanding bahasa Inggris untuk makna yang sama, karena tokenizer kebanyakan dilatih dominan data bahasa Inggris
- Biaya API dihitung berdasarkan jumlah token, baik dari teks yang dikirim maupun jawaban yang dihasilkan, dan biasanya token output lebih mahal dari token input
- Ada batas maksimal token per panggilan yang disebut context window, obrolan yang kepanjangan bisa kena potong atau gagal diproses
- Strategi kayak sliding window, ringkasan berkala, atau pemilihan informasi relevan bisa dipakai buat ngatasin batasan context window
- Paham soal token bikin kamu bisa estimasi biaya lebih akurat, desain sistem yang lebih efisien, dan komunikasi ekspektasi yang lebih jelas ke klien
Lanjut ke Part 3
Sekarang kita udah tau AI itu pelupa (Part 1) dan cara dia "baca" teks lewat token yang nentuin biaya (Part 2). Pertanyaan berikutnya yang wajar muncul, dari sekian banyak AI yang ada sekarang, GPT, Claude, Gemini, sampai yang bisa dijalanin gratis di komputer sendiri, mana yang sebenarnya cocok buat kebutuhan kamu? Dibahas tuntas di Part 3.
Bagian dari series "Cara Kerja AI di Balik Layar". Ditulis buat siapa pun yang mau paham AI tanpa harus jadi engineer dulu.
