Token je kousek textu, se kterým jazykový model pracuje: celé slovo, část slova nebo znak. V tokenech se měří délka zadání, velikost kontextového okna i cena za používání AI přes API.
Proč se text dělí na tokeny
Jazykový model nečte písmena ani celá slova, ale tokeny. Častá slova bývají jeden token, delší nebo méně častá slova se rozdělí na několik kusů. Rozdělení se liší model od modelu, takže stejný text může mít u dvou modelů jiný počet tokenů.
Kde na tokenech záleží
- Cena za API. Když AI zapojíte do vlastního systému přes API, platíte za tokeny na vstupu (zadání a podklady) i na výstupu (odpověď). Výstupní tokeny bývají dražší.
- Limity. Velikost kontextového okna i maximální délka odpovědi jsou dané v tokenech. U předplatného ChatGPT nebo Claude cenu za token nevidíte, ale limity používání ano.
- Čeština. Modely se učily hlavně na angličtině. Čeština s diakritikou a skloňováním se dělí na víc tokenů na slovo, takže stejně dlouhý text v češtině vyjde dráž a zabere víc okna.
Token v jiném významu
Pozor na záměnu. Tokenem se říká i přístupovému klíči k API (třeba privátní API token Shoptetu) a kryptoměnovým tokenům. S tokeny jazykových modelů nemají nic společného, jen sdílejí slovo.
Příklad z praxe e-shopu
Chcete přes API vygenerovat popisky pro 3 000 produktů. Každý požadavek obsahuje instrukce a parametry produktu, řekněme 600 tokenů, a vrací popisek o 300 tokenech. Vynásobením počtem produktů a ceníkem poskytovatele dostanete odhad nákladů ještě před spuštěním. A když instrukce zkrátíte na polovinu, ušetříte na každém z 3 000 volání.