Šta je token?
Token je jedinica teksta kojom AI model računa: deo reči, cela reč ili znak interpunkcije. Po tokenima se meri koliko teksta model prima i koliko košta korišćenje preko API-ja.
Model ne čita slova i reči kao ti. Tekst prvo podeli na tokene, male delove koje zna da obradi. Na engleskom je jedan token otprilike tri četvrtine reči. Srpski tekst se obično deli na više tokena za istu količinu sadržaja, jer modeli češće viđaju engleski.
Gde se tokeni vide u praksi
- Cena. Kad tvoja aplikacija koristi AI preko API-ja, plaćaš po tokenima koje pošalješ i koje dobiješ nazad. Dugačko uputstvo u svakom pozivu znači veći račun.
- Ograničenja. Kontekstni prozor se meri u tokenima. Kad razgovor sa agentom postane predugačak, prozor se popuni.
- Limiti pretplate. Alati kao Claude Code troše tokene dok čitaju fajlove i pišu kod, pa velike zadatke vredi razbiti na manje.
Primer: ako u chatbot za online prodavnicu ubaciš ceo katalog u svako pitanje, svaki odgovor plaća ceo katalog. Bolje je poslati samo proizvode koji su bitni za to pitanje.
Povezani pojmovi
Više o ovome: Vodič: vajb kodiranje. Na LudusVibe kursu ove pojmove koristiš u praksi, dok praviš svoj sajt ili aplikaciju.