AI slovar

Token

Osnovna enota besedila, s katero dela jezikovni model. Token je lahko cela beseda, del besede ali ločilo. Po tokenih se računa cena uporabe prek API-ja in meri, koliko besedila model sprejme naenkrat. Slovensko besedilo porabi praviloma več tokenov kot enako dolgo angleško.

Primer: Beseda "podjetje" je lahko razdeljena na dva ali tri tokene.