Definicja
Jednostka tekstu liczona przez model AI.
Najprościej mówiąc
Token to fragment tekstu, na którym operuje model. Może być całym słowem, częścią słowa albo znakiem.
Przykład użycia
Limity kontekstu i koszty API często liczy się właśnie w tokenach, a nie w znakach czy stronach tekstu.
Najczęstsze nieporozumienie
Token nie jest tym samym co wyraz. Polski tekst może dzielić się na tokeny inaczej niż angielski.
Dlaczego to ważne?
Tokeny wpływają na koszt, szybkość i długość materiału, jaki model może analizować lub wygenerować.
