Yapay Zekâ
Token
Bir dil modelinin metni işlerken kullandığı küçük metin birimidir. Bir kelime, kelime parçası veya noktalama işareti olabilir.
Basit örnek
“Mavi şehir bisikleti” üç kelimedir; bu bilgi tek başına kaç token olduğunu söylemez. Kullanılan modele göre kelimeler farklı parçalara ayrılabilir.
Neden önemli?
Kelime sayısıyla token sayısını eşitlememeyi sağlar. Token sayısı, modele sunulabilecek metin miktarı ve bazı hizmetlerde kullanım hesabıyla ilişkilidir. Yazıdaki görsel okunabilirlik için kelime grupları kullanır; gerçek token sınırlarını göstermez.