تعریف
کوچکترین واحد پردازشی متن در مدلهای زبانی؛ معمولاً معادل ~۴ کاراکتر انگلیسی یا ۰.۷۵ کلمه.
توضیح کامل
توکنایزر متن را به قطعات معنادار تقسیم میکند؛ این قطعات میتوانند کلمه، زیرکلمه یا حرف باشند. متن فارسی به دلیل ساختار زبانی ممکن است توکنهای بیشتری نسبت به انگلیسی بخواهد. هزینه API و پنجره زمینه هر دو برحسب توکن اندازهگیری میشوند.
مثال کاربردی
کلمه “unbelievable” به سه توکن [un][believ][able] شکسته میشود.