اصطلاح advanced

نمونه‌برداری تاپ-پی | Top-p (Nucleus) Sampling

روش نمونه‌برداری که توکن بعدی را از کوچک‌ترین مجموعه‌ای انتخاب می‌کند که احتمال تجمعی آن از p بیشتر باشد.

Top-p (Nucleus) Sampling — نمونه‌برداری تاپ-پی | Top-p (Nucleus) Sampling

روش نمونه‌برداری که توکن بعدی را از کوچک‌ترین مجموعه‌ای انتخاب می‌کند که احتمال تجمعی آن از p بیشتر باشد.

تعریف

روش نمونه‌برداری که توکن بعدی را از کوچک‌ترین مجموعه‌ای انتخاب می‌کند که احتمال تجمعی آن از p بیشتر باشد.

توضیح کامل

برخلاف Top-k که تعداد ثابت توکن نگه می‌دارد، Top-p اندازه مجموعه را با توزیع احتمال تطبیق می‌دهد. وقتی توزیع تیز است (مدل مطمئمی‌دهد. وقتی توزیع تیز است (مدل مطمئ‌تر. مقدار p=0.9 معمولاً نقطه شروع خوبی است.

مثال کاربردی

با p=0.9 مدل از ۹۰٪ محتمل‌ترین توکن‌ها نمونه می‌گیرد نه از همه واژگان.

موارد مرتبط

هوش مصنوعی مولد | Generative AI
اصطلاح
سوگیری مدل | Model Bias
اصطلاح
یادگیری بدون نظارت | Unsupervised Learning
اصطلاح
حافظه KV | KV Cache
اصطلاح