تعریف
تابع غیرخطی که روی خروجی هر نورون اعمال میشود و به شبکه توانایی مدلسازی روابط پیچیده را میدهد.
توضیح کامل
بدون فعالساز، هر چند لایه شبکه فقط یک تبدیل خطی است. ReLU (max(0,x)) رایجترین است، GELU در ترانسفورمرها استفاده میشود، SiLU و SwiGLU در مدلهای جدید رایجاند. Sigmoid و Tanh اکنون عمدتاً برای خروجیهای دوتایی به کار میروند.
مثال کاربردی
ReLU به سادگی اعداد منفی را صفر میکند ($f(x) = max(0, x)$) اما همین سادهترین کار دنیا را تغییر داد.