برازش حداقل مربعات – به زبان ساده

بنابراین، کمینه‌سازی مجموع مربعات خطا منجر به برازشی می‌شود که خطاهای کوچک‌تری را در نظر می‌گیرد. رایج‌ترین روش برای تعیین پارامترهایی که منحنی را مشخص می‌کنند، تعیین جهت کاهش خطا و یک گام کوچک در آن جهت و تکرار فرایند تا جایی است که به همگرایی برسیم. این فرایند حل تکراری پارامترها به عنوان روش «گرادیان کاهشی» (Gradient Descent) نیز شناخته می‌شود. در این آموزش، از محاسبات ماتریسی پایه استفاده می‌کنیم و آن‌ها را برای به دست آوردن پارامترها به منظور بهترین برازش منحنی به کار می‌گیریم. در حالت‌های خاص، جایی که تابع پیش‌بین در پارامترهای مجهول خطی است، یک فرم بسته از جواب شبه‌وارون (Pseudoinverse) را می‌توان به دست آورد. در این آموزش، هر دو راه‌حل گرادیان نزولی و شبه‌وارون را برای محاسبه پارامترهای برازش بررسی می‌کنیم.

مشتق مرتبه اول نسبت به اسکالر و بردار

مشق تابع اسکالر نسبت به بردار

مشتق یک تابع اسکالر نسبت به یک بردار، برداری از مشتق تابع اسکالر نسبت به تک تک درایه‌های بردار است. بنابراین، برای تابع $$f$$ از بردار $$\mathbf { x }$$ داریم:

$$\large \frac { \partial { f ( \mathbf { x } } ) }{ \partial { \mathbf { x } } } = \left [ \frac { \partial { f ( \mathbf { x } } ) } { \partial { x _ 1 } } \frac { \partial { f ( \mathbf { x } } ) } { \partial { x _ 2 } } . . . \frac { \partial { f ( \mathbf { x } } ) } { \partial { x _ n} } \right ] ^ T$$

$$\large \frac { \partial { \mathbf { x } ^ T \mathbf { a } } }{ \partial { \mathbf { x } } } = \frac { \partial { \mathbf { a } ^ T \mathbf { x } } } { \partial { \mathbf { x } } } = \mathbf { a }$$

به طور مشابه، داریم:

$$\large \frac { \partial { \mathbf { A } \mathbf { x } } } { \partial { \mathbf { x } } } = \mathbf { A }$$

نکته: اگر تابع اسکالر بوده و برداری که نسبت به آن مشتق می‌گیریم دارای بعد $$n \times n$$ باشد، آنگاه بعد مشتق $$n \times 1$$ است.

مشتق تابع برداری نسبت به اسکالر

مشتق یک تابع برداری نسبت به یک اسکالر، برداری از مشتق درایه‌های تابع برداری نسبت به متغیر اسکالر است. بنابراین، برای تابع $$\mathbf { f }$$ از متغیر $$\mathbf { x }$$، خواهیم داشت:

$$\large \frac { \partial { \mathbf { f ( x } } ) } { \partial { x } } = \left [ \frac { \partial { f _ 1 ( \mathbf { x } } ) }{ \partial { x } } \frac { \partial { f _ 2 ( \mathbf { x } } ) } { \partial { x } } \ldots \frac { \partial { f _ m ( \mathbf { x } } ) } { \partial { x } } \right ] ^ T$$

اگر بعد تابع برداری $$m \times 1$$ باشد، آنگاه مشتق آن نسبت به یک اسکالر دارای بعد $$m \times 1$$ خواهد بود.

مشتق تابع برداری نسبت به بردار

مشتق یک تابع برداری نسبت به یک بردار، ماتریسی است که درایه‌های آن مشتق درایه‌های تابع برداری نسبت به درایه‌های بردار هستند. بنابراین، برای تابع برداری $$\mathbf { f }$$ از بردار $$\mathbf { x }$$، داریم:

$$\large \frac { \partial { \mathbf { f ( x } } ) } { \partial { \mathbf { x } } } = \left [ \frac { \partial { \mathbf { f ( x ) } } } { \partial { x _ 1 } } \frac { \partial { \mathbf { f ( x ) } } } { \partial { x _ 2 } } . . . \frac { \partial { \mathbf { f ( x ) } } } { \partial { x _ n } } \right ]$$

$$\large \left ( \begin {array} { c } \frac { \partial { f _ 1 ( \mathbf { x } } ) } { \partial { \mathbf { x } } } \\ \frac { \partial { f _ 2 ( \mathbf { x } } ) }{ \partial { \mathbf { x } } } \\ \vdots \\ \frac { \partial { f _ m ( \mathbf{x}} ) }{ \partial { \mathbf { x } } } \end {array} \right ) = \left ( \begin {array} { c c c c } \frac { \partial { f _ 1 ( \mathbf { x } } ) } { \partial { x _ 1 } } & \frac { \partial { f _ 1 ( \mathbf { x } } ) } { \partial { x _ 2 } } & \ldots & \frac { \partial { f _ 1 ( \mathbf { x } } ) } { \partial { x _ n } } \\ \frac { \partial { f _ 2 ( \mathbf { x } } ) } { \partial { x _ 1 } } & \frac { \partial { f _ 2 ( \mathbf { x } } ) }{ \partial { x _ 2 } } & \ldots & \frac { \partial { f _ 2 ( \mathbf { x } } ) } { \partial { x _ n } } \\ \vdots & \vdots & \ddots & \vdots \\ \frac { \partial { f _ m ( \mathbf { x } } ) } { \partial { x _ 1 } } & \frac { \partial { f _ m ( \mathbf { x } } ) }{ \partial { x _ 2 } } & \ldots & \frac { \partial { f _ m ( \mathbf { x } } ) }{ \partial { x _ n } } \end {array} \right )$$

نکته: اگر تابع برداری با ابعاد $$m \times 1$$ بوده و برداری که نسبت به آن مشتق می‌گیریم، دارای بعد $$n \times 1$$ باشد، آنگاه بعد مشتق $$m \times n$$ خواهد بود.

برای حالت خاصی که داشته باشیم:

$$\large \alpha ( x ) = \mathbf { x ^ T A x }$$

مشتق به صورت زیر است:

$$\large \frac { \partial \alpha ( \mathbf { x } ) } { \partial \mathbf { x } } = \mathbf { x ^ T ( A ^ T + A ) }$$

برازش حداقل مربعات

مثالی که مفاهیم مذکور بالا را می‌توان به آن اعمال کرد، برازش حداقل مربعات خط است. در برازش حداقل مربعات خط، هدف یافتن بردار وزن‌ها به گونه‌ای است که خطای بین مقدار هدف و پیش‌بینی‌های یک مدل خطی را کمینه کند.

فیلم آموزش محاسبات عددی با MATLAB در فرادرس

کلیک کنید

شرح مسئله

تعداد $$N$$ نقطه آموزش را در نظر بگیرید که برای هر $$i \in [0,N]$$، بردار $$\mathbf{x}_i \in R^M$$ را به یک خروجی اسکالر $$y_i$$ نگاشت می‌دهد. هدف یافتن بردار خطی $$\mathbf { a }$$ به گونه‌ای است که خطای زیر کمینه شود:

$$\large J \left ( \mathbf { a } , a _ 0 \right ) = \frac { 1 } { 2 } \sum _ { i } ^ { N } \sum _ { j } ^ { m } \left ( a _ j x _ { i , j } + a _ 0 - y _ i \right ) ^ 2$$

که در آن، $$a_j$$ برابر با $$j$$اُمین درایه و $$a _ 0$$ عرض از مبدأ است.

حل: بردار مستقل $$\mathbf{x}_i$$ را با قرار دادن درایه جدید ۱ به انتهای آن و بردار $$a$$ را با قرار دادن $$a _ 0$$ در انتها افزایش می‌دهیم. در نتیجه، تابع هزینه به صورت زیر در خواهد آمد:

$$\large J \left ( \mathbf { W } \right ) = \frac { 1 } { 2 } \sum _ { i } ^ { N } \sum _ { j } ^ { m + 1 } \left ( w _ j x _ { i, j } - y _ i \right ) ^ 2$$

تابع هزینه بالا را می‌توان به عنوان یک ضرب نقطه‌ای از بردار خطا نوشت:

$$\large e ( W ) = \left ( X W - y \right ) .$$

که در آن، $$X$$ ماتریسی با اندازه $$n$$ در $$m + 1$$ و $$y$$ یک بردار با طول $$n$$ و $$W$$ برداری به طول $$(m+1)$$ است.

بنابراین، اکنون تابع هزینه $$J$$ به صورت زیر خواهد بود:

$$\large J \left ( \mathbf { W } \right ) = \frac { 1 } { 2 } e( W) ^ T e ( W ) = \frac { 1 } { 2 } \left ( \mathbf { X W - y } \right ) ^ T \left ( \mathbf { X W - y } \right ) .$$

$$\large \begin {align*} J \left ( \mathbf { W } \right ) & = \frac { 1 } { 2 } \left ( \mathbf { W ^ T X ^ T - y ^ T } \right ) \left ( \mathbf { X W - y } \right ) \\ & = \frac { 1 } { 2 } \left ( \mathbf { W ^ T X ^ T X W} - 2 \mathbf{y ^ T X W + y ^ T y } \right ) \end {align*}$$

لازم به ذکر است که همه جملات در معادله بالا اسکالر هستند. با مشتق‌گیری نسبت به $$\mathbf { W}$$، خواهیم داشت:

$$\large \frac { \partial \mathbf { J } } { \partial \mathbf { W } } = \left ( \mathbf { W ^ T X ^ T X - y ^ T X } \right )$$

روش گرادیان کاهشی

$$\large \mathbf { W _ { k + 1 } } = \mathbf { W _ { k } } - \mu \frac { \partial \mathbf { J } } { \partial \mathbf { W } }$$

می‌توان صحیح بودن محاسبه تحلیلی مشتق را بررسی کرد. این کار با استفاده از روش تفاضل مرکزی $$\frac { \partial \mathbf { J } } { \partial \mathbf { W } } _ {numerical} \approx \frac { \mathbf { J ( W + h ) - J ( W - h ) } }{ 2 h }$$ قابل انجام است.

روش شبه‌‌وارون

یک روش دیگر، محاسبه مستقیم بهترین جواب با صفر قرار دادن مشتق اول تابع هزینه است:

$$\large \frac { \partial \mathbf { J } } { \partial \mathbf { W } } = \left ( \mathbf { W ^ T X ^ T X - y ^ T X } \right ) = \mathbf { 0 }$$

با اعمال ترانهاده، مقدار $$\mathbf { W}$$ به صورت زیر به دست می‌آید:

$$\large \mathbf { W } = \mathbf { \underbrace { ( X ^ T X ) ^ { - 1 } X ^ T } _ {Pseudoinverse} ~ y }$$

شبیه ساز برازش حداقل مربعات

در بخش‌های بالایی مطلب با کمک مثال‌ به صورت شفاف این مفهوم را توضیح داده‌ایم. اما در صورت نیاز به کمک بیشتر برای درک بهتر برازش حداقل مربعات پیشنهاد می‌کنیم که از شبیه‌ساز زیر استفاده کنید. این شبیه‌ساز توسط دانشگاه کلورادو و با هدف کمک به یادگیری هرچه بهتر دانش‌آموزان طراحی شده است.

مثال برازش حداقل مربعات خط

در این بخش، تعدادی داده تولید کرده و روش‌های ارائه شده در بالا را به آن‌ها اعمال می‌کنیم. می‌خواهیم بهترین خط برازش کننده را با استفاده از روش‌های گرادیان کاهشی و شبه‌وارون محاسبه و آن‌ها را با هم مقایسه کنیم.

این داده‌های نویزی به صورت زیر هستند.

برازش حداقل مربعات با استفاده از گرادیان کاهشی

همان‌طور که گفتیم، روش گرادیان کاهشی برای محاسبه بهترین برازش خط به کار می‌رود. در این روش از یک مقدار کوچک نرخ یادگیری استفاده می‌شود. انتخاب نرخ یادگیری خود بحث مفصلی دارد که در اینجا از بیان آن صرف‌نظر می‌کنیم. در اینجا فرض می‌کنیم ۰٫۰۰۰۰۵ انتخاب مناسبی برای نرخ یادگیری باشد. گرادیان با استفاده از معادله‌ای که پیش‌تر بیان کردیم، قابل محاسبه است و وزن‌ها (یا ضرایب) در هر مرحله ذخیره می‌شوند.

برنامه‌های زیر در پایتون، پیاده‌سازی روش گرادیان کاهشی را نشان می‌دهند.

جواب حاصل از اجرای برنامه فوق به صورت نوشتاری و شکل زیر هستند:

 Iteration #  0
Numerical gradient: [-1255.13,-505.70]
Analytical gradient:[-1255.13,-505.70]
Iteration #  50
Numerical gradient: [-264.16,-115.18]
Analytical gradient:[-264.16,-115.18]
Iteration #  100
Numerical gradient: [-53.40,-31.67]
Analytical gradient:[-53.40,-31.67]
Iteration #  150
Numerical gradient: [-8.69,-13.53]
Analytical gradient:[-8.69,-13.53]
Iteration #  200
Numerical gradient: [0.68,-9.32]
Analytical gradient:[0.68,-9.32]
Gradient descent took 0.006886 s

حال برای درک بهتر، شکل‌های خط برازش شده را برای تکرارهای مختلف رسم می‌کنیم. برنامه و شکل‌ها در ادامه آورده شده‌اند.

برازش حداقل مربعات با روش شبه‌وارون

محاسباتی را که در بالا برای روش شبه‌وارون بیان کردیم، به صورت زیر در پایتون پیاده‌سازی می‌شود:

شکل زیر، حاصل از اجرای این برنامه است.

برازش دایره

$$\large ( x - x _ c ) ^ 2 + ( y - y _ c ) ^ 2 = r ^ 2$$

با بسط معادله بالا و مرتب‌سازی آن، داریم:

$$\large - 2 x x _ c - 2 y y _ c + \underbrace { x _ c ^ 2 + y _ c ^ 2 - r ^ 2 } _ k = - ( x ^ 2 + y ^ 2 ) \\ \large - 2 x x _ c - 2 y y _ c + k = - ( x ^ 2 + y ^ 2 )$$

معادله بالا دارای سه مجهول $$x _ c$$، $$y _ c$$ و $$k$$ است و معادله یک دایره برحسب این سه پارامتر خطی است.

$$A$$ و $$b$$ را به صورت زیر تعریف می‌کنیم:

$$\large A = \left [ \begin {array} {ccc} \vdots & \vdots & \vdots \\ - 2 x & - 2 y & 1 \\ \vdots & \vdots & \vdots \end {array} \right] , \; \; \; \; b = \left [ \begin {array} {c} \vdots \\ - ( x ^ 2 + y ^ 2 ) \\ \vdots \end {array} \right]$$

بنابراین، معادله برازش دایره بالا را می‌توان به صورت زیر نوشت:

$$\large A W = b$$

که در آن، $$W = [x_c , y_c, k]^T$$.

برنامه پیاده‌‌سازی برازش دایره در پایتون به صورت زیر است:

شکل زیر، نتیجه اجرای این برنامه است.

اگر علاقه‌مند به یادگیری مباحث مشابه مطلب بالا هستید، آموزش‌هایی که در ادامه آمده‌اند نیز به شما پیشنهاد می‌شوند:

• مجموعه آموزش‌های محاسبات عددی
• آموزش محاسبات عددی (مرور و حل مساله)
• مجموعه آموزش‌های دروس ریاضیات
• آموزش محاسبات عددی با MATLAB
• بیش برازش (Overfitting)، کم برازش (Underfitting) و برازش مناسب — مفهوم و شناسایی
• آزمون‌ نیکویی برازش (Goodness of Fit Test) و استقلال — کاربرد توزیع کای۲
• روش ژاکوبی — به زبان ساده

^^