تفاوت خطا و مقدار باقیمانده در محاسبات آماری – به زبان ساده

در بسیاری از «تحلیل‌های آماری» (Statistical Analysis) بخصوص در زمینه «مدل‌سازی» (Modeling) در «یادگیری ماشین» (Machine Learning) با اصطلاح «خطا» (Error) و «مقدار باقیمانده» (Residual) مواجه می‌شویم. درک درست از مفهوم این اصطلاحات می‌تواند در توصیف مدل ایجاد شده، برای کسانی که به عنوان «تحلیل‌گر داده‌ها» (Data Scientist) مشغول به کار هستند، بسیار مفید باشد. اغلب افرادی که با تجزیه و تحلیل داده‌ها سروکار دارند، ممکن است باقیمانده را با خطا اشتباه بگیرند. هر چند هر دوی این مقدارها تقریبا به یک شیوه تعریف می‌شوند ولی روش استفاده از آن‌ها در حوزه‌های گوناگون، متفاوت است. در این مطلب قصد داریم برای روشن شدن تفاوت بین خطا و مقدار باقیمانده از مثال‌هایی استفاده کنیم تا درک این دو مفهوم برای خوانندگان بیشتر و بهتر حاصل شود.

خطا و مقدار باقیمانده

فرض کنید یک سری مشاهدات از متغیرهای تصادفی یک بُعدی از توزیع یکسانی در اختیارتان هست و قرار است میانگین توزیع را به عنوان یک پارامتر جامعه آماری یا توزیع مورد نظر، برآورد کنید. در اصطلاح مدل‌سازی میانگین را گاهی «پارامتر مکان» (Location Parameter) نیز می‌نامند. در چنین وضعیتی «خطا» (Error) فاصله یا انحرافی است که مقدار برآورد شده برای پارامتر مکان از مقدار واقعی آن دارد.

فیلم آموزش تخمین خطای طبقه‌بندی در داده‌کاوی در فرادرس

کلیک کنید

$$\large E_{i}=X_{i}-\mu ,\,$$

واضح است که در این حالت با فرض اینکه هنوز مشاهده‌ای برای $$X_i$$ وجود ندارد، خطای $$E_i$$ نیز یک متغیر تصادفی است که توزیعی مشابه با توزیع $$X_i$$ دارد. در صورتی که مقادیر متغیر تصادفی مشاهده شود و پارامتر توزیع نیز معلوم باشد، می‌توان خطاها را به ازاء هر مشاهده، به شکل زیر محاسبه کرد.

$$\large \operatorname{e}_{i}=x_{i}-\mu ,\,$$

در نتیجه میانگین خطا به صورت زیر در خواهد آمد.

$$\large \overline{\operatorname{e}}=\overline{x}-\mu ,\,$$

برای مثال فرض کنید متوسط سن دانشجویان در یک دانشگاه (جامعه آماری) برابر با ۲۱ سال است. یک دانشجو به تصادف انتخاب شده و سنش مورد پرسش قرار گرفته است. به این ترتیب مشخص شده که سن او برابر با ۲۷ سال است. در این حالت مقدار خطا سن این فرد از میانگین سن دانشجویان (میانگین جامعه آماری) برابر با $$27-21=6$$ است.

$$\large {\frac 1{\sigma ^{2}}}\sum _{{i=1}}^{n}e_{i}^{2}\sim \chi _{n}^{2}$$

نکته: همانطور که مشاهده شده، خطای آماری ($$E$$) یک متغیر تصادفی است در حالیکه مقدار خطای آماری ($$\operatorname{e}$$) براساس مقادیر مشاهده شده از متغیرهای تصادفی حاصل می‌شود.

در مقابل باقیمانده یا مقدار «اختلاف برازش» (Fitting Deviation)، مقداری است که براساس برآورد میزان خطای آماری حاصل می‌شود. فرض کنید به کمک روش‌های برآوردیابی مثلا روش حداکثر درستنمایی (با فرض معلوم بودن واریانس) می‌دانیم که برآوردگر مناسب برای میانگین جامعه نرمال، میانگین نمونه ($$\overline{X}$$) است.

$$\large \overline{X}={X_1 + \cdots + X_n \over n}$$

در این حالت باقیمانده با $$r_i$$ نشان داده شده و به صورت زیر محاسبه می‌شود.

$$\large r_{i}=X_{i}-\overline {X}$$

از آنجایی که می‌دانیم $$X_i$$ها متغیر تصادفی هستند، باقیمانده $$r_i$$ نیز متغیر تصادفی است. به مانند قبل اگر هدف، محاسبه مربعات مقادیر باقیمانده باشد، توزیع آماری آن، کای ۲ با $$n-1$$‌ درجه آزادی خواهد بود. در این صورت رابطه زیر برقرار است.

$$\large {\frac 1{\sigma ^{2}}}\sum _{{i=1}}^{n}r_{i}^{2}\sim \chi _{{n-1}}^{2}$$

توجه داشته باشید که هم در مجموع مربعات خطا و هم در باقیمانده‌ها، فرض بر معلوم بودن واریانس در جامعه آماری است و خطا یا باقیمانده برای میانگین جامعه آماری نسبت به مشاهدات محاسبه شده است. از طرفی تفاوت در توزیع آماری مجموع مربعات خطا و باقیمانده نیز دیده می‌شود بطوری که در اولی درجه آزادی توزیع کای ۲ برابر با $$n$$ و در دومی برابر با $$n-1$$‌ است.

$$\large {\displaystyle {\frac {{\overline {X}}_{n}-\mu }{S_{n}/{\sqrt {n}}}}}\sim t_{(n-۱)}$$

خطا و مقدار باقیمانده در رگرسیون

تشخیص تفاوت بین خطا و مقدار باقیمانده در تجزیه و تحلیل رگرسیون مقداری گنگ بوده ولی بسیار مهم است. بر این اساس مفاهیم دیگری مانند باقیمانده‌های Studentized در مقابل باقیمانده‌های Standardized ظاهر می‌شود. اگر در رگرسیون خطی یک تابع به شکل خط با پارامتری نامعلوم بیانگر رابطه بین متغیر مستقل و متغیر وابسته باشد، فاصله یا اختلاف بین مقدارهای واقعی متغیر وابسته و مقدارهای پیش‌بینی شده توسط تابع خطی، خطای غیرقابل مشاهده را مشخص می‌کند، زیرا هنوز پارامترهای مدل خطی برآورد نشده‌اند.\

ولی اگر پارامترهای مدل توسط زوج مشاهده‌های مربوط به $$X$$ و $$Y$$ به عنوان متغیرهای مستقل و وابسته برآورد شده باشد، اختلاف بین مقدار واقعی (Measured Value) و مقدار «برازش شده» (Fitted Value) یا «مقدار پیش‌بینی شده» (Predicted Value) توسط مدل (که پارامترهای آن مشخص است)، باقیمانده را تعیین می‌کند.

شاید مفهوم خطا و باقیمانده در تعریف «میانگین مربعات خطا» (Mean Squared Error - MSE) بهتر قابل درک باشد. MSE برای یک مدل رگرسیونی، مقداری است که براساس مجموع مربعات باقیمانده‌ها حاصل می‌شود و ارتباطی با خطاهای غیرقابل مشاهده ندارد. اگر مجموع مربعات باقیمانده‌ها را بر تعدادشان یعنی $$n$$ تقسیم کنیم میانگین مربعات باقیمانده حاصل خواهد شد. در ادامه این رابطه برای متغیر وابسته $$Y$$ محاسبه شده است.

$$\large {\displaystyle \operatorname {MSE_b} ={\frac {1}{n}}\sum _{i=1}^{n}(Y_{i}-{\hat {Y_{i}}})^{2}}$$

از آنجایی که میانگین مربعات باقیمانده ارائه شده در رابطه بالا، برآوردگر «اریب» (Biased) برای واریانس خطا محسوب می‌شود آن را به صورت $$MSE_b$$ نشان داده‌ایم. با تقسیم مجموع مربعات باقیمانده‌ها بر $$df=n-p-1$$ برآوردگر نااریب واریانس خطا بدست خواهد آمد. واضح است که در اینجا $$p$$ تعداد پارامترهای برآورد شده و $$df$$ درجه آزادی برای مجموع مربعات باقیمانده‌ها در نظر گرفته‌ شده است. این «آماره» (Statistic) که به عنوان برآوردگر نااریب واریانس خطاهای غیرقابل مشاهده در نظر گرفته می‌شود مطابق با رابطه زیر محاسبه می‌شود.

$$\large {\displaystyle \operatorname {MSE} =\frac {1}{n-p-1}\sum _{i=1}^{n}(y_{i}-{\hat {y_i}})^2}$$

باقیمانده‌های Studentized

$$\large Y = \alpha_0 + \alpha_1 X + \varepsilon$$

به این ترتیب مشخص است که برای زوج $$(X_i,Y_i)$$ رابطه زیر برقرار است.

$$\large Y_i = \alpha_0 + \alpha_1 X_i + \varepsilon_i,\;\;\;i=1,2,\ldots,n$$

از طرفی مشخص است که در رابطه بالا منظور از $$\varepsilon_i$$ خطای مربوط به مدل در نقطه $$X_i$$ است. فرض بر این است که این خطاها مستقل و همتوزیع با واریانس ثابت $$\sigma^2$$ در نظر گرفته شده است. اما برآورد این خطا که همان باقیمانده‌ها هستند براساس مقدارهای مشاهده شده برای متغیرهای مستقل $$X$$ و وابسته $$Y$$ بدست می‌آیند و به نظر می‌رسد دیگر مستقل از یکدیگر نیستند زیرا در روش OLS شرط‌های زیر را باید برایشان در نظر گرفته باشیم.

$$\large {\displaystyle \sum _{i=1}^{n}{\widehat {\varepsilon \,}}_{i}=0}$$

$$\large {\displaystyle \sum _{i=1}^{n}{\widehat {\varepsilon \,}}_{i}x_{i}=0}$$

در رابطه‌های بالا منظور از $$\widehat {\varepsilon_i}$$ باقیمانده مشاهده $$i$$ام است.

متاسفانه باقیمانده‌ها برعکس خطاها دارای واریانس ثابت و یکسانی نیستند. واریانس باقیمانده‌ها، زمانی که مقدارهای متغیر مستقل $$x$$ از میانگینشان دور می‌شود، کاهش یافته و زمانی که به میانگین نزدیک می‌شود، افزایش می‌یابد. این تغییرات در «تابع اثر» (Influence Function) نیز به خوبی دیده می‌شود. به این ترتیب برای نشان دادن صحت شرایط مدل رگرسیونی بهتر است به جای مقایسه باقیمانده‌های استاندارد شده (Standardized) از باقیمانده‌های Studentized استفاده شود.

فرض کنید ماتریس طرح مدل رگرسیونی را به صورت زیر در نظر گرفته‌ایم.

$$\large X=\left[\begin{matrix}1 & x_1 \\ \large \vdots & \vdots \\ \large 1 & x_n \end{matrix}\right]$$

به این ترتیب ماتریس تصویر عمودی برای ماتریس طرح (Hat Matrix) را به صورت زیر خواهیم داشت.

$$\large H=X(X^T X)^{-1}X^T$$

این ماتریس عمل برآورد را روی متغیر $$X$$ انجام می‌دهد. به این معنی که مقدار برازش شده برای بردار $$Y$$ به شکل زیر حاصل می‌شود.

$$\large {\displaystyle {\widehat {y }}=X {\widehat {\boldsymbol {\beta }}}=X \left(X ^TX \right)^{-1}X ^Ty}=Hy$$

همچنین در نظر داشته باشید که واریانس خطای مدل رگرسیونی $$\sigma^2$$ را به صورت زیر برآورد کرده‌ایم:

$$\large{\displaystyle {\widehat {\sigma }}^{2}={1 \over n-p}\sum _{i=1}^{n}{\widehat {\varepsilon \,}}_{i}^{\,2}}$$

به این ترتیب باقیمانده Studentized شده مطابق با رابطه زیر قابل محاسبه است.

$$\large{\displaystyle t_{i}={{\widehat {\varepsilon \,}}_{i} \over {\widehat {\sigma }}{\sqrt {1-h_{ii}\ }}}}$$

که در آن $$h_{ii}$$‌ مولفه‌های روی قطر اصلی (سطر $$i$$ام و ستون $$i$$ام) ماتریس $$H$$ هستند. به این ترتیب $$t_i$$ها دارای توزیع مشابه توزیع $$t$$‌ هستند. یعنی داریم:

$$\large t_{i}\sim {\sqrt {n-p }}{t \over {\sqrt {t^{2}+n-p -1}}}$$

خلاصه

همانطور که دیدید، خطا در مباحث آماری به عنوان یک متغیر تصادفی در نظر گرفته شده که وابسته به پارامتر توزیع جامعه آماری است. ولی از طرف دیگر باقیمانده به میزان خطای قابل اندازه‌گیری گفته می‌شود که وابسته به برآوردهای حاصل از پارامتر جامعه است. هر چند هر دو مفهوم برای مشخص کردن میزان انحراف به کار گرفته می‌شوند ولی توزیع‌های آماری و زمینه استفاده از آن‌ها با یکدیگر متفاوت است.

فیلم آموزش مدیریت خطا و استثنا در MATLAB در فرادرس

کلیک کنید

اگر مطلب بالا برای شما مفید بوده است، آموزش‌های زیر نیز به شما پیشنهاد می‌شوند:

• مجموعه آموزش‌های آمار، احتمالات و داده‌کاوی
• مجموعه آموزش‌های SPSS
• مجموعه آموزش‌های نرم‌افزارهای آماری
• مجموعه آموزش‌های مدل سازی، برازش و تخمین
• رگرسیون خطی چندگانه (Multiple Linear Regression) — به زبان ساده
• هم خطی در مدل رگرسیونی — به زبان ساده

^^