رگرسیون چندکی در پایتون – راهنمای کاربردی

$$\large \widehat{y}=E(Y|X)$$

در رگرسیون چندکی، به جای محاسبه میانگین شرطی متغیر پاسخ، از میانه یا چندک‌های شرطی متغیر پاسخ استفاده می‌شود.

به هر حال رگرسیون چندکی نیز یک حالت توسعه یافته از رگرسیون خطی است و زمانی که شرایط اجرای رگرسیون خطی وجود نداشته باشد، می‌توان از رگرسیون چندکی استفاده کرد.

رگرسیون چندکی (Quantile Regression)

شکل و شیوه محاسبات رگرسیون چندکی با روش‌های معمول رگرسیونی کاملا متفاوت است. در روش رگرسیون معمولی (OLS) با استفاده از ضرب داخلی، به یک زیر فضا می‌رسیم و در عمل به کمک جبرخطی قادر به برآورد پارامترهای مدل رگرسیون خطی خواهیم شد. در حالیکه در رگرسیون چندکی چنین ساختاری وجود ندارد و روش حل مانند روش‌های برنامه ریزی خطی (روش سیمپلکس) است.

این روش توسط «راجر ویلیام کونکر» (Roger Willima Koenker) دانشمند آمریکایی در رشته اقتصاد سنجی در سال 1978 معرفی شد. او بعدها در سال ۲۰۰۵ کتاب Quantile Regression را در انتشارات کمبریج منتشر کرد که باعث شهرت و همه‌گیر شدن این روش رگرسیونی شد.

قبل از آنکه رگرسیون چندکی را مورد بررسی قرار دهیم، باید در مورد چندک‌ها و خصوصیاتشان اطلاعات بیشتری داشته باشیم.

چندک‌ها (Quantiles)

فرض کنید $$Y$$ یک متغیر تصادفی با تابع توزیع تجمعی $$F_Y(y)=P(Y\leq y)$$ است. چندک $$\tau$$ام متغیر $$Y$$ به صورت زیر تعریف می‌شود.

$$\large Q_{Y}(\tau)=F_{Y}^{-1}(\tau)=\inf\left\{ y:F_{Y}(y)\geq\tau\right\}$$

 $$\large {\displaystyle \rho _{\tau }(y)=y(\tau -\mathbb {I} _{(y<0)})}$$

منظور از $$\mathbb{I}_{(y<0)}$$ تابع نشانگر (Indicator Function) است. به این معنی که مقدار این تابع برای مقدارهای کوچکتر از صفر برابر با ۱ و برای بقیه مقدارها، صفر است. به این ترتیب برای پیدا کردن چندک، از کمینه‌سازی امید ریاضی $$Y-u$$ نسبت به $$u$$ استفاده می‌کنیم. بنابراین خواهیم داشت.

$$\large {\displaystyle {\underset {u}{\min }}E(\rho _{\tau }(Y-u))={\underset {u}{\min }}\left\{(\tau -1)\int _{-\infty }^{u}(y-u)dF_{Y}(y)+\tau \int _{u}^{\infty }(y-u)dF_{Y}(y)\right\}}$$

با استفاده از مشتق‌گیری و با فرض اینکه جواب برای کمینه‌سازی همان $$q_{\tau}$$ (چندک $$\tau$$ام) باشد، می‌توانیم بنویسیم.

$$\large 0=(1-\tau)\int_{-\infty}^{q_{\tau}}dF_{Y}(y)-\tau\int_{q_{\tau}}^{\infty}dF_{Y}(y)$$

در نتیجه با توجه به پاسخ معادله بالا، خواهیم داشت:

$$\large 0=F_{Y}(q_{\tau})-\tau$$

و در نتیجه مشخص است که:

$$\large F_{Y}(q_{\tau})=\tau$$

به این ترتیب می‌توانیم چندک $$\tau$$ام را مطابق با روشی که برمبنای کمینه‌سازی تابع زیان بیان شد بیابیم زیرا این رابطه بیانگر همان رابطه $$F_{Y}^{-1}(\tau)$$ است.

مثال

فرض کنید متغیر تصادفی گسسته $$Y$$ مقدارهای $$1,2,\cdots,9$$ را با احتمالات یکسان اختیار می‌کند. می‌خواهیم میانه این متغیر تصادفی را پیدا کنیم. در این حالت داریم $$\tau=0.5$$. از آنجایی که تابع احتمال یکنواخت و گسسته در نظر گرفته شده، احتمال رخداد هر یک از مقدارهای متغیر تصادفی برابر با $$\frac{1}{9}$$ است.

مقدار مورد انتظار (امید ریاضی) تابع زیان به صورت زیر در خواهد آمد.