برآوردگر M یا M-Estimator — به زبان ساده

در آمار و روش‌های برآوردیابی، برآوردگر ام (M-Estimator) در گروه برآوردگرهایی قرار می‌گیرد که براساس بیشینه‌سازی یک تابع هدف برحسب میانگین نمونه تصادفی حاصل می‌شوند. برآوردیابی حداکثر درستنمایی (Maximum Likelihood Estimation) و حداقل مربعات عیر خطی حالت خاصی از برآوردگر ام محسوب می‌شوند. برای آنکه خواندن نام این برآوردگر در فارسی راحت‌تر شود از این به بعد آن را برآوردگر M یا M-Estimator و شیوه‌ای که برای بدست آوردن این برآوردگر به کار می‌رود را برآوردیابی M می‌نامیم.

برای آشنایی بیشتر با شیوه برآوردیابی و استفاده از تابع درستنمایی بهتر است نوشتار تابع درست نمایی (Likelihood Function) و کاربردهای آن — به زبان ساده را مطالعه کنید. همچنین خواندن آماره‌ کامل و آماره کمکی — به زبان ساده نیز خالی از لطف نیست.

برآوردگر M یا M-Estimator

انگیزه ایجاد برآوردگر M، آن است که بتوان به یک برآوردگر استوار (Robust) دست یافت که حتی برای داده‌هایی خارج از توزیع نرمال نیز قابل اتکا باشد. معمولا برآوردگر M براساس صفر شدن یک تابع برحسب برآوردگر حاصل می‌شود. تابع برآوردگر (Estimating Function) اغلب مشتق یک تابع آماری دیگر است.

فیلم آموزش روش تحقیق – نحوه نگارش پایان نامه در فرادرس

کلیک کنید

برای مثال برآورد حداکثر درستنمایی (Maximum Likelihood Estimate)، نقطه‌ای را پیدا می‌کند که در آن مشتق تابع درستنمایی نسبت به پارامتر، صفر باشد. واضح است که در این حالت برآوردگر درستنمایی یک نقطه بحرانی برای «تابع امتیاز» (Score Function) است. به این ترتیب می‌توان برآوردگرهای M را به عنوان مشخصه جامعه آماری در نظر گرفت.

نکته: معمولا به مشتق لگاریتم تابع درستنمایی نسبت به پارامتر مجهول، تابع امتیاز یا Score Function می‌گویند.

 $$\large {\displaystyle s(\theta )\equiv {\frac {\partial \log {\mathcal {L}}(\theta )}{\partial \theta }}}$$

تعریف برآوردگر M

می‌توان برآوردگر M را الگویی برای روش حداقل مربعات (Least Square) در نظر گرفت، زیرا مبنای پیدا کردن برآوردگر در این روش، کمینه‌سازی یک تابع هدف است. همچنین روش حداکثر درستنمایی (ML) نیز در گروه برآوردگر M یا M-Estimator قرار می‌گیرد. بنابراین اگر $$f(x;\theta)$$ را تابع چگالی یک توزیع و $$\theta$$ را پارامتر توزیع در نظر بگیریم، برآوردگر حداکثر درستنمایی، نقطه‌ای است که در رابطه زیر صدق کند. چنین برآوردگری را معمولا به صورت MLE یا Maximum Likelihood Estimator نشان می‌دهند.

$$\large \widehat {\theta }=\arg \max _{{\displaystyle \theta }}{\left(\prod _{{i=1}}^{n}f(x_{i},\theta )\right)}\,\!$$

یا به صورت مشابه می‌توان رابطه زیر را برای این برآوردگر در نظر گرفت.

$$\large {\displaystyle {\widehat {\theta }}=\arg \min _{\displaystyle \theta }{\left(\sum _{i=1}^{n}-\log {(f(x_{i},\theta ))}\right)}\,\!}$$

نکته: از خصوصیات جالب برای برآوردگرهای درستنمایی می‌توان به سازگاری آن‌ها اشاره کرد. به این معنی که با افزایش تعداد نمونه، برآوردگر حاصل از روش حداکثر درستنمایی به پارامتر جامعه میل خواهد کرد. ولی این امر ممکن است برای اندازه نمونه‌های کوچک صادق نباشد.

هوبر (Peter Huber) در سال ۱۹۶۴، برآوردگرهای حداکثر درستنمایی تعمیم یافته (Generalize Maximum Likelihood Estimator) را به شکلی معرفی کرد که تابع زیر را کمینه سازند.

$$\large \sum _{{i=1}}^{n}\rho (x_{i},\theta ),\,\!$$

رابطه ۱

بطوری که رابطه زیر برقرار باشد.

$$\large {\hat {\theta }}=\arg \min _{{\displaystyle \theta }}\left(\sum _{{i=1}}^{n}\rho (x_{i},\theta )\right)\,\!$$

رابطه ۲

در این بین تابع $$\rho$$ دارای خصوصیاتی است که در ادامه فهرست شده‌ است.

• این تابع نامنفی است و مقدار کمینه آن صفر خواهد بود.

$$\large \rho(r)\geq 0 ,\;\;\forall r$$

• تابع $$\rho$$ یک تابع زوج است.

$$\large \rho(r)=\rho(-r)$$

• این تابع نسبت به پارامترش یعنی $$r$$ یک تابع صعودی است. ولی شدت رشد آن به میزان رشد $$r$$ نیست.

$$\large \frac{\partial \rho(r)}{\partial r}\geq 0$$

انواع برآوردگر M

همانطور که در قسمت قبل بیان شد، برآوردگر M از طریق کمینه سازی تابع $$\rho(x,\theta)$$ حاصل می‌شود.

فیلم آموزش آمار ریاضی 2 – آزمون فرض در فرادرس

کلیک کنید

اگر این تابع را براساس یک نمونه تصادفی $$n$$تایی، ایجاد کنیم، خواهیم داشت:

$$\large\sum _{{i=1}}^{n}\rho (x_{i},\theta )\,\!$$

کمینه‌سازی این تابع ممکن است به روش مستقیم صورت گیرد. البته شاید ساده‌تر باشد که بوسیله مشتق‌گیری نسبت به $$\theta$$ و حل معادله و بدست آوردن ریشه‌های معادله برحسب مشتق، به مقدار کمینه و در نتیجه برآوردگر M برسیم. ولی شاید مشتق تابع $$\rho$$ به سادگی صورت نگیرد و یا امکان حل معادله وجود نداشته باشد.

در زمانی که به روش مشتق‌گیری به پاسخی برای ریشه‌های مشتق تابع $$\rho$$ می‌رسیم، برآوردگر M را «نوع $$\Psi$$» یا ($$\Psi$$ Type) می‌نامند. در غیر اینصورت اگر کمینه‌سازی به روش‌های دیگر صورت گیرد، برآوردگر M را «نوع $$\rho$$» یا ($$\rho$$ Type) می‌گویند.

در اغلب موارد برآوردگر M‌ از نوع $$\Psi$$ است.

برآوردگر M از نوع $$\Psi$$

زمانی که تابع $$\rho$$ مشتق‌پذیر باشد، بدست آوردن برآوردگر M برای پارامتر $$\theta$$ ساده خواهد بود. هر چند ممکن است مشتق‌گیری مراحل طولانی و زمان‌بری داشته باشد ولی به هر حال با بدست آوردن مشتق و برابر قرار دادن آن با صفر، به یک معادله خواهیم رسید که برآوردگر M‌ ریشه‌های این معادله خواهند بود.

فرض کنید که $$T$$ یک برآوردگر M برای پارامتر $$\theta \in \Theta$$ باشد. به این ترتیب می‌توان تابع $$\Psi$$ را به صورت زیر در نظر گرفت:

$$\large \Psi :{\mathcal {X}}\times \Theta \rightarrow {\mathbb {R}}^{r}$$

در این جا $$T$$ یک تصویر از تابع توزیع احتمال $$F$$ به فضای پارامتر ایجاد می‌کند.

$$\large T(F) \in \Theta$$

به این ترتیب دستگاه معادلاتی که باید حل شوند به شکل زیر خواهند بود.

$$\large \int _{{{\mathcal {X}}}}\psi (x,\theta )\,dF(x)=0\\ \large {\displaystyle \int _{\mathcal {X}}\psi (x,T(F))\,dF(x)=0}$$

برای مثال، برآوردگر حداکثر درستنمایی به شکل زیر نوشته خواهد شد به شرطی که تابع چگالی موجود بوده یعنی $$f(x,\theta )={\frac {\partial F(x,\theta )}{\partial x}}$$.

$$\large\psi (x,\theta )=\left({\frac {\partial \log(f(x,\theta ))}{\partial \theta ^{1}}},\dots ,{\frac {\partial \log(f(x,\theta ))}{\partial \theta ^{p}}}\right)$$

به این ترتیب اگر تابع $$\rho$$‌ پیوسته و دارای مشتق مرتبه اول برحسب $$\theta$$ باشد، آنگاه شرط لازم برای آنکه برآوردگر M‌ از نوع $$\Psi$$ باشد آن است که:

$$\large {\displaystyle \psi (x,\theta )=\nabla _{\theta }\rho (x,\theta )}$$

برآوردگر نوع $$\rho$$