برآوردگر ناوردا (Invariant Estimator) برای پارامتر جامعه — به زبان ساده

در نظریه آمار و بحث برآوردیابی, مفهوم ناوردایی (Invariant) برای یک برآوردگر از اهمیت ویژه‌ای برخوردار است. در این نوشتار به برآوردگر ناوردا برای پارامتر جامعه می‌پردازیم و خصوصیات چنین برآوردگری را مشخص می‌کنیم.

به منظور آشنایی با اصطلاحات و مفاهیم به کار رفته در این نوشتار بهتر است بعضی از مطالب دیگر مجله فرادرس که با موضوع برآوردگر و برآوردیابی پرداخته است را به عنوان مقدمه مطالعه کنید. بنابراین پیشنهاد می‌شود نوشتارهای برآوردگر اریب و نااریب — به زبان ساده و برآوردگر سازگار در آمار — به زبان ساده را مطالعه کنید. همچنین خواندن تابع درست نمایی (Likelihood Function) و کاربردهای آن — به زبان ساده و میدان، حلقه و گروه در ریاضی — مفاهیم اولیه نیز خالی از لطف نیست.

برآوردگر ناوردا

برآوردگرها در آمار با توجه به خصوصیاتشان به چند کلاس یا دسته، طبقه‌بندی می‌شوند. یکی از این گروه‌ها, برآوردگرهای ناوردا یا پایا (Invariant Estimtors) نامیده می‌شود. به عنوان یک تعریف غیر رسمی از خاصیت پایایی یا ناوردایی می‌توان گفت، یک برآوردگر مثل $$\widehat{\theta}$$ برای پارامتر $$\theta$$ ناوردا است اگر با تبدیل $$g$$ روی پارامتر، $$g^*( \widehat{ \theta})$$ برآوردگر $$g( \theta)$$ باشد.

فیلم آموزش آمار و احتمال مهندسی – جامع و با مثال های مختلف در فرادرس

کلیک کنید

نکته: گاهی به جای اصطلاح ناوردا، از واژه «هم‌پایا» (Equivariant) نیز استفاده می‌شود.

تعریف برآوردگر ناوردا

یک برآوردگر ناوردا، در دو شرط زیر که اصوا ناوردایی نامیده می‌شوند، صدق می کند.

• اصل ناوردایی منطقی: هر عملی که در فضای مسئله تصمیم رخ می‌دهد نباید بستگی به تبدیل صورت گرفته در اندازه داشته باشد. به این معنی که با تبدیل روی پارامترهای مسئله، پاسخ براساس آن تبدیل نباید تغییر یابد.
• اصل ناوردایی: اگر دو مسئله تصمیم ساختار یکسانی داشته باشند (برحسب متغیر تصادفی $$X$$، فضای پارامتر $$\Theta$$ و چگالی احتمال $$f(x|\theta)$$ همچنین تابع زیان ( $$L$$ ) آنگاه قواعد تصمیم یکسانی نیز باید برایشان در نظر گرفته شود.

برای تعریف کامل برآوردگر ناوردا، لازم است که بعضی از خصوصیات «گروه تبدیلات» (Group of Transformation) را مشخص و تعیین کنیم.

فرض کنید $$X$$ یک مجموعه از نتایج نمونه تصادفی باشد که تحت گروه تبدیلاتی مانند $$G$$ قرار گرفته است که شامل روابطی یک به یک و پوشا از $$X$$ به $$X$$ است. این گروه از تبدیلات در شرایط زیر صدق می‌کنند.

• اگر $$g_1 \ in G$$ و $$g_2 \in G$$ آنگاه حاصل ترکیب آن ها نیز در گروه تبدیلات قرار خواهد داشت:

$$\large g_1 \in G, \;g_2 \in G \rightarrow g_1g_2 \in G$$

• اگر g عضوی از این گروه تبدیلات باشد، آنگاه معکوس آن نیز در این گروه قرار داد.

$$\large g \in G  \rightarrow g^{-1} \in G, \;\;\; g^{-1}(g(x)) = x$$

• این گروه از تبدیلات دارای عضو خنثی است به این معنی که تبدیل همانی (مثل $$e$$) نیز در این گروه قرار دارد.

$$\large e \in G , \;\;\ e(x) = x$$

نکته: مجموعه با این خصوصیات نسبت به عملگرهای گروه g، یک گروه (Group) در نظریه مجموعه‌ها نامیده می‌شود.

• مجموعه داده‌های $$x_1$$ و $$x_2$$ را هم‌پایا گویند، اگر رابطه زیر بین آن‌ها برقرار باشد.

$$\large x_1 = g(x_2) , \;\; \exists \; g \in G$$

همه نقاط هم‌پایا، تشکیل یک «کلاس هم‌ارزی» (Equivalence Class) می‌دهند. چنین کلاس هم‌ارزی را «مدار» (Orbit) در $$X$$ نیز می نامند. برای مثال با در نظر گرفتن مجموعه داده $$x_0$$، مجموعه $$X(x_0) = \{g(x_0) \; : \; g  \in G \}$$، یک مدار روی $$x_0$$  است.

• یک خانواده از توابع چگالی با نام $$F$$ را ناوردا تحت گروه تبدیلات $$G$$ گوییم، اگر برای هر عضو از این گروه تبدیلات و هر پارامتر از فضای پارامتر ، یک $$\theta^*$$ وجود داشته باشد که نتیجه تبدیل $$g$$ روی $$x$$، دارای چگالی با پارامتر $$\theta^*$$ باشد. چنین تبدیلی را $$\bar{g}(\theta)$$ می‌نامیم.

$$\large \forall g \in G , \theta \in \Theta\; ; \exists \theta^* \in \Theta , Y = g(x) , Y ~ f(y|\theta^*) = \bar{g}(\theta)$$

• اگر خانواده توابع چگالی $$F$$ تحت گروه تبدیلات $$G$$ ناوردا باشد، آنگاه تابع زیان $$L ( \theta , a )$$ تحت این گروه از تبدیلات، ناوردا است، اگر برای هر $$g \in G$$ و $$a \in A$$ یک $$a^*$$ در $$A$$ وجود داشته باشد که رابطه زیر برایش برقرار باشد.

$$\large \forall g \in G , a \in A , \exists a^* \in A : L(\theta , a) = L(\bar{g}(\theta) , a^* ) , \forall \theta \in \Theta$$

در این حالت تبدیل یافته $$a$$ به صورت $$\tilde{g}(\theta)$$ مشخص می‌شود.

در این صورت $$\bar{G} = \{ \bar{g} : g \in G \}$$ یک گروه از تبدیلات از $$\Theta$$ به خودش است و $$\tilde{G} = \{ \tilde{g} : g \in G \}$$ نیز یک گروه از تبدیلات از $$A$$ به خودش خواهد بود.

در چنین شرایطی، یک مسئله را ناوردا تحت گروه $$G$$ گوییم اگر گروه‌های $$G , \bar{G} , \tilde{G}$$ به صورتی که در بالا گفته شد، وجود داشته باشند.

در یک مسئله ناوردا تحت گروه تبدیلات $$G$$، برآوردگر $$\delta(x)$$ یک برآوردگر ناوردا تحت $$G$$ است اگر $$x \in X , g \in G$$ باشد و داشته باشیم:

$$\large { \displaystyle \delta (g(x)) = { \tilde{g}} ( \delta (x))}$$

خصوصیات برآوردگر ناوردا

با توجه به مسئله تصمیم در برآوردگر ناوردا، خصوصیات زیر برای آن با توجه به تابع ریسک در نظر گرفته می‌شود.

1. تابع ریسک مثل $$R$$ برای یک برآوردگر ناوردا، روی مدارهایی از $$\Theta$$  ثابت است. به این ترتیب اگر $$\delta$$، برآوردگر ناوردا باشد، رابطه $$R(\theta,\delta) = R(\bar{g}(\theta) , \delta) , \;\; \forall  \theta \in \Theta , \; \bar{g} \in \bar{G}$$ برقرار است.
2. تابع ریسک یک برآوردگر ناوردا با تبدیل ترایا (Transitive) مانند $$\bar{g}$$، ثابت است.

برای چنین مسئله‌ای، برآوردگر ناوردا با کمترین ریسک را «بهترین برآوردگر ناوردا» (Best Invariant Estimator) می‌نامند. در اکثر مواقع بهترین برآوردگر ناوردا حاصل نمی‌شود مگر آنکه $$\bar{g}$$، ترایا یا تراگذاری (Transitive) باشد.

کلاس‌های برآوردگرهای ناوردا

در ادامه به کمک مثال‌هایی، بعضی از کلاس‌های برآوردگرهای ناوردا را معرفی می‌کنیم.

فیلم آموزش مقدماتی استنباط و آمار بیزی در فرادرس

کلیک کنید

مثال 1. برآوردگر ناوردای مکان

فرض کنید $$\theta$$ پارامتر مکان برای تابع چگالی $$X$$ به فرم $$f(x-\theta)$$ است. فضای پارامتر نیز یک بعدی بوده و داریم $$\Theta = \cal{R}$$.

همچنین تابع زیان نیز در اینجا به صورت $$L = L(a-\theta)$$ است. آنگاه مسئله ناوردا تحت تبدیلات $$g = \bar{g} = \tilde{g} = \{ g_c : g_c(x) = x + c ,\;  c \in R \}$$ خواهد بود.

به این ترتیب برآوردگر ناوردا $$\delta$$ باید در شرط زیر صدق کند:

$$\large \delta(x + c) = \delta (x) + c$$

از طرفی نیز این برآوردگر باید به صورت $$\delta (x) = x + K$$  نیز باشد. همچنین $$\bar{g}$$ یک تبدیل ترایا روی $$\Theta$$ است در نتیجه ریسک برای هر یک از مقادیر پارامترهای $$\theta$$ ثابت است.

$$\large R( \theta, \delta ) = R( 0 , \delta) = \operatorname{E} [L(X+K) | \theta = 0 ]$$

از آنجایی که برآوردگر ناوردا باید ریسک را کمینه سازد، با انتخاب تابع زیان مربع خطا، برآوردگر به صورت زیر در خواهد آمد.

$$\large \delta(x) = x - \operatorname{E} [ X | \theta = 0 ]$$

مثال 2. برآوردگر پیتمن

به نمونه تصادفی $$X = (X_1 , X_2 , \ldots, X_n)$$ با چگالی توام به صورت $$f(x_1-\theta,\ldots,x_n-\theta)$$ توجه کنید. قرار است پارامتر $$\theta$$ با در نظر گرفتن تابع زیان $$L (|a- \theta |)$$ برآورد شود.

این یک مسئله ناوردا است اگر گروه تبدیلات زیر را در نظر بگیریم.

$$\large G = \{g_c\; :\; g_c(x) = (x_1 + c , \ldots , x_n + c ) , c \in R^1 \}$$

$$\large \bar{G} = \{ g_c \; : \; g_c(\theta) = \theta + c , c \in R ^1 \}$$

$$\large \tilde{G} = \{ g_c \; : \; g_c(a) = a + c , c \in R ^1 \}$$

بهترین برآوردگر ناوردا $$\delta(x)$$ در این صورت از کمینه‌سازی رابطه زیر بدست می‌آید.

$$\large \dfrac{\int_{-\infty}^{\infty} L( | \delta( x) - \theta | ) f (x_1- \theta , \ldots, x_n - \theta ) d\theta }{\int_{\infty}^{\infty} f( x_1 - \theta , \ldots, x_n - \theta ) d \theta }$$

چنین برآوردگری توسط «جیمز پیتمن» ( Edwin James George Pitman) آمارشناس استرالیایی در سال 1939 معرفی شد.

در این صورت، اگر تابع زیان را مربع خطا در نظر بگیریم، برآوردگر پیتمن برای پارامتر مکان به صورت زیر محاسبه می‌شود.

$$\large \dfrac{\int_{-\infty}^{\infty} \theta f (x_1- \theta , \ldots, x_n - \theta ) d\theta }{\int_{\infty}^{\infty} f(x_1 - \theta , \ldots, x_n - \theta ) d \theta }$$

رابطه (3) پیدا کردن برآورد پیتمن برای پارامتر مکان

به این ترتیب اگر در توزیع نرمال چند متغیره (Multivariate Normal)، پارامتر مرکزی (مکان) به صورت $$\theta 1_n$$ در نظر گرفته شود، بهترین برآوردگر ناوردا به صورت زیر خواهد بود.

$$\large x \sim N( \theta 1_n , I ) \rightarrow \delta_{pitman} = \delta_{ML} = \dfrac{\sum x_i }{n}$$

نکته: منظور از $$\delta_{ML}$$ برآوردگر «بیشینه درستنمایی» (Maximum Likelihood) است.

همچنین برای توزیع کوشی چند متغیره (Cauchy Distribution) به صورت $$x \sim C ( \theta1_n , I \sigma^2 )$$ نشان داده می‌شود با شرط استقلال مولفه‌ها و ثابت و معلوم بودن پارامتر مقیاس $$\sigma$$  بهترین برآوردگر ناوردا به وسیله رابطه زیر بدست می‌آید. توجه داشته باشید که در این حالت برآوردگر پیتمن با برآوردگر حداکثر درستنمایی یکسان نیست ( $$\delta _{pitman} \neq \delta_{ML}$$).

  $$\large { \displaystyle \delta _{pitman}=\sum _{k=1}^{n}{x_{k}\left[{\frac {{\text{Re}}\{w_{k}\}}{\sum _{m=1}^{n}{{\text{Re}}\{w_{k}\}}}}\right]},\qquad  n>1 , }$$ 

که در آن $$w_k$$ به صورت زیر بدست می‌آید.

  $$\large  { \displaystyle w_{k} = \prod _{j\neq k} \left[{ \frac {1}{(x_{k}-x_{j})^{2} + 4 \sigma ^{2}} } \right] \left[1 - { \frac { 2 \sigma }{ (x_{k} - x_{j})}} i \right] }$$

نکته: در اینجا منظور از تابع یا عملگر $$\text{ RE }$$، بخش حقیقی عدد مختلط است.

بعضی از کلاس‌های برآوردگرهای ناوردا

چندین نوع تبدیل برای به کارگیری و مشخص کردن برآوردگرهای ناوردا به کار می‌رود که در ادامه به بعضی از آن‌ها اشاره خواهیم کرد. به این ترتیب کلاس‌هایی از برآوردگرهای ناوردا مشخص خواهد شد.

کلاس برآوردگرها ناوردای تغییر مکان

به نظر می‌رسد که تحت تبدیل تغییر مکان (Shift Value)، برآوردگرهای مکان باید ناوردا باشند. به این معنی که اگر پارامتر، تغییر مکان پیدا کند و در حقیقت همه مقادیر با مقدار ثابتی جمع یا تفرق شوند، انتظار داریم که برآوردگر مکان نیز به همین صورت تحت چنین تبدیلی، تغییر یافته و برآورد مناسبی برای پارامتر مکان جامعه آماری تبدیل یافته باشد.

جالب است که برآوردگر ناوردا مکان احتیاجی به وجود میانگین ندارد و از توزیع احتمالی نیز استفاده نمی‌کند. فقط کافی است که مثلا براساس برآوردگر پیتمن و با توجه به وجود تابع چگالی، انتگرال‌های رابطه 3 محاسبه شوند.

خلاصه و جمع بندی

در این نوشتار با مجموعه‌ای از تبدیلات و پارامترهایی آشنا شدیم که امکان تعریف برآوردگرهای ناوردا یا هم‌پایا برایشان وجود دارد. همچنین دیدیم که با استفاده از برآوردگر پیتمن می‌توانیم برآوردگرهای ناوردا برای پارامتر مکان را با توجه به تبدیلات جابجایی (Shift) معرفی و محاسبه کنیم.

اگر این مطلب برای شما مفید بوده است، آموزش‌ها و مطالبی که در ادامه آمده‌اند نیز به شما پیشنهاد می‌شوند:

• مجموعه آموزش‌های ریاضی
• آموزش آمار و احتمال مهندسی
• مجموعه آموزش‌های آمار و احتمالات
• توزیع‌های آماری — مجموعه مقالات جامع وبلاگ فرادرس
• متغیر تصادفی و توزیع برنولی — به زبان ساده

^^