فرادرس
توزیع ویشارت و متغیر تصادفی آن — مفاهیم و کاربردها
در نظریه «توزیع‌های آماری» (Distribution Theory)، «توزیع ویشارت» (Wishart Distribution) را می‌توان به شکلی تعمیم یافته «توزیع گاما» (Gamma Distribution) در حالت چند متغیره محسوب کرد. این نام از این جهت برای توزیع ویشارت و متغیر تصادفی آن انتخاب شده است که برای اولین بار توصیف و به کارگیری این توزیع توسط ریاضی‌دان و متخصص آمار کشاورزی، «جان ویشارت» (John Wishart) در سال ۱۹۲۸ صورت گرفته است.
مقدارهای متغیر تصادفی ویشارت (تکیه‌گاه - Support)، تشکیل یک ماتریس «متقارن» (Symmetric) و «معین نامنفی» ( Non-negative Definite Matrix) را می‌دهند. اغلب از این توزیع برای برآورد ماتریس کوواریانس توزیع نرمال چند متغیره، در استنباط آمار بیزی استفاده می‌شود زیرا می توان آن را به عنوان توزیع مزدوج پیشین معکوس ماتریس کوواریانس (ماتریس دقت) در توزیع نرمال چند متغیره به کار برد.
به عنوان مقدمه و فهم ساده‌تر این نوشتار، بهتر است مطلب توزیع نرمال یک و چند متغیره — مفاهیم و کاربردها و متغیر تصادفی و توزیع کای 2 (Chi Squared) — مفاهیم و کاربردها را مطالعه کنید. همچنین خواندن استنباط و آمار بیزی — به زبان ساده و توزیع های آماری گاما و بتا — مفاهیم و کاربردها نیز خالی از لطف نیست.
توزیع ویشارت و متغیر تصادفی آن
فرض کنید که $$G$$ یک ماتریس $$p \times n$$ است که مقدار هر ستون آن از یک توزیع نرمال $$p$$ متغیره با میانگین صفر انتخاب شده است.
در این صورت رابطه زیر را خواهیم داشت.
$$\large G_{(i)}=(g_{i}^{1},\dots ,g_{i}^{p})^{T}\sim N_{p}(0,V)$$
مشخص است که در اینجا منظور از $$V$$ ماتریس کوواریانس $$p \times p$$ است. در این صورت $$S$$ که یک ماتریس $$p \times p$$ بوده و توسط رابطه زیر معرفی می‌شود، دارای توزیع ویشارت خواهد بود.
$$\large S=GG^{T}=\sum _{i=1}^{n}G_{(i)}G_{(i)}^{T}$$
در این صورت توزیع ماتریس $$S$$ که به «ماتریس پراکندگی» (Scatter Matrix) نیز مشهور است به صورت زیر نشان داده می‌شود و می‌خوانیم $$S$$ دارای توزیع ویشارت $$p$$ متغیره با پارامترهای $$V$$ و $$n$$ است.
$$\large S\sim W_p(V,n)$$
همانگونه که دیده می‌شود این توزیع دارای دو پارامتر $$V$$ و $$n$$ است. همانطور که گفته شد، ماتریس $$V$$ مربوط به ماتریس واریانس-کوواریانس توزیع نرمال چند متغیره است و $$n$$ نیز تعداد ستون‌های ماتریس متغیر تصادفی ویشارت را نشان می‌دهد که به «درجه آزادی» (Degree of Freedom) معروف است.
نکته: گاهی نماد به کار رفته برای این توزیع به صورت زیر است.
$$\large S\sim W(V,p,n)$$
مشخص است که در توزیع ویشارت اگر $$n\geq p$$ ماتریس $$S$$ «تقریبا همه جا» یا «تقریبا مطمئن» (Almost Surely - With Probability 1) معکوس‌پذیر است اگر $$V$$ معکوس‌پذیر باشد.
تابع چگالی احتمال متغیر تصادفی ویشارت
اگر $$S \sim W_p(V,n)$$ باشد، شکل تابع چگالی احتمال آن در حالت چند متغیره به صورت زیر است.
$$\large f_{\mathbf {S} }(\mathbf {s} )={\frac {|\mathbf {s} |^{(n-p-1)/2}e^{-\operatorname {tr} (\mathbf {V} ^{-1}\mathbf {s} )/2}}{2^{\frac {np}{2}}|{\mathbf {V} }|^{n/2}\Gamma _{p}({\frac {n}{2}})}}$$
که در آن $$\Gamma _{p}({\frac {n}{2}})$$ تابع گامای چند متغیره بوده و مطابق رابطه زیر بدست می‌آید.
$$\large \Gamma _{p}\left({\frac {n}{2}}\right)=\pi ^{p(p-1)/4}\prod _{j=1}^{p}\Gamma \left({\frac {n}{2}}-{\frac {j-1}{2}}\right)$$
مشخص است که در اینجا منظور از $$\Gamma()$$ نیز تابع گامای یک متغیره است. از طرفی $$|s|$$ نیز، دترمینان ماتریس $$S$$ و $$tr()$$ نیز «اثر» (Trace) ماتریس را محاسبه می‌کند.
امید ریاضی و واریانس متغیر تصادفی ویشارت
با توجه به توزیع و چگالی متغیر تصادفی ویشارت، امید ریاضی و مولفه‌های ماتریس واریانس-کوواریانس آن مطابق با رابطه‌های زیر خواهد بود.
$$\large E(S)=nV$$
$$\large V(S_{ij})= n(\nu_{ij}^2+\nu_{ii}\nu_{jj})$$
در اینجا منظور از $$\nu_{ij}$$ درایه مربوط به سطر $$i$$ام و ستون $$j$$ ماتریس $$V$$ است. همچنین «میزان بی‌نظمی» (Information Entropy) یا اطلاع برابری متغیر تصادفی با توزیع ویشارت مطابق با رابطه زیر محاسبه می‌شود.
$$\large \operatorname {H} \left[\,\mathbf {X} \,\right]=-\ln \left(B(\mathbf {V} ,n)\right)-{\frac {n-p-1}{2}}\operatorname {E} \left[\,\ln \left|\mathbf {X} \right|\,\right]+{\frac {np}{2}}$$
که با توجه به ضریب نرمال‌سازی $$B()$$ بدست می‌آید. البته این ضریب نیز طبق رابطه زیر محاسبه و در فرمول بالا به کار می‌رود.
$$\large B(\mathbf {V} ,n)={\frac {1}{\left|\mathbf {V} \right|^{n/2}2^{np/2}\Gamma _{p}\left({\frac {n}{2}}\right)}}$$
به این ترتیب با کمی محاسبات جبری می‌توان به شکل زیر، فرم ساده‌تری برای بی‌نظمی متغیر تصادفی با توزیع ویشارت زیر نوشت:
$$\begin{aligned}\operatorname {H} \left[\,\mathbf {X} \,\right]&={\frac {n}{2}}\ln \left|\mathbf {V} \right|+{\frac {np}{2}}\ln 2+\ln \Gamma _{p}\left({\frac {n}{2}}\right)-{\frac {n-p-1}{2}}\operatorname {E} \left[\,\ln \left|\mathbf {X} \right|\,\right]+{\frac {np}{2}}\\[8pt]&={\frac {n}{2}}\ln \left|\mathbf {V} \right|+{\frac {np}{2}}\ln 2+\ln \Gamma _{p}\left({\frac {n}{2}}\right)-{\frac {n-p-1}{2}}\left(\psi _{p}\left({\frac {n}{2}}\right)+p\ln 2+\ln \left|\mathbf {V} \right|\right)+{\frac {np}{2}}\\[8pt]&={\frac {n}{2}}\ln \left|\mathbf {V} \right|+{\frac {np}{2}}\ln 2+\ln \Gamma _{p}\left({\frac {n}{2}}\right)-{\frac {n-p-1}{2}}\psi _{p}\left({\frac {n}{2}}\right)-{\frac {n-p-1}{2}}\left(p\ln 2+\ln \left|\mathbf {V} \right|\right)+{\frac {np}{2}}\\[8pt]&={\frac {p+1}{2}}\ln \left|\mathbf {V} \right|+{\frac {1}{2}}p(p+1)\ln 2+\ln \Gamma _{p}\left({\frac {n}{2}}\right)-{\frac {n-p-1}{2}}\psi _{p}\left({\frac {n}{2}}\right)+{\frac {np}{2}}\end{aligned}$$
توزیع حاشیه‌ای متغیر تصادفی ویشارت
فرض کنید ماتریس $$V$$ به صورت $$2 \times 2$$ و بیانگر ماتریس کوواریانس باشد که در آن $$-1 \leq \rho \leq 1$$ ;i همان ضریب همبستگی بین سطرها و ستون‌ها است. در این حال ماتریس $$V$$ که همان ماتریس واریانس-کووریانس توزیع نرمال دو متغیره است، به شکل زیر خواهد بود.
$$\large V = \begin{pmatrix}\sigma_1^2 & \rho \sigma_1 \sigma_2 \\ \rho \sigma_1 \sigma_2 & \sigma_2^2\end{pmatrix}$$
در این صورت نمونه تصادفی از توزیع ویشارت $$2 \times 2$$ به صورت زیر نوشته می‌شود.
$$S = \begin{pmatrix}\sigma_1^2 c_1^2 & \sigma_1 \sigma_2 \left (\rho c_1^2 + \sqrt{1-\rho^2} c_1 n_{21} \right ) \\\sigma_1 \sigma_2 \left (\rho c_1^2 + \sqrt{1-\rho^2} c_1 n_{21} \right ) & \sigma_2^2 \left(\left (1-\rho^2 \right ) c_2^2 + \left (\sqrt{1-\rho^2} n_{21} + \rho c_1 \right )^2 \right)\end{pmatrix}$$
که در آن $$n_{21}$$ دارای توزیع نرمال تک متغیره استاندارد (با میانگین صفر و واریانس ۱) و $$c_1$$ نیز دارای «توزیع مربع کای» (Chi Square) با $$n$$ درجه آزادی است. همچنین $$c_2$$ هم دارای توزیع کای ۲ با $$n-1$$ درجه آزادی خواهد بود. به این ترتیب خواهیم داشت:
$$\large n_{12} \sim N(0,1), \;\;\;c_1\sim \chi^2_n, \;\;\; c_2 \sim \chi^2_{n-1}$$
به این صورت واضح است که عناصر روی قطر اصلی (توزیع حاشیه‌ای) دارای توزیعی برحسب کای ۲ خواهند بود.
ارتباط با توزیع‌های دیگر
توزیع ویشارت را در حالت تک بُعدی در نظر بگیرید. در این حالت اگر $$p=V=1$$ باشد، توزیع ویشارت تبدیل به توزیع کای ۲ خواهد شد. در این صورت $$W_1(1,n)$$ همان توزیع کای ۲ با $$n$$ درجه آزادی است.
همچنین می‌توان توزیع ویشارت را مرتبط با توزیع ویشارت معکوس دانست به این ترتیب اگر $$S$$ دارای توزیع ویشارت $$p$$ بُعدی با پارامترهای $$V$$ و $$n$$ باشد، آنگاه $$C=S^{-1}$$ دارای توزیع ویشارت معکوس با پارامترهای $$V^{-1}$$ و $$n$$ است.
$$\large S \sim W_p(V, n) \rightarrow C = S^{-1} \sim W^{-1}_p(V^{-1}, n) $$
در «استنباط و آمار بیزی» (Bayesian Inference)، توزیع ویشارت به عنوان مزدوج پسین پارامتر دقت (ماتریس واریانس-کوواریانس) برای توزیع نرمال چند متغیره محسوب می‌شود.
توزیع نرمال-ویشارت
یکی از توزیع‌های مهم در نظریه آمار و احتمال، توزیع نرمال-ویشارت (Normal-Wishart Distribution) یا «توزیع گاوسی-ویشارت» (Gaussian-Wishart Distribution) است. این توزیع چند متغیره دارای چهار پارامتر بوده و تکیه‌های آن مقدارهای پیوسته است. بنابراین متغیر تصادفی مربوط به آن در گروه متغیرهای تصادفی پیوسته قرار می‌گیرد. این توزیع در آمار بیز، مزدوج پیشین توزیع نرمال چند متغیره با میانگین و ماتریس کوواریانس نامعلوم است. به این ترتیب مشخص است که این متغیر تصادفی باید دو وجهی باشد. فرض کنید بُعد اول را با $$\mu$$ و بُعد دوم نیز $$\Lambda$$ باشد. به این ترتیب متغیر تصادفی $$(\mu,\Lambda)$$ دارای توزیع نرمال ویشارت است اگر تابع احتمال آن به صورت زیر باشد. واضح است که در بعد اول مقدارهای حقیقی و در بعد دوم نیز مقدارهای مثبت مجاز هستند.
$$\large f({\boldsymbol \mu },{\boldsymbol \Lambda }|{\boldsymbol \mu }_{0},\lambda ,{\mathbf {W}},\nu )={\mathcal {N}}({\boldsymbol \mu }|{\boldsymbol \mu }_{0},(\lambda {\boldsymbol \Lambda })^{{-1}})\ {\mathcal {W}}({\boldsymbol \Lambda }|{\mathbf {W}},\nu )$$
در این حالت می‌نویسیم:
$$\large ({\boldsymbol \mu },{\boldsymbol \Lambda })\sim {\mathrm {NW}}({\boldsymbol \mu }_{0},\lambda ,{\mathbf {W}},\nu )$$.
واضح است که توزیع نرمال-ویشارت دارای چهار پارامتر است. پارامتر $$\mu_0$$ برداری $$p$$ بُعدی است که پارامتر مکان نامیده می‌شود. $$\lambda$$ نیز مقداری حقیقی مثبت و $$W$$ پارامتر مقیاس و یک ماتریس معین مثبت است. همچنین $$\nu$$ نیز مقداری بزرگتر از $$p-1$$ خواهد بود.
اگر مطلب بالا برای شما مفید بوده، آموزش‌های زیر نیز به شما پیشنهاد می‌شوند:
- مجموعه آموزش‌های آمار، احتمالات و داده‌کاوی
- آموزش مقدماتی آمار بیزی
- مجموعه آموزش‌های یادگیری ماشین و بازشناسی الگو
- قضیه بیز در احتمال شرطی و کاربردهای آن
- احتمال پسین (Posterior Probability) و احتمال پیشین (Prior Probability) — به زبان ساده
- تابع درستنمایی (Likelihood Function) و کاربردهای آن — به زبان ساده
^^
سلام ممنون از آموزش خوبتون
ببخشید توزیع دو متغیره ویشارت موجوده؟