آنتروپی اطلاعات – مبانی اولیه

مطالب مجله فرادرس را در جستجوی گوگل سریعتر ببینید
در ابتدا این قضیه وارونه به نظر میرسد: اینطور تصور میشود که پیامهایی که ساختاریافتهتر هستند، حاوی اطلاعات بیشتری باشند، اما چنین نیست. برای مثال، پیام «آآآآآآ» که به نظر بسیار ساختار یافته و غیرتصادفی به نظر میرسد، که گرچه میتواند از یک فرایند تصادفی ایجاد شده باشد، حاوی اطلاعات کمتری نسبت به پیام «الفبا» است. پیام الفبا را میتوان تا حدودی ساختار یافته اما تصادفیتر دانست. همچنین، پیام «آبستیخدم2» را باید یک پیام کاملا تصادفی ذکر کرد.
مفهوم اطلاعات
در تئوری اطلاعات، «اطلاعات» لزوما به معنای اطلاعات مفید نیستند، بلکه تنها مقدار تصادفی بودن پیام را مشخص میکند. بنابراین در مثال بالا، پیام اول دارای کمترین اطلاعات و پیام آخر دارای بیشترین اطلاعات است، هرچند که در اصطلاح روزمره، پیام میانی، یعنی «الفبا» شامل اطلاعات بیشتری نسبت به رشتههایی از حروف تصادفی خواهد بود. بنابراین، در تئوری اطلاعات، پیام اول دارای آنتروپی کمی است، پیام دوم آنتروپی بالاتری از اولی، و پیام سوم بیشترین آنتروپی را دارد
بیت و شانون

از آنجا که لگاریتم توزیع احتمال برای منابع مستقل به صورت افزایشی میباشد، به عنوان معیاری برای اندازهگیری آنتروپی بسیار مفید است. برای مثال، آنتروپی یک بار پرتاب سکه برابر 1 شانون، و برای m بار پرتاب سکه برابر m شانون است. به صورت کلی، شما برای نمایش متغیری که میتواند یکی از n مقدار را بگیرد به (log2(n بیت نیاز دارید، اگر n توانی از 2 باشد. در صورتیکه این مقادیر، احتمال برابری داشته باشند، آنتروپی (در واحد شانون) برابر با تعداد بیتهاست.
شرط برابری بیت و شانون
برابری بین تعداد بیت و شانون تنها وقتی اتفاق میافتد که احتمال وقوع تمام خروجیها برابر باشد. اگر احتمال وقوع یکی از رویدادها بیشتر از بقیه باشد، مشاهده آن رویداد حاوی اطلاعات کمتری است. به صورت برعکس، مشاهده رویدادهای نادرتر، در هنگام رخداد، اطلاعات بیشتری فراهم میکنند. از آنجا که مشاهده رویدادهای نادرتر کمتر اتفاق میافتد، اثر این است که آنتروپی (به عنوان میانگین اطلاعات) دریافتی از داده با توزیع غیریکنواخت کمتر از از (log2(n است. آنتروپی صفر است اگر وقوع یک خروجی، قطعی باشد.

اگر این مطلب برای شما مفید بوده است، آموزشها و مطالب زیر نیز به شما پیشنهاد میشوند:
مطالب مجله فرادرس را در جستجوی گوگل سریعتر ببینید













خیلی عالی بود
من برای درس داده کاوی استفاده کردم.
سلام خسته نباشید این مبحث مرتبط با کدامیک از آموزشهای فرادرس هست؟