آنتروپي

آنتروپي معباري است براي انداره گيري ميزان اطلاعاتي كه توسط يك منبع توليد ميشود و يا توسط فرد شاهد (Observer ) دريافت ميگردد . اين ايده در ابتدا توسط Shnnon در سال 1948 ارائه شد .

آنتروپي يك منبع گسسته و بدون گسسته و بدون حافظه ( Memoryless ) با الفباي   و ساير n و خرجي X در لحظه t بدين صورت محاسبه مي گردد .

پارامتر b ميتواند مقاديري مانند  و يا b=2 را در اختيار كند . كه در آنصورت آنتروپي بترتيب واحدهاي natural ,Hartleys , يا به اختصار nats ويا bits را خواهد داشت . در صورتيكه منبع داراي حافظه باشد ، بايد در نظر گرفت كه بين علائم خروجي وابستگي وجود دارد براي اندازه گيري اطلاعات از اصطلاح negentropy  استفاده مي‌شود .

متغيير تصادفي X را در نظر ميگيريم كه مي تواند تعداد محدودياز وضعيتهاي X1…Xn را در اختيار كند ميزان عدم قطعيت متغيير X چيست .؟ زماني اين سوال ميتواند پاسخ دقيق داشته باشد كه بدانيم چه كسي اين سوال را مطرح ميكند . يعني چقدر اطلاعات در مورد متغيير X در دسترس است. مثلاّ توزيع احتمالي هر يك از X1 ها را بدانيم . در صرتيكه هيچگونه اطلاعاتي نداشته باشيم فرض مي كنيم كه تمام وضعيت ها با احتمال برابر يعني  هستند .كه به آن اصل دليل نا كافي (pricple of Insufficient Reasin ) گويند . حال اين سوال مطرح مي گردد كه طبيعت چه طرحي را براي نگهداري اطلاعات در كدهاي ژنتيك پيش گرفته است سيستمهاي زنده در گذشته در محيطي نويز بيشتر نسبت به زمان حال زندگي مي كرده اند بر روي زميني كه گرمتر بوده و شهاب سنگها بيشتر به سطح آن برخود مي كرده اند و لايه اوزن وجود نداشته است . ميتوان گفت كه از طرحهاي كدينگ پيچيده تري كه در آنها كد كردن بيتها به تنهايي . دنباله اي از آنها كد مي شوند مورد استفاده قرار گرفته است .در طبيعت پيام به صورت دنباله اي از اسيدهاي آمينه متشكل از پلي پيتيدها مي باشد .دنباله ها از يك الفباي 20 حرفي نيز با يك دنباله 3 حرفي كد ميشود كه اين حروف نيز از يك الفباي 4 حرفي (يعني اسيدهاي آمينه شامل thymine arginine guanine cytosine ) ) استخراج مي شود .

۱۳۹۲-۸-۲ ۲۳:۵۳:۰۳ +۰۳:۳۰آبان ۲ام, ۱۳۹۲|Categories: متلب, مهندسی نرم افزار, هوش مصنوعی|بدون ديدگاه

ثبت ديدگاه

پرداخت

1-پرداخت آنلاین
برای پرداخت آنلاین از لینک زیر استفاده کنید
پرداخت آنلاین
2- پرداخت آفلاین
برای پرداخت آفلاین مبلغ مورد نظر را به یکی از شماره کارت
6037997245888723بانک ملی