مفاهيم مقدماتي مورد نياز در PCA

 

مفاهيم آماري

فرض كنيد X رشتهاي از مقادير است. ميانگين اين مقادير از رابطه زير بدست ميآيد.

انحراف از معيار نيز از رابطه زير محاسبه ميشود.

علت اينكه در مخرج رابطه فوق از عبارت n- 1 استفاده شده(و نه n) اينست كه فرض شده X شامل تمام مقادير موجود نيست بلكه تعدادي از اين مقادير انتخاب شده اند و در X قرار گرفته اند. يعني X مجموعه نمونه است و نه كل داده ها. با اين فرض اگر از n-1 در رابطه فوق استفاده شود، انحراف از معيار بدست آمده به انحراف از معيار داده هاي واقعي نزديكتر خواهد بود نسبت به اينكه از nاستفاده شود.

با به توان 2 رساندن انحراف از معيار، واريانس بدست ميآيد.

معيارهايي كه در بالا ذكر شد فقط اطلاعات مربوط به يك بٌعد را ارائه ميكنند و دانشي در مورد ارتباط بين ابعاد مختلف به ما نميدهند. با استفاده از كواريانس ميتوانيم ارتباط بين ابعاد مختلف داده ها را پيدا كنيم . فرض كنيد يك رشته ديگر از اعداد داريم كه آن را با Y نشان ميدهيم. كواريانس بينYو Xاز رابطه زير بدست ميآيد.

مقداري كه از رابطه بالا بدست ميآيد در بازه[-1,1] قرار خواهد داشت كه يكي از سه حالت زير را بوجود ميآورد:

اگر مقدار بدست آمده مثبت باشد آنگاه Y و X با هم افزايش يا كاهش مييابند .

اگر مقدار بدست آمده منفي باشد آنگاه با افزايش X مقدار Y كاهش مييابد و بالعكس.

اگر مقدار بدست آمده صفر باشد آنگاه Y و X از يكديگر مستقلند.

كواريانسِ بين تمامي ابعاد داده ها را ميتوان دو به دو محاسبه كرده و در يك ماتريس ذخيره كرد. به

اين ماتريس، ماتريس كواريانس ميگويند. ماتريس كواريانس يك ماتريس مربعي متقارن است.

مثلاً اگر سه بعد به نامهاي z و y ،x داشته باشيم، ماتريس كواريانس آنها برابر است با :

 

مفاهيم جبر ماتريسها

در اين بخش مفهوم بردار ويژه و مقادير ويژه را بيان ميكنيم. همانطور كه ميدانيد براي اينكه بتوان دو ماتريس را در يكديگر ضرب كرد، آن دو بايد از نظر اندازه با هم سازگار باشند. بردارهاي ويژه نوع خاصي از ضرب ماتريسها را ارائه ميكنند. به مثال زير توجه كنيد.

در مثال اول بردار بدست آمده مضرب صحيحي از بردار اوليه نيست. اما در مثال دوم، بردار بدست آمده چهار برابر بردار اوليه ميباشد. ماتريس 2×2كه در اين دو بردار ضرب كرده ايم را ميتوان يك ماتريس تبديل[1] در نظر گرفت كه با ضرب آن در يك بردار ميتوان اندازه و راستاي آن بردار را تغيير داد. در ميان تمام بردارهايي كه ميتوان ماتريس تبديل را در آنها ضرب كرد، بردارهايي وجود دارد كه پس از تبديل راستاي آنها تغيير نميكند و فقط اندازه آنها ممكن است عوض شود، مانند بردار [ 3;2 ] در مثال فوق. اين بردارها را بردارهاي ويژه مينامند. براي هر بردار ويژه يك مقدار ويژه نيز وجود دارد كه بيان ميكند اندازه آن بردار )و تمام بردارهاي ديگر كه در راستاي آن بردار هستند( پس از تبديل، چند برابر خواهد شد. در مثال فوق مقدار ويژه براي بردار [ 3;2 ] و البته تمام بردارهاي هم راستا با آن مانند [ 6;4 ] برابر با 4 ميباشد.

بردارهاي ويژه و مقادير ويژه فقط براي ماتريسهاي مربعي معني پيدا ميكنند. يك ماتريس n×n ميتواند داراي nبردار ويژه باشد. به منظور استاندارد كردن بردارهاي ويژه، پس از يافتن بردارهاي ويژه اندازه آنها را به گونهاي تغيير ميدهند تا طول آنها برابر با يك شود. مثلاً براي بردار [ 3;2]داريم:

 

 

 

ويژگي مهم بردارهاي ويژه اينست كه آنها برهم عمودند. مثلاً ماتريس تبديل زير را در نظر بگيريد.

با ضرب ماتريس در هر بردار ميتوان قرينه آن بردار نسبت به خط y= 0 را بدست آورد.

بردارهاي ويژه ي اين ماتريس عبارتند از [ 1;0 ] و [ 0;1 ] مقادير ويژه ي اين بردارها نيز به ترتيب -1و 1 ميباشد. همانطور كه گفتيم اين دو بردار ويژه برهم عمودند.

بدست آوردن بردارهاي ويژه براي ماتريسهاي بزرگتر از×3 3كار نسبتاً دشواري است. اين كار توسط يك الگوريتم بازگشتي انجام ميشود كه توضيح آن خارج از حوصلهي اين گزارش است.

 

2-2-3 -الگوريتم PCA

در اين بخش الگوريتم PCA را با ذكر يك مثال توضيح ميدهيم:

مرحله 1– انتخاب داده

در اينجا ما قصد داريم PCA را برروي يك مجموعه داده ي دو بعدي اعمال كنيم. اين داده ها در

شكل زير نشان داده شده است.

شکل 3-2 داده های دو بعدی اولیه که قرار است PCA بر روی آنها اعمال شود

مرحله 2– كم كردن ميانگين از داده ها

در اين مرحله، ميانگين هر بعد را از مقادير آن بعد كم ميكنيم تا ميانگين داده ها در هر بعد صفر

شود.

 

 

مرحله 3– محاسبه ي ماتريس كواريانس

ماتريس كواريانس را به طريقي كه در بالا ذكر شد براي داده ها بدست ميآوريم. براي مثال ما اين ماتريس، يك ماتريس2×2 است:

مرحله 4– محاسبه ي بردارهاي ويژه و مقادير ويژه

اكنون بردارهاي ويژه و مقادير ويژهي ماتريس كواريانس را محاسبه ميكنيم . طبق قضاياي جبر خطي، يك ماتريس متقارن n×n داراي n بردار ويژه ي مستقل و n مقدار ويژه ميباشد. همچنين يك ماتريس نيمه قطعي مثبت، داراي مقادير ويژهي غير منفي است. اين مقادير براي مثال ما برابر است با:

 

توجه داشته باشيد كه اين دو بردار ويژه به گونه اي انتخاب شده اند كه طول هر دو برابر با 1 باشد.اما اين دو بردار چه چيزي به ما ميدهد؟ ما راستاي اين دو بردار را در شكل 3-3 نشان داده ايم. همانطور كه ميبينيد يكي از اين دو بردار در جهتي قرار گرفته است كه داده ها در آن جهت بيشترين پراكندگي را دارند. بردار ديگر نيز عمود بر بردار اول است. و اما مقادير ويژه چه چيزي ارائه ميدهند؟ در اين مثال برداري كه در راستاي بيشترين پراكندگي داده ها قرار گرفته داراي مقدار ويژه 1.284 و بردار ديگر داراي مقدار ويژه 0.049 ميباشد. در واقع مقادير ويژه ميزانپراكندگي دادهها در راستاي بردار ويژه ي مربوطه را نشان ميدهد. ميتوان گفت بردار ويژه اي كه داراي بزرگترين مقدار ويژه است مؤلفه ي اصلي[2] داده هاي موجود ميباشد.

شکل 3-3 داده های نرمال سازی شده (با کم شدن میانگین )به همراه بردارهای ویژه ماتریس کواریانس

[1] Transformation Matrix

[2] Principle Component