رابطه زیر سنگ بنای تئوری بیزین می باشد.که هر کدام از اصطلاحات موجود در رابطه را جداگانه توضیح خواهیم داد، توجه شود که احتمال اولیه مستقل از داده آموزشی است ولی احتمال ثانویه تاثیر داده آموزشی را منعکس می‌کند. این تئوری امکان محاسبه احتمال ثانویه را بر مبنای احتمالات اولیه می‌دهد. عبارات زیر را در نظر بگیرید.

H: فضای فرضیه

D: داده های آموزشی

Likelihood: احتمال مشاهده داده آموزشی D به فرض آنکه فرضیه h صادق باشد.

Prior probability: احتمال اولیه‌ای (prior probablity) که فرضیه h قبل از مشاهده مثال آموزشیD داشته است. اگر چنین احتمالی موجود نباشد می‌توان به تمامی فرضیه‌ها احتمال یکسانی نسبت داد.

Evidence: احتمال اولیه‌ای که داده آموزشی D مشاهده خواهد شد.

Posterior probability: در یشبکه های بیزین علاقمند به دانستن P (h|D) یعنی احتمال اینکه با مشاهده داده آموزشی D فرضیه h صادق باشد، هستیم. این رابطه احتمال ثانویه (posterior probablity) نامیده می‌شود.

بیزین