دو طبقه در فضای الگوها نمایان است. می خواهیم تصمیم بگیریم که الگوی طبقه بندی نشده x به کدام یک از این دو طبقه تعلق دارد. روش طبقه بندی نزدیکترین همسایه در وابع براساس نزدیکترین فاصله به نمونه های طبقه های همسایه این تصمیم را روشن می کند. نمونه طبقه بندی نشده به نزدیکترین طبقه همسایه خود تخصیص داده می شود.موضوعی که چندان هم دور از ذهن نیست. از نظر ریاضی این روش تابع ممیزی را به صورت زیر تعریف می کند.

(فاصله به نزدیکترین نمونه در طبقه ۲) ـ (فاصله به نزدیکترین نمونه در طبقه ۱) = f(x)

بدین صورت برای نمونه هایی که در طبقه های مجزا قرار دارند، به طوری که در شکل ۲-۱ نشان دادیم مقدار f(x) برای نمونه های متعلق به طبقه ۱ منفی و برای نمونه های طبقه ۲ مثبت خواهد بود. به هر حال دامنه کاربردی این روش لااقل از نظر کارایی محدود است. نمونه دورافتاده با این که نزدیکتر به طبقه ۱ است متعلق به طبقه ۲ می باشد و گرچه رفتاری مشابه سایر نمونه های طبقه ۲ ندارد ولی به هر حال جزء آن طبقه محسوب می شود .

نتیجه تصویری برای ‪knn‬‏

                       شکل ۳-۲ طبقه بندی به وسیله مقایسه با نزدیکترین همسایه

حال اگر بخواهیم نمونه طبقه بندی نشده ای را که احتمالاً نزدیکتر به این نمونه غیر معمول است طبقه بندی کنیم ممکن است تصمیم ما درست نباشد. راه حل مشکل این است که فاصله نمونه طبقه بندی نشده را با نمونه های متعدد اندازه گیری کنیم و تنها به یک فاصله اکتفا نکنیم، در نیتجه اثر نمونه های غیر معمول احتمالی ا خنثی کنیم، این عمان روش «k نزدکترین همسایه» می باشد و k تعداد همسایه های نزدیک نمونه طبقه بندی نشده است که فاصله آنها محاسبه می شود.