یک موضوع مهم که در یک بازیابی کننده عاطفی گفتار باید مورد توجه قرار گیرد میزان طبیعی بودن پایگاه داده استفاده شده برای ارزیابی کارایی اش است.اگر یک پایگاه داده با کیفیت پایین استفاده شود,نتایج نادرست ممکن است حاصل شود. علاوه بر آن, طراحی پایگاه داده برای عمل طبقه بندی مورد نظر بسیار حائز اهمیت است. برای مثال,احساساتی که طبقه بندی شده اند ممکن است

برای مثال

 

برای مثال, لذت و عصبانیت[۲۲,۳۸] . در پایگاه داده دیگر, وظیفه طبقه بندی تشخیص استرس هایدر گفتار است[۱۴۰] .کار طبقه بندی همچنین به وسیله تعداد و انواع احساسات موجود در پایگاه داده تعریف می شود. این بخش به سه زیر مجموعه تقسیم می شود. در بخش ۲٫۱,معیار متفاوتی برای ارزیابی خوبی یک پایگاه داده احساسی موردبحث قرار می گیرد. در بخش ۲٫۲, یک بررسی کلی از بعضی از پایگاه داه های موجود داده شده است. در نهایت, محدودیت های پایگاه های داده گفتار احساسی در بخش ۲٫۳ مورد توجه قرار می گیرند.