< back

Evaluace binárního klasifikátoru


A) Zadání

  1. Pro binární klasifikátor 3-NN sestavený v předchozím cvičení a táž vstupní data 100 vzorků rozdělených rovnoměrně do dvou tříd „+“ (P) a „x“ (N) sestavte čtyřpolní tabulku hodnot TP, TN, FP a FN a vypočítejte z ní hodnoty Accuracy (celková správnost) a Precision (přesnost). Ground truth je známo ze vstupní trénovací množiny, výstupní hodnoty prediktoru vstupních vzorků obou tříd „+“ a „x“ v prostoru (x1,x2) pak z klasifikační mapy prediktoru 3-NN.

  1. Proveďte modifikaci kódu na klasifikátor 5-NN a stejným způsobem sestavte odpovídající čtyřpolní tabulku.

  1. Z obou čtyřpolních tabulek vypočtěte hodnoty potřebné pro vynesení do ROC grafu (viz také přednáška Předzpracování dat, od slide 19), tj. TPR a FPR, zaneste je do grafu ROC a podle jejich poloh popište rozdíly v chování modelů 3-NN a 5-NN.

  1. Do ROC grafu nakonec zaneste také bod odpovídající prediktoru 1-NN a specifickou polohu modelu zdůvodněte.

B) Info

Ilustrace predikční mapy a ground truth vstupních vzorků pro binární klasifikátor 3-NN: