| Vorhergesagte Klasse | Spaltensummen | ||
| Wahre | TP: | FN: | |
| Klasse | FP: | TN: | |
| Zeilensummen | |||
| predicted classes - Vorhergesagte, klassifizierte Aktivität | ||||
|---|---|---|---|---|
| Trinken | Nicht Trinken | Summen | ||
| true classes - Wahre Aktivität | Trinken | TP: 650 650 mal Trinken wurden vom Klassifikator korrekt als Trinken klassifiziert (richtige Entscheidung,Sensitivität) | FN: 50 50 mal Trinken wurde vom Klassifikator als Nicht Trinken klassifiziert (Fehler 1. Art, Alpha-Fehler) | 700 |
| Nicht Trinken | FP: 10 10 mal Nicht Trinken wurde vom Klassifikator als Trinken klassifiziert (Fehler 2. Art, Beta-Fehler) | TN: 290 290 mal Nicht Trinken wurde vom Klassifikator korrekt als Nicht Trinken klassifiziert (richtige Entscheidung, Spezifität) | 300 | |
| Summen | 660 | 340 | 1000 | |
| Begriff | Formel | Erläuterung und Beispiel |
|---|---|---|
| Englisch | Deutsch | |
| TP (true positive) | RP (richtig positiv) | Ein guter Kunde wird als guter Kunde erkannt |
| FP (false positive) | FP (falsch positiv) | Ein nicht guter Kunde wird als guter Kunde erkannt |
| FN (false negative) | FN (falsch negativ) | Ein guter wird Kunde als nicht guter Kunde erkannt |
| TN (true negative) | RN (richtig negativ) | Ein nicht guter Kunde wird als nicht guter Kunde erkannt |
| Alle Fälle | NN | Summe über TP, FP, FN, TN |
| Korrekte Klassifikation | T=TP+TN | alle korrekten Vorhersagen |
| Falsche Klassifikation | F=FP+FN | alle falschen Vorhersagen |
| Relevanz (nach Cleve) | R (RR) =TP+FN | alle positven Fälle der Realität |
| Irrelevanz | I = FP+TN | alle negativern Fälle der Realität |
| Positivität | P =TP+FP | Anzahl der negativen Vorhersagen (Klassifikationen) |
| Negativität | N =TN+FN | Anzahl der positiven Vorhersagen (Klassifikationen) |
| Korrektheitsrate, Accuracy | T/NN | Anteil der korrekten Klassifikationen |
| Inkorrektheitsrate | IN = F/NN | Anzahl der nicht korrekten Klassifikationen |
| Richtig-Positiv Rate (Sensitivität, Recall) | TPR=TP/R = TP/(TP+FN) | Die Richtig-Positiv-Rate ist durch das Verhältnis von richtig positiven Entscheidungen zur Gesamtzahl der tatsächlich positiven Beobachtungen gegeben. Beispiel: Anteil der Kranken bei denen die Krankheit auch erkannt wurde. |
| Richtig-Negativ Rate (Spezifität) | TNR = TN/I = TN/(FP+TN) | Die Spezifität gibt den Anteil der zurecht negativ beurteilten Beobachtungen an der Gesamtzahl der in Wirklichkeit negativen Beobachtungen an. Anteil der als gesund eingestuften Personen an den tatsächlich Gesunden. |
| Falsch-Positiv Rate | FPR = FP/I = FP / (FP+TN) | Die Falsch-Positiv-Rate ist durch das Verhältnis von falsch positiven Entscheidungen zur Gesamtzahl der tatsächlich negativen Beobachtungen gegeben.Beispiel: Anteil der als krank eingestuften, tatsächlich aber gesunden Personen (Wahrscheinlichkeit für einen falschen Alarm). |
| Falsch-Negativ Rate | FNR = FN/R | Anteil der inkorrekten negativen Klassifikation |
| Positiver Vorhersagewert, Precision, Genauigkeit (*) | PR=TP/P = TP/(TP+FP) | Anteil der korrekt klassifizierten Objekte |
| Negativer Vorhersagewert | TN/N | Der negativer Vorhersagewert gibt das Verhältnis der zurecht als negativ beurteilten Beobachtungen an allen als negativ beurteilten Beobachtungen. Beispiel: Der Anteil der tatsächlich gesunden Personen bei denen keine Krankheit diagnostiziert wurde. |
| Neg. Falschklassifikationsrate | FN/N | Anteil negativer Klassifikationen zu negativen Realitätsfällen |
| Pos. Falschklassifikationsrate | FP/P | Anteil positiver Klassifikation zu positiven Realitätsfällen |
| Fehlerrate | (FP+FN)/NN | Anteil falscher Klassenzuordnungen zu allen Klassenzuordnungen |
| Relevanz (Geron) | TP/(TP+FP) | Die Relevanz ist das Verhältnis von richtig-positiven Entscheidungen zur Gesamtzahl aller positiven Entscheidungen |
| Spezifität | TN/(TN+FP) oder (1-FPR) | Die Spezifität gibt den Anteil der zurecht negativ beurteilten Beobachtungen an der Gesamtzahl der in Wirklichkeit negativen Beobachtungen an |
| Prävalenz | (TP+FN)/NN | Die Prävalenz gibt den Anteil der tatsächlich positiven Beobachtungen an der Gesamtzahl aller Beobachtungen an |
| Positives Likelihood-Verhältnis | Sensitivität/(1-Spezifität) | Das positive Likelihood-Verhältnis berechnet das Verhältnis der Wahrscheinlichkeit einer positiven Klassifizierung unter den allen tatsächlich positiven Beobachtungen zur Wahrscheinlichkeit einer positiven Klassifizierung unter den tatsächlich negativen Beobachtungen. Ein positives Likelihood-Verhältnis von z.B. 50 besagt, dass die Wahrscheinlichkeit einen Kranken unter den tatsächlich Kranken zu finden 50mal so hoch ist wie die Wahrscheinlichkeit unter den Gesunden einen (vermeintlich) Kranken zu finden. |
| Negatives Likelihood-Verhältnis | (1-Sensitivität)/Spezifität) | Das negative Likelihood-Verhältnis berechnet das Verhältnis der Wahrscheinlichkeit einer irrtümlichen negativen Klassifizierung unter den allen tatsächlich positiven Beobachtungen zur Wahrscheinlichkeit einer negativen Klassifizierung unter den tatsächlich negativen Beobachtungen. Ein negatives Likelihood-Verhältnis von 0.01 besagt, dass die Wahrscheinlichkeit unter den Kranken eine Person als (vermeintlich) gesund einzustufen 100 mal kleiner ist (1/0.01) als unter den Gesunden eine Person als gesund einzustufen. |
| F1 Score | 2 * Precision (PR) * Recall (TPR) / (Precision + Recall) | Dieses kombinierte Maß bietet einen gleichwertigen Einfluss von ‚Precision' und ‚Recall' auf den Evaluationsprozess. Dies ist wichtig, denn eine gute Suche sollte alle relevanten Dokumente finden (hoher ‚Recall') und im gefundenen Datensatz eine hohe Dichte an wichtigen Dokumenten aufweisen (hohe ‚Precision'). |
| Kappa Koeffizient | (ACC-ACC0)/(1-ACC0) mit ACC0 = 0.5 bei binären Klassifikatoren | Der Kappa-Koeffizient ist unabhängig von den Stichproben pro Klasse und der Anzahl der Klassen. k=0 bedeutet eine Klassifizierung auf Chance-Level Niveau; k=1 bedeutet eine perfekte Klassifizierung. k<0 bedeutet, dass die Klassifizierung auf einer schlechteren als der zufälligen Ebene erfolgt. |
| Distance ROC Kurve | Sqrt((1-TPR)^2+(FPR^2)) | Gibt den Abstand TPR FPR zum Idealpunkt (0,1) in der ROC Kurve an |
| AUC | TPR*(1-FPR)+0.5*(TPR*FPR)+0.5*(1-FPR)*(1-TPR) | https://bci-lab.hochschule-rhein-waal.de/de/acc.html |