Table 2 Obtained results for the two predictions: SP development/not development and disease severity. For each prediction, all classifier performances for all N-year models are presented, where the best are in bold.
From: Prediction of disease progression and outcomes in multiple sclerosis with machine learning
SP Development/Not Development | Disease Severity in the 6th Year Progression | Disease Severity in 10th Year Progression | |||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
KNN-3 | Decision Tree | Linear Regression | SVM | KNN-3 | Decision Tree | Linear Regression | SVM | KNN-3 | Decision Tree | Linear Regression | SVM | ||
1-Year Model | AUC | 0.76±0.05 | 0.65±0.10 | 0.79±0.06 | 0.81±0.06 | 0.74±0.06 | 0.74±0.07 | 0.80±0.06 | 0.80±0.06 | 0.67±0.09 | 0.57±0.09 | 0.67±0.09 | 0.73±0.07 |
Geometric Mean | 0.67±0.05 | 0.61±0.08 | 0.71±0.06 | 0.72±0.06 | 0.70±0.06 | 0.69±0.08 | 0.71±0.05 | 0.71±0.06 | 0.61±0.08 | 0.55±0.09 | 0.62±0.08 | 0.65±0.08 | |
Specificity | 0.60±0.06 | 0.55±0.11 | 0.65±0.07 | 0.65±0.08 | 0.66±0.09 | 0.64±0.12 | 0.73±0.06 | 0.69±0.06 | 0.61±0.12 | 0.61±0.13 | 0.67±0.09 | 0.63±0.12 | |
Sensitivity | 0.75±0.11 | 0.70±0.17 | 0.80±0.14 | 0.81±0.13 | 0.74±0.10 | 0.76±0.12 | 0.70±0.10 | 0.73±0.11 | 0.63±0.14 | 0.51±0.14 | 0.58±0.14 | 0.67±0.11 | |
F1-Score | 0.13±0.02 | 0.11±0.03 | 0.15±0.03 | 0.16±0.03 | 0.36±0.06 | 0.35±0.07 | 0.39±0.06 | 0.37±0.06 | 0.54±0.09 | 0.46±0.10 | 0.54±0.10 | 0.58±0.08 | |
2-Year Model | AUC | 0.81±0.08 | 0.70±0.09 | 0.82±0.08 | 0.86±0.07 | 0.80±0.05 | 0.83±0.06 | 0.87±0.04 | 0.89±0.03 | 0.66±0.09 | 0.61±0.07 | 0.71±0.07 | 0.71±0.07 |
Geometric Mean | 0.73±0.08 | 0.66±0.08 | 0.76±0.08 | 0.76±0.08 | 0.75±0.05 | 0.77±0.08 | 0.82±0.06 | 0.82±0.06 | 0.58±0.10 | 0.55±0.09 | 0.66±0.07 | 0.63±0.08 | |
Specificity | 0.74±0.06 | 0.65±0.09 | 0.78±0.05 | 0.77±0.05 | 0.68±0.06 | 0.72±0.09 | 0.82±0.04 | 0.81±0.05 | 0.48±0.13 | 0.52±0.15 | 0.63±0.11 | 0.54±0.13 | |
Sensitivity | 0.73±0.14 | 0.69±0.16 | 0.74±0.14 | 0.76±0.14 | 0.83±0.11 | 0.83±0.14 | 0.83±0.11 | 0.84±0.11 | 0.73±0.15 | 0.62±0.17 | 0.70±0.12 | 0.75±0.12 | |
F1-Score | 0.18±0.05 | 0.13±0.04 | 0.21±0.05 | 0.20±0.05 | 0.40±0.05 | 0.44±0.09 | 0.53±0.06 | 0.53±0.07 | 0.55±0.09 | 0.50±0.10 | 0.59±0.07 | 0.59±0.07 | |
3-Year Model | AUC | 0.73±0.09 | 0.65±0.12 | 0.78±0.09 | 0.83±0.09 | 0.81±0.05 | 0.82±0.07 | 0.89±0.03 | 0.90±0.03 | 0.68±0.08 | 0.65±0.08 | 0.73±0.07 | 0.75±0.07 |
Geometric Mean | 0.70±0.10 | 0.65±0.11 | 0.73±0.09 | 0.73±0.09 | 0.76±0.06 | 0.77±0.09 | 0.84±0.05 | 0.83±0.04 | 0.61±0.10 | 0.58±0.09 | 0.67±0.07 | 0.69±0.08 | |
Specificity | 0.70±0.06 | 0.62±0.11 | 0.75±0.06 | 0.72±0.06 | 0.73±0.04 | 0.75±0.09 | 0.84±0.02 | 0.78±0.06 | 0.59±0.15 | 0.59±0.16 | 0.72±0.07 | 0.66±0.11 | |
Sensitivity | 0.73±0.18 | 0.69±0.19 | 0.72±0.18 | 0.77±0.18 | 0.80±0.12 | 0.80±0.16 | 0.85±0.11 | 0.88±0.10 | 0.67±0.16 | 0.61±0.17 | 0.63±0.12 | 0.73±0.12 | |
F1-Score | 0.16±0.04 | 0.13±0.05 | 0.19±0.05 | 0.17±0.04 | 0.42±0.05 | 0.45±0.09 | 0.57±0.06 | 0.51±0.06 | 0.56±0.10 | 0.52±0.10 | 0.59±0.09 | 0.62±0.08 | |
4-Year Model | AUC | 0.79±0.08 | 0.65±0.10 | 0.79±0.07 | 0.85±0.06 | 0.85±0.05 | 0.85±0.07 | 0.92±0.03 | 0.92±0.04 | 0.72±0.08 | 0.70±0.10 | 0.77±0.08 | 0.80±0.08 |
Geometric Mean | 0.73±0.08 | 0.65±0.10 | 0.75±0.08 | 0.77±0.09 | 0.78±0.07 | 0.79±0.07 | 0.86±0.05 | 0.84±0.04 | 0.66±0.10 | 0.64±0.10 | 0.71±0.10 | 0.75±0.08 | |
Specificity | 0.74±0.06 | 0.66±0.12 | 0.78±0.06 | 0.77±0.07 | 0.82±0.04 | 0.77±0.08 | 0.89±0.04 | 0.82±0.05 | 0.70±0.11 | 0.71±0.15 | 0.81±0.08 | 0.76±0.09 | |
Sensitivity | 0.74±0.16 | 0.66±0.18 | 0.72±0.13 | 0.78±0.16 | 0.74±0.13 | 0.82±0.14 | 0.83±0.09 | 0.87±0.08 | 0.65±0.16 | 0.61±0.17 | 0.64±0.15 | 0.74±0.13 | |
F1-Score | 0.18±0.04 | 0.14±0.05 | 0.21±0.05 | 0.21±0.05 | 0.49±0.08 | 0.48±0.09 | 0.63±0.07 | 0.56±0.07 | 0.59±0.11 | 0.57±0.11 | 0.64±0.12 | 0.68±0.09 | |
5-Year Model | AUC | 0.84±0.08 | 0.77±0.13 | 0.81±0.06 | 0.86±0.07 | 0.87±0.05 | 0.86±0.09 | 0.94±0.03 | 0.94±0.04 | 0.79±0.08 | 0.77±0.10 | 0.81±0.07 | 0.85±0.07 |
Geometric Mean | 0.79±0.09 | 0.74±0.12 | 0.75±0.11 | 0.77±0.13 | 0.77±0.08 | 0.84±0.09 | 0.87±0.06 | 0.88±0.05 | 0.72±0.10 | 0.70±0.11 | 0.74±0.09 | 0.78±0.08 | |
Specificity | 0.77±0.06 | 0.77±0.13 | 0.82±0.06 | 0.80±0.06 | 0.86±0.04 | 0.87±0.09 | 0.93±0.03 | 0.88±0.04 | 0.75±0.11 | 0.80±0.16 | 0.85±0.09 | 0.79±0.09 | |
Sensitivity | 0.82±0.17 | 0.74±0.20 | 0.71±0.20 | 0.75±0.20 | 0.71±0.14 | 0.83±0.16 | 0.81±0.12 | 0.87±0.10 | 0.72±0.14 | 0.63±0.15 | 0.66±0.13 | 0.77±0.13 | |
F1-Score | 0.22±0.05 | 0.22±0.08 | 0.24±0.07 | 0.23±0.06 | 0.51±0.08 | 0.61±0.11 | 0.71±0.08 | 0.65±0.07 | 0.66±0.12 | 0.64±0.12 | 0.68±0.11 | 0.72±0.09 | |