Table 3 Performance of 54 VPPTs for ancestry-specific African (AFR) vs European (EUR) advanced prostate cancer benchmark datasets classified by InterVar (ACMG-AMP guidelines) and ordered in descending order of sensitivity (Sen) for our African ancestral patients

From: Evaluating variant pathogenicity prediction tools to establish African inclusive guidelines for germline genetic testing

Tool

Sen AFR

Sen EUR

Spec AFR

Spec EUR

FPR AFR

FPR EUR

FNR AFR

FNR EUR

MCC AFR

MCC EUR

M-CAP

0.98

0.97

0.65

0.65

0.35

0.35

0.02

0.03

0.30

0.29

MetaSVM

0.95

0.89

0.96

0.95

0.04

0.05

0.05

0.11

0.51

0.38

MetaLR

0.94

0.88

0.94

0.94

0.06

0.06

0.06

0.13

0.43

0.34

GERP-NR

0.91

0.93

0.22

0.23

0.78

0.77

0.09

0.07

0.06

0.06

phastCons470way-mammalian

0.91

0.89

0.64

0.60

0.36

0.40

0.09

0.11

0.20

0.14

CADD

0.90

0.96

0.79

0.75

0.21

0.25

0.10

0.04

0.30

0.24

MutationTaster

0.90

0.92

0.71

0.69

0.29

0.31

0.10

0.08

0.22

0.16

GenoCanyon

0.89

0.88

0.30

0.31

0.70

0.69

0.11

0.12

0.08

0.06

phastCons100way-vertebrate

0.87

0.89

0.63

0.60

0.37

0.40

0.13

0.11

0.19

0.15

Eigen-raw

0.86

0.92

0.83

0.80

0.17

0.20

0.14

0.08

0.33

0.26

fathmm-MKL

0.86

0.87

0.68

0.65

0.32

0.35

0.14

0.13

0.21

0.16

phyloP470way-mammalian

0.85

0.88

0.67

0.63

0.33

0.37

0.15

0.12

0.20

0.16

Eigen-PC-raw

0.83

0.87

0.82

0.79

0.18

0.21

0.17

0.13

0.30

0.23

LINSIGHT

0.80

0.90

0.70

0.80

0.30

0.20

0.20

0.10

0.50

0.67

phyloP100way-vertebrate

0.79

0.82

0.75

0.70

0.25

0.30

0.21

0.18

0.22

0.17

bStatistic

0.78

0.66

0.20

0.20

0.80

0.80

0.22

0.34

āˆ’0.01

āˆ’0.05

phastCons17way-primate

0.78

0.79

0.57

0.55

0.43

0.45

0.22

0.21

0.13

0.10

DANN

0.77

0.76

0.77

0.74

0.23

0.26

0.23

0.24

0.23

0.16

BayesDel-noAF

0.76

0.89

0.96

0.94

0.04

0.06

0.24

0.11

0.52

0.46

LRT

0.76

0.72

0.80

0.77

0.20

0.23

0.24

0.28

0.24

0.16

Polyphen2-HDIV

0.74

0.85

0.68

0.66

0.32

0.34

0.26

0.15

0.12

0.11

SIFT

0.74

0.82

0.68

0.67

0.32

0.33

0.26

0.18

0.12

0.11

GERP-RS

0.73

0.75

0.83

0.79

0.17

0.21

0.27

0.25

0.26

0.19

MVP

0.73

0.80

0.88

0.87

0.12

0.13

0.27

0.20

0.24

0.27

SIFT-4G

0.73

0.76

0.76

0.73

0.24

0.27

0.27

0.24

0.15

0.12

LIST-S2

0.70

0.79

0.83

0.80

0.17

0.20

0.30

0.21

0.18

0.15

MutationAssessor

0.69

0.87

0.77

0.75

0.23

0.25

0.31

0.13

0.15

0.15

BayesDel-addAF

0.68

0.78

0.99

0.99

0.01

0.01

0.32

0.22

0.74

0.73

ClinPred

0.67

0.58

0.99

1.00

0.01

0.00

0.33

0.42

0.61

0.62

SiPhy

0.67

0.76

0.82

0.80

0.18

0.20

0.33

0.24

0.23

0.20

Polyphen2-HVAR

0.65

0.77

0.79

0.77

0.21

0.23

0.35

0.23

0.15

0.14

REVEL

0.65

0.78

0.97

0.95

0.03

0.05

0.35

0.22

0.39

0.33

ESM1b

0.64

0.73

0.86

0.84

0.14

0.16

0.36

0.27

0.19

0.16

FATHMM

0.64

0.76

0.83

0.85

0.17

0.15

0.36

0.24

0.17

0.17

PROVEAN

0.62

0.80

0.83

0.81

0.17

0.19

0.38

0.20

0.16

0.16

MutPred

0.59

0.73

0.79

0.80

0.21

0.20

0.41

0.27

0.20

0.20

VEST4

0.59

0.73

0.89

0.90

0.11

0.10

0.41

0.27

0.24

0.26

fathmm-XF

0.58

0.54

0.86

0.84

0.14

0.16

0.42

0.46

0.20

0.13

MetaRNN

0.56

0.49

1.00

1.00

0.00

0.00

0.44

0.51

0.67

0.64

VARITY-R

0.55

0.68

0.94

0.93

0.06

0.07

0.45

0.32

0.28

0.23

VARITY-R-LOO

0.55

0.68

0.93

0.92

0.07

0.08

0.45

0.32

0.26

0.23

DEOGEN2

0.54

0.66

0.95

0.94

0.05

0.06

0.46

0.34

0.28

0.25

hESC-fitCons

0.53

0.55

0.35

0.38

0.65

0.62

0.47

0.45

āˆ’0.04

āˆ’0.02

HUVEC-fitCons

0.53

0.45

0.40

0.41

0.60

0.59

0.47

0.55

āˆ’0.03

āˆ’0.04

integrated-fitCons

0.53

0.50

0.40

0.42

0.60

0.58

0.47

0.50

āˆ’0.03

āˆ’0.02

EVE

0.48

0.61

0.84

0.82

0.16

0.18

0.52

0.39

0.18

0.20

VARITY-ER

0.45

0.61

0.96

0.94

0.04

0.06

0.55

0.39

0.26

0.23

VARITY-ER-LOO

0.45

0.65

0.96

0.94

0.04

0.06

0.55

0.35

0.25

0.25

gMVP

0.41

0.56

0.96

0.94

0.04

0.06

0.59

0.44

0.22

0.21

GM12878-fitCons

0.38

0.44

0.54

0.56

0.46

0.44

0.62

0.56

āˆ’0.03

0.00

AlphaMissense

0.37

0.53

0.97

0.95

0.03

0.05

0.63

0.47

0.23

0.21

PrimateAI

0.20

0.20

0.98

0.98

0.02

0.02

0.80

0.80

0.15

0.12

MPC

0.03

0.03

1.00

1.00

0.00

0.00

0.97

0.97

0.05

0.04

phyloP17way-primate

0.00

0.00

1.00

1.00

0.00

0.00

1.00

1.00

0.00

0.00

ā€ƒMean

0.66

0.71

0.77

0.76

0.23

0.24

0.34

0.29

0.23

0.20

ā€ƒp value

9.86E-06

2.54E-03

2.54E-03

9.86E-06

7.91E-05

  1. FNR false negative rate, FPR false positive rate, MCC Matthew’s correlation coefficient, Sen sensitivity, Spec specificity.