Table 6 Results obtained using hybrid models with parameter optimization on HS-RU-20 corpus.

From: Roman urdu hate speech detection using hybrid machine learning models and hyperparameter optimization

Features			Neutral-Hostile Task				Hate Speech-Offensive Task
Features	Model	HPO	Accuracy	Precision	Recall	F1 score	Accuracy	Precision	Recall	F1 score
CNN	SVM	GS	0.85	0.85	0.87	0.86	0.84	0.82	0.83	0.80
		RS	0.87	0.86	0.87	0.89	0.86	0.82	0.84	0.81
		BOGP	0.85	0.85	0.85	0.87	0.85	0.83	0.84	0.81
	RF	GS	0.83	0.84	0.84	0.84	0.83	0.81	0.84	0.81
		RS	0.84	0.82	0.82	0.85	0.84	0.82	0.83	0.83
		BOGP	0.84	0.83	0.83	0.84	0.83	0.82	0.85	0.81
	LR	GS	0.85	0.85	0.87	0.86	0.81	0.81	0.82	0.83
		RS	0.86	0.86	0.86	0.87	0.83	0.81	0.80	0.85
		BOGP	0.85	0.85	0.86	0.85	0.82	0.81	0.83	0.84
	NB	GS	0.82	0.83	0.84	0.83	0.80	0.80	0.81	0.81
		RS	0.83	0.84	0.85	0.84	0.81	0.79	0.81	0.82
		BOGP	0.82	0.83	0.83	0.83	0.81	0.78	0.80	0.80
LSTM	SVM	GS	0.88	0.85	0.86	0.91	0.86	0.84	0.84	0.86
		RS	0.90	0.85	0.87	0.93	0.87	0.84	0.86	0.86
		BOGP	0.89	0.83	0.86	0.91	0.87	0.83	0.85	0.85
	RF	GS	0.86	0.81	0.83	0.88	0.85	0.83	0.85	0.84
		RS	0.87	0.81	0.81	0.89	0.86	0.82	0.84	0.85
		BOGP	0.86	0.82	0.84	0.88	0.86	0.81	0.85	0.84
	LR	GS	0.87	0.81	0.84	0.88	0.84	0.80	0.83	0.81
		RS	0.88	0.82	0.86	0.89	0.85	0.80	0.82	0.83
		BOGP	0.87	0.82	0.83	0.87	0.84	0.81	0.82	0.82
	NB	GS	0.85	0.82	0.84	0.86	0.83	0.81	0.82	0.81
		RS	0.86	0.81	0.83	0.87	0.83	0.82	0.83	0.82
		BOGP	0.85	0.82	0.83	0.86	0.83	0.81	0.82	0.81
BiLSTM	SVM	GS	0.87	0.86	0.87	0.85	0.86	0.80	0.82	0.82
		RS	0.87	0.85	0.88	0.86	0.87	0.83	0.85	0.83
		BOGP	0.87	0.85	0.86	0.85	0.86	0.82	0.82	0.82
	RF	GS	0.85	0.86	0.86	0.84	0.83	0.83	0.85	0.81
		RS	0.86	0.85	0.87	0.85	0.84	0.81	0.84	0.82
		BOGP	0.85	0.83	0.85	0.85	0.84	0.83	0.83	0.81
	LR	GS	0.82	0.83	0.83	0.83	0.83	0.81	0.81	0.82
		RS	0.83	0.84	0.85	0.85	0.83	0.80	0.80	0.83
		BOGP	0.83	0.84	0.84	0.83	0.83	0.82	0.82	0.82
	NB	GS	0.84	0.81	0.82	0.82	0.81	0.83	0.81	0.81
		RS	0.84	0.83	0.84	0.83	0.82	0.82	0.84	0.82
		BOGP	0.85	0.82	0.83	0.82	0.81	0.81	0.85	0.81
GRU	SVM	GS	0.82	0.82	0.85	0.81	0.81	0.78	0.79	0.79
		RS	0.82	0.84	0.82	0.82	0.82	0.79	0.81	0.80
		BOGP	0.82	0.81	0.83	0.81	0.81	0.78	0.82	0.79
	RF	GS	0.80	0.79	0.80	0.79	0.77	0.79	0.78	0.78
		RS	0.81	0.79	0.81	0.80	0.77	0.79	0.80	0.79
		BOGP	0.80	0.79	0.79	0.79	0.78	0.78	0.79	0.78
	LR	GS	0.81	0.82	0.80	0.80	0.79	0.82	0.79	0.80
		RS	0.82	0.82	0.83	0.81	0.80	0.81	0.82	0.81
		BOGP	0.82	0.80	0.81	0.80	0.79	0.82	0.78	0.80
	NB	GS	0.79	0.77	0.79	0.79	0.78	0.80	0.82	0.78
		RS	0.80	0.78	0.79	0.80	0.79	0.78	0.80	0.79
		BOGP	0.79	0.77	0.78	0.79	0.78	0.79	0.80	0.78
CV (Baseline)⁸	LR	-	0.84	0.84	0.97	0.90	0.84	0.69	0.82	0.75

Bold values shows the best scores for each evaluation metric.

Back to article page

Table 6 Results obtained using hybrid models with parameter optimization on HS-RU-20 corpus.

Search

Quick links