Parallélisation des réseaux de neurones récurrents pour la détection des messages haineux

Abstract

Les libertés d’expressions et d’opinions qu’apportent les réseaux sociaux sont très souvent des facteurs favorisant la diffusion des messages haineux. Les discours haineux constituent une menace pour la stabilité sociale et la paix car ils stimulent l’incitation à la discrimination, ce que le droit international interdit. Pour limiter les effets néfastes de ce fléau, l’on intègre très souvent aux plates-formes de réseaux sociaux des modèles fournis par des algorithmes de deep learning leur permettant de détecter et de réagir automatiquement à un message à caractère haineux. Une des particularités de ces algorithmes est qu’ils sont d’autant plus performant que la quantité de données utilisées est grande. Toutefois, l’exécution séquentielle de ces algorithmes sur des grandes quantités de données peut prendre un temps très élevé. Dans ce mémoire nous nous servons de trois variantes de réseau de neurones récurrents (RNN) pour effectuer la détection de messages haineux. Nous avons pour cela utilisé deux jeux données à savoir : un jeu de données obtenu en effectuant du scraping sur des pages facebook d’utilisateurs camerounais, et un notre obtenu sur la plate-forme Kaggle. Nous avons montré qu’un RNN de type Long Short Time Memory (LSTM) permet d’avoir de meilleurs performances métriques par rapport à un Gated Recurrent Unit (GRU) et un RNN standard, mais implique un temps d’exécution plus important. Pour avoir à la fois de bonnes performances métriques et un temps d’exécution réduit, nous avons procédé à une implémentation parallèle des algorithmes d’entraînement. Nous avons proposé une implémentation parallèle basée sur une stratégie de parallélisation sans agrégation en comparaison à l’approche existante qui est basée sur une stratégie avec fonction d’agrégation. Les résultats expérimentaux sur une machine de 8 coeurs à 2,20 GHz montrent qu’on obtient de meilleurs résultats avec la stratégie de parallélisation qui a été proposée. Notamment, pour l’implémentation parallèle d’un LSTM en utilisant le jeu de données obtenu sur Kaggle, l’on obtient une f-mesure de 0.70 et un speedup de 2,2 avec la stratégie d’implémentation sans agrégation, comparé à une f-mesure de 0,65 et un speedup de 2,19 avec celle effectuant une agrégation entre les unités de traitement.