Soutenance de thèse d'Emanuela Boros

Emanuela Boros, ingénieur de recherche chez TEKLIA, soutiendra sa thèse de doctorat intitulée  “Méthodes neuronales pour l’extraction d’événements” le jeudi 27 Septembre à 14h, dans la salle de conférences du bâtiment 507 au LIMSI à Orsay.

Elle sera présentée en anglais devant le jury composé de :

Résumé

Du point de vue du traitement automatique des langues (TAL), l’extraction des événements dans les textes est la forme la plus complexe des processus d’extraction d’information, qui recouvrent de façon plus générale l’extraction des entités nommées et des relations qui les lient dans les textes. Le cas des événements est particulièrement ardu car un événement peut être assimilé à une relation n-aire ou à une configuration de relations. Alors que la recherche en extraction d’information a largement bénéficié des jeux de données étiquetés manuellement pour apprendre des modèles permettant l’analyse des textes, la disponibilité de ces ressources reste un problème important. En outre, de nombreuses approches en extraction d’information fondées sur l’apprentissage automatique reposent sur la possibilité d’extraire à partir des textes de larges en sembles de traits définis manuellement grâce à des outils de TAL élaborés. De ce fait, l’adaptation à un nouveau domaine constitue un défi supplémentaire.

Cette thèse présente plusieurs stratégies pour améliorer la performance d’un système d’extraction d’événements en utilisant des approches fondées sur les réseaux de neu rones et en exploitant les propriétés morphologiques, syntaxiques et sémantiques des plongements de mots. Ceux-ci ont en effet l’avantage de ne pas nécessiter une modélisation a priori des connaissances du domaine et de générer automatiquement un ensemble de traits beaucoup plus vaste pour apprendre un modèle.

Nous avons proposé plus spécifiquement différents modèles d’apprentissage profond pour les deux sous-tâches liées à l’extraction d’événements : la détection d’événements et la détection d’arguments. La détection d’événements est considérée comme une sous-tâche importante de l’extraction d’événements dans la mesure où la détection d’arguments est très directement dépendante de son résultat. La détection d’événements consiste plus précisément à identifier des instances d’événements dans les textes et à les classer en types d’événements précis.

En préalable à l’introduction de nos nouveaux modèles, nous commençons par présenter en détail le modèle de l’état de l’art qui en constitue la base. Des expériences approfondies sont menées sur l’utilisation de différents types de plongements de mots et sur l’influence des différents hyperparamètres du modèle en nous appuyant sur le cadre d’évaluation ACE 2005, standard d’évaluation pour cette tâche.

Nous proposons ensuite deux nouveaux modèles permettant d’améliorer un système de détection d’événements. L’un permet d’augmenter le contexte pris en compte lors de la prédiction d’une instance d’événement (déclencheur d’événement) en utilisant un contexte phrastique, tandis que l’autre exploite la structure interne des mots en profitant de connaissances morphologiques en apparence moins nécessaires mais dans les faits importantes. Nous proposons enfin de reconsidérer la détection des arguments comme une extraction de relation d’ordre supérieur et nous analysons la dépendance de cette détection vis-à-vis de la détection d’événements.


Abstract

With the increasing amount of data and the exploding number data  sources, the extraction of information about events, whether from the  perspective of acquiring knowledge or from a more directly operational  perspective, becomes a more and more obvious need. From the point of  view of Natural Language Processing (NLP), the extraction of events from  texts is the most complex form of Information Extraction (IE)  techniques, which more generally encompasses the extraction of named  entities and relationships that bind them in the texts. The event  extraction task can be represented as a complex combination of relations  linked to a set of empirical observations from texts. In practice, an  event is described by a trigger (the word or phrase that evokes the  event) and a set of participants in that event (that is, arguments or  roles) whose values are text excerpts.

This thesis presents several strategies for improving the performance of  an Event Extraction (EE) system using neural-based approaches exploiting  morphological, syntactic, and semantic properties of word embeddings.  These have the advantage of not requiring a priori modeling domain  knowledge and automatically generate a much larger set of features to  learn a model. More specifically, we proposed different deep learning  models for two sub-tasks related to EE: event detection and argument  detection and classification. Event Detection (ED) is considered an  important sub-task of event extraction since the detection of arguments  is very directly dependent on its outcome.

As a preliminary to the introduction of our proposed models, we begin by  presenting in detail a state-of-the-art model which constitutes the  baseline. In-depth experiments are conducted on the use of different  types of word embeddings and the influence of the different  hyperparameters of the model using the ACE 2005 evaluation framework, a  standard evaluation for this task.

We then propose two new models to improve an event detection system. One  allows increasing the context taken into account when predicting an  event instance (event trigger) by using a sentential context, while the  other exploits the internal structure of words by taking advantage of  seemingly less obvious but essentially important morphological  knowledge. We also reconsider the detection of arguments as a high-order  relation extraction and we analyze the dependence of arguments on the ED  task.