Word Meaning Representation in Neural Language Models : Lexical Polysemy and Semantic Relationships ; Représentation du sens des mots dans les modèles de langue neuronaux : polysémie lexicale et relations sémantiques
Titel:
Word Meaning Representation in Neural Language Models : Lexical Polysemy and Semantic Relationships ; Représentation du sens des mots dans les modèles de langue neuronaux : polysémie lexicale et relations sémantiques
Anmerkungen:
Diese Datenquelle enthält auch Bestandsnachweise, die nicht zu einem Volltext führen.
Beschreibung:
Les plongements de mots générés par les modèles de langue neuronaux encodent des informations riches sur la langue et le monde. Dans cette thèse, nous étudions les connaissances sur le sens des mots encodées dans ces plongements lexicaux et proposons des méthodes automatiques pour en améliorer la qualité. Nous nous concentrons principalement sur les modèles contextuels qui génèrent des représentations capturant le sens d'occurrences de mots en contexte. Ces modèles ont dominé les domaines du Traitement Automatique des Langues (TAL) et de la linguistique computationnelle, et ouvrent de nouvelles possibilités intéressantes pour la recherche en sémantique lexicale. L'axe central de notre recherche est l'exploration des connaissances sur la polysémie lexicale encodées dans des modèles de plongements de mots. Nous accédons à ces connaissances par le biais d'expériences qui mesurent la similarité entre usages de mots, et en s'appuyant sur des annotations de substituts automatiquement attribuées par les modèles à des occurrences de mots en contexte. Nous étudions les représentations produites par les modèles sous leur forme brute, et explorons l'impact de leur enrichissement avec des connaissances sémantiques externes sur leur qualité. Nous évaluons les représentations intrinsèquement sur les tâches d'estimation de la similarité d'usages, de prédiction de la clusterabilité des sens des mots et de leur niveau de polysémie. De plus, nous utilisons des représentations contextualisées pour détecter des relations sémantiques entre les mots, plus spécifiquement en abordant l'intensité relative des adjectifs scalaires. Dans une perspective d'interprétation, nous étudions les connaissances que les modèles encodent sur les propriétés des substantifs telles qu'elles sont exprimées dans leurs modifieurs adjectivaux, ainsi que les propriétés d'implication caractérisant les constructions adjectif-substantif. Nos expériences explorent un large éventail de modèles contextualisés que nous comparons à des modèles qui génèrent des ...