ON COUNTING MEANINGFUL UNITS IN TEXTS

Maurice Gross (1)

1 LADL - Laboratoire d'automatique documentaire et linguistique

We analyse a sample text. By identifying compounds and other sequences of words between which strong dependencies hold, we embed simple words that have no meaning by themselves into larger units that do carry specific meaning. Hence, the counts of simple words, and those of the units marked by our method become quite different. The analysis presented is operational to a large extent.

L'analyse syntaxique automatique, première étape d'une procédure d'interprétation fine des textes par ordinateur, a recours à des outils comme les grammaires et les dictionnaires. Ces outils, tels qu'ils sont actuellement disponibles, ne sont pas suffisants. Ils doivent en effet prendre une forme électronique qui impose des révisions majeures de leur forme et contenu. Nous présentons une méthodologie linguistique qui a permis de construire des outils électroniques à large couverture des langues. Ces nouveaux outils mettent en évidence des unités linguistiques signifiantes, ce qui conduit à une modification substantielle de l'analyse du contenu des textes.

Keywords: Electronic dictionaries; Electronic Grammars; Parsing; Compound Words; Units of Meaning; Corpus Analysis

Keywords: dictonnaire électronique; grammaire électronique; analyse syntaxique; mot composé; unité de sens; analyse de corpus

Domains: Linguistics; Document and Text Processing

Maurice Gross. ON COUNTING MEANINGFUL UNITS IN TEXTS. JADT, 1995, Rome, Italy. pp.5-18. ⟨halshs-00278312⟩