Evaluation des traductions automatiques en français des titres de presse japonais.
Résumé
The primary purpose of this exploratory study is to provide a general assessment of the performances of Japanese-to-French machine translation systems applied to Japanese newspapers headlines. The second purpose is to propose a reasonable quantitative objective to challenge. Japanese newspapers headlines are written using a very particular "sub-language" that differs from standard Japanese. To our knowledge, no system has been evaluated on this type of text for any target language. In this study, we evaluated translations of a small corpus of 350 headlines made using popular translation systems and compared the results with two human translations for each headline. In accordance with a human intuitive evaluation, BLEU scores are very low. They are even lower than a pessimistic estimation. We assume then that it should be easy to obtain better results.
Le premier objectif de cette étude exploratoire est de proposer une vue d'ensemble des performances des traducteurs automatiques du japonais vers le français, appliqués à la traduction des titres de presse en ligne. Le second objectif est de proposer un objectif raisonnable à atteindre, compte tenu de l'état de l'art. Les titres de presse japonais sont écrits dans un " sous-langage " différent du japonais standard. A notre connaissance, aucun système n'a été évalué sur ce type de texte, quelle que soit la langue cible. Dans cette étude, nous évaluation les traductions de 350 titres fournis par des systèmes de traduction grand publics et comparons chaque traduction à deux traductions humaines pour chaque article. Conformément à l'intuition, les scores BLEU sont très faibles, et même plus faibles que les estimations les plus pessimistes. Nous montrons qu'il y aurait moyen, à peu de frais, d'obtenir de meilleurs résultats.
Origine : Fichiers produits par l'(les) auteur(s)