Cette évaluation concerne le deuxième corpus d’apprentissage de Bilbo sur les références bibliographiques situées dans les notes de bas de page et qui conservent un aspect normé comme les références du premier corpus¹. Les fichiers d’apprentissage et d’estimation contiennent 364 notes de bas de page incluant chacune 1 à 4 références.

Nous n’avons pas mis en place une évaluation comme celle du premier corpus. Nous avons élaboré une évaluation en deux temps :

• vérifier l’annotation du résultat d’estimation (références annotées automatiquement) et repérer les références non annotée dans les <nonbibl> (parties de texte se situant avant ou après la/les références)
• corriger les données du fichier d’apprentissage (références annotées manuellement).

Première phase : vérification de l’annotation du résultat d’estimation

Nous avons relevé les notes où les références sont parfaitement, partiellement ou mal annotées².

Nous constatons que  :

• 186 notes sont parfaitement annotées
• 164 notes sont partiellement annotées
• 5 notes sont mal annotées
• 9 notes ont été annotées comme comportant des références bibliographiques

Dans l’ensemble, l’annotation automatique a été très correcte mais quelques erreurs relevées dans la précédente évaluation persistent :

• sur l’auteur:
  • inversion des noms et prénoms des auteurs
  • une mauvaise annotation de l’auteur
• sur le titre des articles/chapitres et le titre des revues/ouvrages:
  • une confusion dans l’annotation des titres en <title> et <booktitle>
  • une partie du titre est seulement annotée
  • un mauvais découpage du titre qui peut se trouver annoté avec une autre balise
• sur l’éditeur:
  • quand les éditeurs comprennent des noms et prénoms (ex : JB Lippincott Company), ils sont généralement annotés en <forename> et <surname>)
  • des éléments de l’éditeur annotés avec d’autres balises

Parmi les notes comportant des balises <nonbibl>, nous pouvons constater que 42 notes ont des références partiellement ou mal annotées :

• soit le ou les auteurs n’ont pas été repérés dans le texte
• soit le ou les auteurs avec une partie ou la totalité du titre n’ont pas été annotés mais le reste de la référence (partie du titre de l’article ou revue ou ouvrage, le lieu, la date, les pages, l’éditeur) a été annoté
• soit le ou les auteurs avec une partie ou la totalité du titre ont été annotés mais pas le reste de la référence
• soit un élément de la référence n’a pas été annoté dans le <nonbibl>

 Généralement, il s’agit d’un mauvais découpage de la référence.

Deuxième phase : correction des données d’apprentissage

Comme dans la première évaluation, nous avons corrigées les données du test d’apprentissage. En effet, nous avons constatés des erreurs dans l’annotation manuelle, des oublis d’annotation ou un mauvais découpage de la référence.

1. Pour rappel, nous renvoyons nos lecteurs au tableau de concordance des balises entre l’annotation manuelle et automatique (ici) et à la précédente évaluation (ici). [↩]
2. voir http://bilbo.hypotheses.org/243 [↩]

Comme nous avons pu l’observer pour le premier et deuxième corpus, la plateforme Revues.org compte plus de 300 revues qui, en fonction des disciplines scientifiques, présentent des styles bibliographiques particuliers. Pour ce troisième corpus, le style bibliographique importe peu car nous nous appuyons sur le troisième niveau de difficulté, les références imbriquées dans du contenu. Nous avons fait le choix de représenter dans ce corpus d’apprentissage, des références présentes dans le texte, mais aussi des références qui sont en partie dans le texte et dans les notes de bas de page, et des références présentes entre parenthèses.

Nous avons, à partir des observations, constituer deux sous-groupes :

• un groupe de 553 références bibliographiques implicites.
• un groupe de 449 références particulières entre parenthèses comme : (auteur, date) ou (auteur, date : pages) qui sont des renvois à des références situées dans la partie bibliographie de l’article.

Nous avons complété cette nouvelle base d’apprentissage par des fichiers XML issus du deuxième corpus qui présentaient des références implicites (43 références au total).

Exemple 1 :

<bibl><author><surname>Gipi</surname></author>, surtout après qu’il a remporté à Angoulême le prix du meilleur album de l’année <date>2005</date> pour <title level=”m”><hi rend=”italic”>Notes pour</hi> <hi rend=”italic”>une histoire de guerre. </hi></title></bibl>

Exemple 2 :

<hi rend=”italic”><title level=”m”>Extérieur nuit</title> </hi>est un exemple remarquable de cette esthétique : il<hi rend=”italic”> </hi>s’agit d’un recueil de récits courts parus en <pubPlace>Italie</pubPlace> chez <publisher>Coconino Press</publisher> en <date>2003</date>, puis <edition>réimprimés</edition> en <date>2005</date></bibl>

Nous pouvons noter que dans l’usage des références bibliographiques, les auteurs privilégient les références courtes et entre parenthèses qui permettent un renvoi à la partie bibliographie de l’article, ce qui nous a conduit à créer un deuxième sous-groupe dans ce troisième corpus et à réaliser des liens entre ces références. Nous avons attribué un identifiant unique à chaque référence bibliographique :

<bibl> @xml :id= “nom de (des) auteurs + date“

Puis nous avons créé des liens entre les références en utilisant :

<link> @target=“xml :id “

Ce qui nous donne par exemple :

• Pour la référence courte :

<c type=”parenthesis_left”>(</c><bibl><author><surname>Zérah</surname></author><c type=”comma”>,</c><date>2005</date><c type=”colon”>:</c><biblScope type=”pp”>177</biblScope><link target=”zerah2005″/></bibl><c type=”parenthesis_right”>)</c>

• Pour la référence longue (non annotée mais attribution d’un identifiant) :

<bibl xml:id=”zerah2005″>Zérah Marie-Hélène (2005), « Enjeux d’eau en Inde. Des effets allocatifs et redistributifs complexes entre usagers et territoires », <hi rend=”italic”>Sciences de la société</hi>, n°64, février, pp. 174-193.</bibl>

Pour la constitution de ce nouveau corpus, nous avons dû nous poser plusieurs questions sur l’identification et l’annotation de références implicites (notamment pour le premier sous-groupe). Il nous a fallu dans un premier temps, identifier les éléments importants qui composent une référence bibliographique (du plus important au moins important) :

• le titre
• le ou les auteurs
• la date
• le lieu et la maison d’édition

La question de l’importance des éléments d’une référence bibliographique peut paraitre simple mais elle est nécessaire car elle permet de maintenir une certaine cohérence  dans le repérage des références avec les balises <bibl> et dans son annotation. En effet, la question posée de manière implicite est celle de savoir à partir de combien d’éléments une référence est considérée comme bibliographique et quels sont les éléments qui font d’elle une référence. Autrement dit, le titre d’un article ou d’un ouvrage est suffisant pour lancer une recherche dans un moteur de recherche, et les éléments comme auteur, date, lieu et maison d’édition viennent préciser la recherche. Alors qu’une recherche à partir de l’auteur serait  inefficace par exemple.

Ce corpus pose une autre question, quand débute et quand finit une référence bibliographique implicite ? Cette question est importante car de nombreuses difficultés sont apparus dans le repérage des références. En effet, nous pouvons observer que les références peuvent se trouver à deux endroits, d’une part dans le corps du texte, d’autre part à cheval entre le texte et la note de bas de page. Le problème devient plus complexe quand le nom de l’auteur se situe deux à trois lignes au-dessus ou en-dessous du titre de l’ouvrage ou de l’article. Nous avons fait le choix, dans ce cas de considérer qu’une référence commence au premier élément bibliographique (auteur, titre, etc.) jusqu’à la dernière indication bibliographique (date, page, ou autre marque de publication).

L’évaluation de Bilbo a permis de mettre en place une méthodologie basée sur la comparaison entre l’annotation manuelle et l’annotation automatique des données avec deux objectifs primordiaux, d’une part la vérification de la complétude des données du test et d’apprentissage, d’autre part le repérage des patterns de mal annotation automatique.

Nous avons pu observer que 35% des données du test ont été parfaitement annotées par Bilbo et que 58% ont été annotées partiellement (entre une et trois erreurs dans l’annotation automatique). Dans cette première phase, nous avons pu relever quel type d’erreurs revenait le plus souvent (voir la Partie 1). La seconde et la troisième phase portaient sur la vérification et la correction des labels des différents tokens. Cette vérification de la complétude des données a permis de clarifier les données .

Il ressort de cette évaluation plusieurs points :

• il serait intéressant de tester les données afin de rendre compte de l’impact des erreurs sur la capacité à retrouver des références à partir de CrossRef

• nous avons aussi noté des idées pour améliorer la performance du système :
• à la place de certains <biblscope>, nous pourrions utiliser :
• <pages> pour <biblScope type= “pp“> (les pages d’un article)
• <issue> pour <biblScope type=“issue“> (numéro de revues)
• <volume> pour <biblScope type=“vol“> (volume d’un ouvrage)
• revoir les <title> :
• <articletitle> pour les articles
• <booktitle> pour les ouvrages
• <journaletitle> pour les revues ou les journaux
• <collectiontitle> pour les titres de collection

Nous présentons les résultats sur la vérification des données du test et des données d’apprentissage. Selon les recommandations du LIA, dans cette deuxième et troisième phase d’évaluation, nous devons corriger les labels des tokens mal annotés, de remplacer des labels avec inconsistance et de remplacer des labels non indispensables dans l’annotation de la référence par d’autres, quand cela est possible.

Différentes corrections ont été portées aux deux types de données :

• le label <title> indique le titre principal dans la référence bibliographique et le label <booktitle> est utilisé pour les titres d’ouvrages ou de revues qui contiennent l’article ou pour les titres qui sont situés dans une inclusion
• les abréviations ont été corrigées quand elles présentaient <nolabel>
• les termes pour <bookindicator> ont été étendus pour « dans » et « en »
• le remplacement des termes :
  • l’élément associé à <nameLink> est désormais associé à <surname>
  • l’élément associé à <region> est devenu <place>
  • l’élément associé à <ref> est devenu <édition>
  • l’élément <name> (utilisé pour indiquer les traducteurs ou directeurs de travaux universitaires) a fait place aux labels traditionnels <forename> et <surname>
  • la correction des données en fonction des correctifs portés par Bilbo et des erreurs relevées au cours de la première phase d’évaluation
  • la suppression de séparation entre la première lettre et les autres lettres du nom de famille de l’auteur
  • l’utilisation du label <date> même pour les références ayant une double date correspondant aux différentes périodes de publication
  • pour les travaux universitaires, le titre principal est laissé en <title> et le titre secondaire est annoté en <booktitle>
  • les titres de collection ou de série sont annotés en <booktitle>

Les corrections sur les données du test et les données d’apprentissage ont permis d’apporter plus de clarté à l’annotation, de corriger les erreurs et de remplacer les termes inadéquates par d’autres labels.

Pour cette première phase d’évaluation, nous allons vérifier comment le modèle CRF développé sur le premier corpus a annoté les références bibliographiques. Nous pouvons d’abord observer que les éléments ayant permis l’annotation des références ont été simplifiés pour l’apprentissage de Bilbo (voir l’article Revision to the learning and test data).

Afin de relever les erreurs d’annotation de Bilbo, nous avons opéré un classement de ces annotations en trois catégories :

Nous avons évalué 215 références bibliographiques du test sur les 715 du premier corpus réparties selon les catégories cités :

À la suite de cette première constatation, nous avons relevé chaque type d’erreur classé selon cinq grandes familles correspondant aux éléments importants d’une référence bibliographique :

• “Auteur” qui regroupe les labels <forename>, <surname> et <orgname>
• “Titre” avec <title> et <booktitle>
• “Marques de publication” qui correspondent aux labels <date>, <publisher>, <place>, <biblscope>, <bookindicator> et <extent>
• “Ponctuations et abréviations” pour les labels <c> et <abbr>
• “Autres” pour les labels qui n’entrent dans aucune de ces catégories

La répartition de ces erreurs sur les “références annotées partiellement” donnent le diagramme suivant :

À partir des observations du résultat des données d’estimation, on peut dresser une typologie des erreurs faites par Bilbo :

• Pour « Auteur » :

• Les tokens normalement annotés par <surname>, <forename> se trouvent annotés soit par <place> (majorité des cas) soit par <name>
• Les tokens avec <orgname> ou <surname> sont annotés avec <publisher>
• Les tokens avec <orgname> ou quand il y a plusieurs auteurs sont annotés avec <title>
• Les labels <forename> et <surname> peuvent être inversés
• Un mauvais découpage entre le nom et le prénom de l’auteur voire la date affectée au nom ou au prénom

• Pour « Titre » :

• Une confusion dans l’annotation des titres entre <title> et <booktitle>
• Un mauvais découpage du titre qui peut se trouver annoté avec un autre label
• Les tokens avec <title> ou <booktitle> peuvent être annotés avec <place> ; <publisher> ; <biblScope> ; <surname> ou <forename>
• Les dates dans les titres se retrouvent annotées avec <date>

• Pour « Marques de publication » :

• Une confusion dans l’annotation des tokens entre <place> et <publisher>
• Les tokens avec <publisher> sont annotés avec <title>
• Des difficultés dans l’annotation des chiffres (date, numéro de volume, nombre de pages), les tokens avec <biblScope> le sont avec <date>, <edition>, <extent>
• Un mauvais découpage entre les éléments d’une référence

• Pour « Ponctuations et Abréviations » :

• Les tokens avec <abbr> sont annotés en <nolabel>
• Mauvais découpage entre les éléments d’une référence

• Pour les « autres » :

• Les tokens avec <nolabel> sont annotés avec un autre label
• Confusion pour les tokens chiffrés avec <edition> qui sont annotés avec une autre balise

Parmi les 7% de références présentant des confusions dans l’annotation automatique, on peut signaler comme principaux problèmes :

• L’inclusion d’une référence dans une autre se trouve être mal annotée
• Le mauvais découpage entre les éléments d’une référence qui entraine une mauvaise annotation
• La mauvaise annotation de la référence bibliographique

Dans la prochaine évaluation, il s’agira de corriger les données du test qui ont été annotées manuellement et de remplacer les labels de la catégories <Autres> par un des autres labels.

L’évaluation manuelle de Bilbo concerne le premier corpus d’exemples. Pour rappel, nous avons prélevé pour ce corpus, des références bibliographiques situées, dans l’article, dans une rubrique intitulée “Bibliographie”, et nous avons annotés chaque élément de la référence en XML TEI. Par exemple :

<bibl><author><surname>Arcelin</surname>, <forename full=”init”>P.</forename></author><c type=”comma”>,</c><author><surname>Congès</surname>, <forename full=”init”>G.</forename></author> et <author><surname>Willaume</surname>, <forename full=”init”>M.</forename></author><c type=”comma”>,</c> <edition><date>1990</date></edition><c type=”point”>.</c> <title level=”m”>Compte-rendu des recherches archéologiques à Entremont (1988-1989)</title><c type=”comma”>,</c> <distributor>ministère de la Culture et de la communication (sous-direction de l’Archéologie)</distributor><c type=”point”>.</c></bibl>

Les différentes expérimentations menées par le LIA ont permis de développer un modèle CRF dont l’annotation automatique va être expertisée. Trois fichiers ont été créés pour cette évaluation : un fichier des données d’apprentissage, un sur les données tests issues de l’annotation manuelle et un dernier sur les données du test d’estimation de Bilbo.

Trois phases d’évaluation sont prévues :

• évaluer le résultat d’estimation
• corriger les données du test ayant servi pour l’estimation
• corriger les données d’apprentissage qui ont servi à l’apprentissage du modèle CRF

Cette évaluation est faite par l’annotateur manuel qui pourra relever d’une part les “patterns de mal annotation” et d’autre part vérifier la complétude des données des différents fichiers, mais aussi noter les idées qui pourront améliorer les performances du système.

Au cours de notre travail d’annotation des références, nous avons pu constater que la plateforme Revues.org présente une infinité de difficultés dans la localisation des références et une grande variété dans le style bibliographique.

Toujours dans notre travail d’annotation des fichiers XML issus de cette plateforme, et afin d’alimenter la base de connaissance de Bilbo sur de nouveaux critères, nous avons travaillé sur le second niveau de complexité des références bibliographiques, celles situées dans les notes de bas de page tout en restant stylées.

Le travail qui a été demandé par le LIA a été de repérer uniquement les références bibliographiques à l’aide de la balise <bibl> sans les annoter comme dans le premier corpus. En effet, dans le cadre de ce nouveau corpus, les références bibliographiques ne sont pas balisées dans la sortie TEI des articles. Nous devons par ailleurs relever les éléments qui indiquent la présence d’une référence dans la note de page.

Il faut cependant noter que, dans ce genre de texte, les références bibliographiques présentent des particularités, notamment, de pratiquer des renvois à une référence située dans une note au-dessus ou au-dessous d’elle (supra, infra, ibid., etc.). Dans ce cas, nous avons attribué un identifiant XML #id unique afin de mettre en valeur les liens dans le document.

Comme pour le premier corpus, nous avons prélevé au hasard 29 revues selon un échantillonnage stratifié en prenant comme critère de stratification la discipline scientifique et nous avons extrait 30 articles.

Le corpus est ainsi constitué :

• un premier groupe de 548 références bibliographiques stylées uniquement identifiées et localisées.
• un deuxième groupe de 212 références bibliographiques identifiées, localisées et qui pratiquent des renvois.
• un troisième groupe de 115 références bibliographiques auxquelles nous avons ajouté un identifiant.