Cette dernière réunion de l’année a permis de faire le point sur les avancées et sur les futures évolutions du programme de R&D Bilbo.

Jusqu’à maintenant, nous avons travaillé sur les modèles CRFs permettant d’annoter automatiquement les références bibliographiques présentes dans les articles de Revues.org. Une phase d’évaluation est prévue pour le deuxième corpus, en cours de développement actuellement. Pour le traitement du troisième corpus, les différentes techniques d’apprentissage statistique vont être appliquées parallèlement au modèle CRF. Il est aussi prévu, pour le début de l’année 2012, d’intégrer le système Bilbo dans la plateforme de Revues.org.

Plusieurs corpus vont être créés d’une part pour la détection des langues, d’autre part sur les comptes-rendus de lecture. Ce deuxième corpus est destiné à la création de liens externes. Comme la partie bibliographique du compte-rendu est souvent sous la forme d’une phrase ressemblant aux  références du corpus 1, nous pourrons tester la performance de la segmentation du système avec ce nouveau corpus.

Pour cette réunion du mois d’octobre, nous avons fait le point sur les avancées de Bilbo, des projets en cours et des possibilités de communication à son sujet.

La présentation de Bilbo, lors de l’atelier Enrichir des métadonnées – méthode manuelle et automatique à l’Université d’été du Cléo (12 au 16 septembre 2011), a été bien accueillie  par les participants, surpris des premiers résultats des tests de Bilbo, mais qui y ont vu un intérêt certain dans la recherche d’informations. Au vu de ces retours, nous avons décidé de présenter notre projet lors du prochain THATCamp de Paris (septembre 2012). Par ailleurs, Young-Min Kim exposera son travail lors du BooksOnline 2011 qui se tiendra le 24 octobre à Glasgow (un prochain billet reprendra cet évènement).

Au cours de cette réunion, une présentation-explication de l’avancée des travaux a été faite par les deux équipes, d’une part sur la constitution du troisième corpus (voir Les observations et Identification et annotation des références implicites), d’autre part sur les expérimentations menées sur les deux premiers corpus (voir notamment Les stratégies d’exploitation du corpus 2 et Les expériences sur le corpus 1).

De nouvelles pistes vont être explorées pour les mois à venir :

• le problème du multilinguisme dans les revues : il s’agira de signaler les différentes langues présentes sur l’ensemble des plateformes du Cléo afin de les prendre en compte dans la construction de Bilbo.
• les référentiels : la recherche d’une utilisation plus pertinente des référentiels pour améliorer le travail de détection de Bilbo.

Cette deuxième rencontre a permis de faire le point sur les résultats des expériences du premier corpus d’apprentissage de Bilbo, sur son évaluation et sur les futurs avancées du projet.

Après avoir présenté une synthèse des résultats sur le premier corpus (voir les billets postés à ce sujet), nous avons pu commencer l’évaluation qui se compose de trois étapes :

• vérifier l’annotation du résultat d’estimation en notant les patterns de mal-annotation automatique
• corriger l’annotation des données du test en vérifiant la complétude des données
• vérifier la complétude des données d’apprentissage

Lors de cette rencontre nous avons présenté les évaluations sur les données d’estimation qui feront, dans les prochains jours, l’objet de billets.

Cependant au vue de ce premier bilan, il serait intéressant d’analyser les erreurs des données d’estimation et voir leur impact sur la capacité à retrouver des références à partir de CrossRef. Il s’agira alors d’estimer les qualités de performance dans l’annotation automatique de Bilbo.

Des listes de référentiels devront être créées afin de désambiguïser Bilbo. Ces listes porteront sur  :

• les auteurs
• les noms des revues
• les noms des éditeurs
• les noms des villes et pays

Enfin, sur l’apprentissage de Bilbo, nous avons abordé la question de la constitution du troisième corpus qui s’appuiera sur le dernier niveau de difficulté, celui des références situées implicitement dans le texte, et, celles situées en partie dans le texte et dans les notes de bas de page. Il s’agira encore une fois de s’appuyer sur Revues.org et ce dernier corpus nécessitera sans doute l’apprentissage d’un nouveau modèle CRF.

Dans la seconde partie de cette rencontre, nous nous sommes fixés un planning afin d’implanter Bilbo dans OpenEdition. Il s’agira de créer une plateforme de test basée sur les résultats du premier et deuxième corpus et de la présenter à Google DH pour la période de novembre-décembre. Cette présentation s’accompagnera d’un nouveau texte qui traitera des avancés du projet entre juillet et septembre.

Cette première rencontre entre le Cléo et le LIA a été l’occasion de réunir les personnes participantes à la construction de Bilbo et de faire le point sur les avancés du projet qui a démarré le 15 mars.

Plusieurs points ont été abordés lors de cette réunion :

• les premiers résultats du LIA
• la phase d’évaluation de ces résultats
• présentation du système d’information de l’OpenEdition
• les consignes pour la constitution du deuxième corpus

Young-Min Kim, post-doctorante au sein du LIA et en charge de la construction de Bilbo, a présenté les résultats sur le premier corpus. Après avoir décrit les outils utilisés (logiciel Mallet et les CRF) et la méthode employée pour l’extraction des balises depuis les fichiers XML annotés, des difficultés sont apparues dans l’apprentissage, notamment sur la segmentation des références. À partir de ce constat, plusieurs expérimentations seront mises en place et feront l’objet de comptes rendus sur le carnet de recherche.

Il s’en suivra une phase d’évaluation de ces résultats par une analyse des fichiers. Il s’agira d’identifier les erreurs issus de l’algorithme, d’en extraire une typologie et de construire par la suite un nouveau corpus d’apprentissage. Cette phase vise aussi à estimer les objectifs de performance souhaités par le Cléo.

La présentation du système d’information de l’OpenEdition a permis, pour les participants du projet, de voir dans quel environnement va s’inscrire Bilbo et les fonctions attendues de cet outil.

Enfin, des consignes ont été données afin de préparer le deuxième corpus d’apprentissage. Contrairement au premier, où nous avons annoté de manière détaillé chaque élément des références bibliographiques, il s’agira ici de repérer les références stylées dans les notes de bas de page.