L’évaluation de Bilbo a permis de mettre en place une méthodologie basée sur la comparaison entre l’annotation manuelle et l’annotation automatique des données avec deux objectifs primordiaux, d’une part la vérification de la complétude des données du test et d’apprentissage, d’autre part le repérage des patterns de mal annotation automatique.

Nous avons pu observer que 35% des données du test ont été parfaitement annotées par Bilbo et que 58% ont été annotées partiellement (entre une et trois erreurs dans l’annotation automatique). Dans cette première phase, nous avons pu relever quel type d’erreurs revenait le plus souvent (voir la Partie 1). La seconde et la troisième phase portaient sur la vérification et la correction des labels des différents tokens. Cette vérification de la complétude des données a permis de clarifier les données .

Il ressort de cette évaluation plusieurs points :

• il serait intéressant de tester les données afin de rendre compte de l’impact des erreurs sur la capacité à retrouver des références à partir de CrossRef

• nous avons aussi noté des idées pour améliorer la performance du système :
• à la place de certains <biblscope>, nous pourrions utiliser :
• <pages> pour <biblScope type= “pp“> (les pages d’un article)
• <issue> pour <biblScope type=“issue“> (numéro de revues)
• <volume> pour <biblScope type=“vol“> (volume d’un ouvrage)
• revoir les <title> :
• <articletitle> pour les articles
• <booktitle> pour les ouvrages
• <journaletitle> pour les revues ou les journaux
• <collectiontitle> pour les titres de collection