L’évaluation manuelle de Bilbo concerne le premier corpus d’exemples. Pour rappel, nous avons prélevé pour ce corpus, des références bibliographiques situées, dans l’article, dans une rubrique intitulée “Bibliographie”, et nous avons annotés chaque élément de la référence en XML TEI. Par exemple :

<bibl><author><surname>Arcelin</surname>, <forename full=”init”>P.</forename></author><c type=”comma”>,</c><author><surname>Congès</surname>, <forename full=”init”>G.</forename></author> et <author><surname>Willaume</surname>, <forename full=”init”>M.</forename></author><c type=”comma”>,</c> <edition><date>1990</date></edition><c type=”point”>.</c> <title level=”m”>Compte-rendu des recherches archéologiques à Entremont (1988-1989)</title><c type=”comma”>,</c> <distributor>ministère de la Culture et de la communication (sous-direction de l’Archéologie)</distributor><c type=”point”>.</c></bibl>

Les différentes expérimentations menées par le LIA ont permis de développer un modèle CRF dont l’annotation automatique va être expertisée. Trois fichiers ont été créés pour cette évaluation : un fichier des données d’apprentissage, un sur les données tests issues de l’annotation manuelle et un dernier sur les données du test d’estimation de Bilbo.

Trois phases d’évaluation sont prévues :

• évaluer le résultat d’estimation
• corriger les données du test ayant servi pour l’estimation
• corriger les données d’apprentissage qui ont servi à l’apprentissage du modèle CRF

Cette évaluation est faite par l’annotateur manuel qui pourra relever d’une part les “patterns de mal annotation” et d’autre part vérifier la complétude des données des différents fichiers, mais aussi noter les idées qui pourront améliorer les performances du système.