Blog d'un jeune chercheur en TAL

Installation d’Eclipse

Pour Debian Squeeze, Eclipse Helios n’est pas encore packagée. Je métais contenté de Galileo jusqu’à maintenant mais Subclipse a, pour une raison que je n’arrive toujours pas à m’expliquer, cessé de fonctionner. Après multiples vaines tentatives de retrouver un environnement de travail fonctionnel, j’ai aboutit à Eclipse Helios + Subclipse.

J’ai choisi d’installer Eclipse dans mon home, l’installation dans /opt ou un autre répertoire pour lequel mon utilisateur n’a pas les droits d’écriture s’étant avéré, encore une fois, problématique. Pour l’installation, rien de bien sorcier :

1. On récupère l’archive qui va bien sur le site d’Eclipse
2. On décompresse dans son répertoire personnel : tar -czvf eclipse-java-helios-linux-gtk-x86_64.tar.gz -C ~/

Suite à mes nombreuses expérimentations sans succès, je me suis permis de modifier plusieurs variables de configuration dans le eclipse.ini de sorte qu’il ressemble désormais à ça :

-startup
plugins/org.eclipse.equinox.launcher_1.1.0.v20100507.jar
--launcher.library
plugins/org.eclipse.equinox.launcher.gtk.linux.x86_64_1.1.0.v20100503
-product
org.eclipse.epp.package.java.product
--launcher.defaultAction
openFile
-showsplash
org.eclipse.platform
--launcher.XXMaxPermSize
256m
--launcher.defaultAction
openFile
-debug
-consoleLog
-vm
/usr/lib/jvm/java-6-sun/bin/java
-vmargs
-Dosgi.requiredJavaVersion=1.5
-XX:MaxPermSize=256m
-Xms40m
-Xmx384m
-Djava.net.preferIPv4Stack=true
-Djava.library.path=/usr/lib/jni

Les éléments les plus importants étant :

• -debug et -consoleLog pour afficher plein de jolis messages d’information lorsqu’on lance l’application depuis une console ;
• -vm /usr/lib/jvm/java-6-sun/bin/java qui indiquer à Eclipse d’utiliser la JVM de Sun pour son exécution ;
• -Djava.net.preferIPv4Stack=true pour parer ce petit problème ;
• -Djava.library.path=/usr/lib/jni pour indiquer à la JVM où aller regarder pour les bibliothèques natives.

Ce dernier point est le plus important, il est nécessaire pour la détection correcte de javaHL par la suite.

Installation de Subclipse

Un truc vraiment sympa avec Eclipse Helios c’est l’apparition du Eclipse Marketplace !

Pour le lancer : Help > Eclipse Marketplace ...

1. Sélectionnez l’Eclipse Marketplace. Il est possible que l’installation fonctionne également avec le catalogue de Yoxos, mais je ne l’ai pas testé.
2. Dans le champs de recherche, tapez Subclipse
3. Dans la liste des résultats, sous l’entrée Subclipse, cliquez sur Install
4. ... le reste suit la procédure habituelle d’installation de paquets, conservez toutes les entrées proposées.

Lorsque l’installation est terminée et avant de redémarrer Eclipse, vous devez installer la partie native de JavaHL. Pour ce faire, sous Debian Squeeze :

sudo aptitude install libsvn-java

Vérifiez bien que vous avez indiqué à la JVM comment accéder aux librairies natives : entrée -Djava.library.path=/usr/lib/jni dans le eclipse.ini

Vous pouvez désormais relancer Eclipse. Faites un clique-droit dans l’explorateur de projets, puis un Import. Vous devriez voir apparaître dans la liste un dossier SVN contenant une entrée Checkout Projects from SVN... vous n’avez plus qu’à suivre les instructions.

Je viens tout juste de quitter Ubuntu qui commençait sérieusement à m’agacer avec ses versions pas vraiment finies et ses mises-à-jour de version qui plantent tout. Alors je suis revenu sous la distribution reine : Debian.

Le premier petit accroc que je viens de rencontrer concerne le lancement de l’outil update-manager. Lorsque que je le lance à partir de ma zone de notification, il m’invite à taper mon mot de passe afin de passer root et de s’exécuter, puis se crache lamentablement avec un Failed to run update-manager as user root, suivi d’un petit Failed to communicate with gksu-run-helper.

Le problème vient de l’utilisation de su pour l’authentification, il suffit de le remplacer par sudo. Pour ce faire :

1. Lancez l’outil de configuration gksu-properties (à partir d’une console)
2. Placez l’entrée Authentication mode sur sudo
3. Fermez, c’est corrigé :)

Je ne sais pas si c’est un problème dû à quelques fichiers de configurations restant d’Ubuntu dans mon home, mais c’est un peu gênant. Il faudrait peut-être le remonter aux développeurs Debian.

Lorsque l’on travaille avec Apache UIMA et que l’on ajoute un nombre important d’annotations, il arrive un moment où l’on va vouloir filtrer certaines de ces annotations en fonction d’autres. Ainsi, assez couramment on éprouve le besoin de devoir récupérer des annotations qui couvrent la même zone de texte qu’une autre. Par exemple :

• récupérer les mots contenus dans une phrases ;
• récupérer les paragraphes dans un document ;
• …

Il y a au moins deux approches dans Apache UIMA qui permettent de répondre à ce besoin : le subiterator et le FSMatchConstraint.

In this post, I compiled and distributed a corpus of the speeches of Nicolas Sarkozy (President of the Republic of France). Since then, the president pronounced new speeches. I completed the corpus in consequence.

Il y a quelques temps j’avais écrit une documentation en interne dans mon laboratoire sur l’utilisation du ’’CAS Editor’’. À l’époque c’était assez éprouvant car ce dernier se présentait sous la forme d’une application RCP Eclipse.

Depuis la version 2.3.0, le CAS Editor a été intégré sous la forme d’un plugin Eclipse. L’occasion de remettre la doc au goût du jour et de la partager avec le reste du monde.

La création de composants UIMA permettant d’accéder et tirer parti de Wikipédia offrirait de nouvelles perspectives au traitement des langues en offrant un accès aisé à cette formidable ressource que représente l’encyclopédie libre. Je compte m’atteler à la création de tels composants et vais tâcher de publier plusieurs billets décrivant ma démarche en cours.

Voici le cinquième billet, plus orienté technique de développement, qui discute de la gestion du projet avec Maven, permettant notamment de gérer automatiquement les dépendances à MWDumper et à Wikimodel.

Wikipedia est une incroyable source d’information, de données et plus généralement d’actes langagiers (utilisation du langage). Ce dernier point est très important pour nous autres chercheurs en traitement automatique des langues. En effet, nous avons besoin d’observer de très nombreux exemples d’utilisation du langage, que ce soit de manière automatique ou manuelle. Pour ce faire, nous compilons de vastes exemples d’utilisation du langage sous forme de corpus.

La création de composants UIMA permettant d’accéder et tirer parti de Wikipédia offrirait de nouvelles perspectives au traitement des langues en offrant un accès aisé à cette formidable ressource que représente l’encyclopédie libre. Je compte m’atteler à la création de tels composants et vais tâcher de publier plusieurs billets décrivant ma démarche en cours.

Voici le quatrième billet qui discute de l’analyse syntaxique du contenu des pages wiki pour la suppression des balises Wiki.

Wikipedia est une incroyable source d’information, de données et plus généralement d’actes langagiers (utilisation du langage). Ce dernier point est très important pour nous autres chercheurs en traitement automatique des langues. En effet, nous avons besoin d’observer de très nombreux exemples d’utilisation du langage, que ce soit de manière automatique ou manuelle. Pour ce faire, nous compilons de vastes exemples d’utilisation du langage sous forme de corpus.

La création de composants UIMA permettant d’accéder et tirer parti de Wikipédia offrirait de nouvelles perspectives au traitement des langues en offrant un accès aisé à cette formidable ressource que représente l’encyclopédie libre. Je compte m’atteler à la création de tels composants et vais tâcher de publier plusieurs billets décrivant ma démarche en cours.

Voici le second billet qui discute du chargement d’un dump XML de l’encyclopédie libre et la distribution du contenu sous forme de CAS.

L’annonce est parue hier sur les listes concernées, la nouvelle version du framework Apache UIMA (Unstructured Information Management Architecture) est sortie, estampillée 2.3 !

Dans ce billet, j’avais décrit une méthode permettant de créer un miroir local de Wikipédia dans une base PostgreSQL. Plus précisément, la démarche fonctionnait pour Wikinews en tant que super-utilisateur postgres, mais je ne pouvais pas aller plus en avant étant donné que mon serveur ne possédait pas assez d’espace pour accueillir un miroir Wikipédia.

Heureuse nouvelle, mon laboratoire a fait l’acquisition d’un énorme serveur (24 cœurs Xeon à 2,6GHz, 200Go de RAM, et 1,5To d’espace disque) sur lequel j’ai pu expérimenter la création d’un réel miroir Wikipédia qui plus est sur un serveur sur lequel je ne suis pas administrateur... impossible donc de passer super-administrateur de la base !