Blog d'un jeune chercheur en TAL

Aller au contenu | Aller au menu | Aller à la recherche

26août

Calculer le recouvrement de deux textes avec NLTK

Mon travail de thèse, sobrement intitulée Approches par calcul de similarité inter-documentaire pour la détection de dérivations de texte, consiste à évaluer la probabilité qu'un texte dérive d'un autre. Une des applications, que je déteste mais qui a l'avantage de parler à la plupart des gens, est la détection de plagiat.

Une approche, naïve mais simple à mettre en œuvre, consiste à calculer le nombre de mots que deux textes partagent. Voici une proposition d'implémentation d'une telle technique tirant partie de la bibliothèque NLTK.

Lire la suite

29juin

Regroupement automatique de pages d'un wiki (1ère Partie)

Le Wiki est une invention totalement géniale qui permet de construire très rapidement une incroyable quantité de pages... toutefois cette quantité de pages dans son ensemble est souvent peu structurée ! Pour le wiki de Nantes-Wireless, j'ai décidé de mettre en place une technique de structuration automatique. Première tentative : clusterisation basée sur une distance lexicale.

Lire la suite

05mar.

Tokenisation en mots avec NLTK

Le toolkit NLTK intègre plusieurs algorithmes permettant de découper un texte en mots. Ce billet présente plusieurs d'entre eux.

Lire la suite

10fév.

NLTK et la loi de Zipf (Traduction et Reprise de ACM Crossroads)

Ce billet reprend partiellement l'article du journal ACM Crossroads sur NLTK. Il illustre le potentiel du toolkit NLTK (Natural Language Toolkit) pour Python en montrant l'application de la loi de Zipf sur le corpus Gutenberg.

Lire la suite