Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter
Discussion :
text mining : Développement d'un outil d'analyse de CV
Salut !
J'ai pour mission de développer un outil d'analyse automatique de CV pour en extraire :
- Les informations personnelles (Nom, prénom, adresse, titre, civilité, etc.)
- Les expériences professionnelles
- Les formations (Diplômes)
- Les stages
N'ayant jamais travaillé sur un projet de text mining, Je n'ai pas beaucoup d'idées sur les étapes à suivre pour implémenter un tel outil, les algorithmes à utiliser etc.
Si vous avez des idées sur la démarche à suivre, n'hésitez pas
Cordialement,
Bonjour,
Je ne suis pas du tout spécialiste, mais je procèderais comme ça:
- Catégoriser chaque type de données par leur position probable dans le document (état civil en haut à gauche par exemple), type (chaine de caractère, numéros..).
- Parser le document pour retrouver ces données et faire des prédicats sur leur nature..
Le problème est qu'il faudrait déjà voir si la source est un minimum uniformisée (format, langue...).
Une autre solution serait un réseau de neurone, mais je suis sûr qu'il doit exister des moyens spécifiques pour ce genre de tâches...
(Le problème me parait carrément compliqué avec mes maigres connaissances, vu l'hétérogénéité du corpus de base...)
Merci pour votre réponse,
En fait, le procédé que je suis est assez proche du votre : Je compte retrouver les sections identiques que comporte un document. Ensuite je vais essayer de récupérer une à une les données dont j'aurais besoin.
Mon processus est un peu archaïque, je travaille avec les outils dont je dispose en attendant de trouver une meilleure approche.
Bonjour,
Mon approche serait :
1) d'isoler des blocs en fonction des interlignes et de la taille des caractères.
2) caractériser les blocs par la présence de mots clés ou de patterns pour les associer à une rubrique
rubrique Données personelles : présence de prénoms, de mots composant l'adresse (rue, boulevard, route avenue, ...), des mot "ans", "tél", "e-mail", de suite de plus de 9 chiffres consécutifs en ignorant " ", "-" ou ".", d'un patern d'e-mail, ...
Formation : "diplome", "formation", "DUT", "BTS", "Licence", "langue", "Anglais", Allemand, ...
Expérience professionelle : "Expérience", "professionelle", nombres de 4 chiffres entre 1970 et 2010, ???
Stage : "stage", "mois", ???
Loisirs/centre d'intérets: "Lecture" "sport" "cinéma" "football" "tennis" musique
2) faire du text mining sur chaque bloc en fonction du type de rubriques
Bon courage
J'envisagerais aussi la possibilité d'un traitement semi-automatique avec intervention humaine pour contrôler, lever des ambiguïtés, corriger
Ceci permettrait entre autres utilités d'opérer par apprentissage pour associer des rubriques à des blocs.
On compare un bloc avec tous ceux des CV analysés et validés. A chaque mot du bloc, et pour chaque type de rubrique, on connaitra le nombre de CV dans lequel le mot apparait pour la rubrique considérées.
Reste alors à définir une pondération des blocs qui va privilégier :
- les mots apparaissant dans beaucoup de CV,
- les mots apparaissant surtout dans un type de rubrique,
- les blocs avec beaucoup de mots caractèrisant la rubrique suivant les critres 1) et 2).
Obligé de faire un développement?
Bonjour,
C'est un problème très compliqué si on ne veut pas trop d'erreurs. Reconnaître l'état civil est déjà difficile mais extraire aussi formations et expériences est un projet lourd qui nécessite au moins quelques années-hommes. Je m'y connais, je fais du text mining depuis plus de 15 ans et c'est un pb que j'ai regardé de près il y a quelques années. Si l'objectif est d'arriver à un bon résultat en quelques mois, la seule solution est de prendre une techno existante éprouvée comme celle de Koltech et d'appeler son API!
Sinon, il n'est jamais trop difficile d'analyser un cv en particulier mais chacun a ses particularités et c'est l'additions de beaucoup d'heuristiques et de dictionnaires qui permettent d'arriver à une bonne couverture. Il faut donc commencer par fabriquer un jeu de test étendu avec les bonnes réponses et automatiser la mesure de qualité. Ça permet de mesurer réellement les progrès.
La première difficulté ensuite est tout simplement la conversion du CV qui arrive généralement en Word ou en PDF. Le résultat varie beaucoup selon le template utilisé dans Word, le logiciel utilisé pour générer le PDF, le convertisseur utilisé... Rien ne dis que ce qui est "en haut à gauche" a l'écran sera en début de fichier par exemple. On perd souvent aussi les colonnes ou leurs alignement ce qui rend problématique le rattachement des dates et des formations ou expériences. Une mauvaise conversion rends la tâche impossible de suite. Il faut donc bien choisir les processus de conversions.
Bon courage
Bonsoir,
je n'ai pas une grande expérience dans le domaine mais à l'époque où j'ai dû en faire j'avais commencé par calculer les fréquences de chaque terme parmi tous mes textes, puis la fréquence des paires de mots, etc.
En prenant les fréquences les plus élevées, tu devrais détecter des expressions clés du type "expérience professionnelle", comme te l'a indiqué graffito.
J'ai désormais une idée sur la démarche à suivre. Merci pour vos réponses !!
Répondre avec citation
Partager