Extraction de données avec styles possibles dans chaîne de caractères

Version imprimable

Bonsoir,

je n'arrive à trouver une solution au problème suivant.

Demande :
Extraire des données d'une chaîne de caractères et créer des données pour un fichier XML
La chaîne peut contenir 0 ou n balises définissant des styles, sans imbrication.
Le style par défaut est 'NORMAL'

Effectué : de nombreux essais avec les regex, la fonction pos, split...

Code:

push @pos, $-[0] while m/<|>/g;

me permet de récupérer les positions des chevrons (< et >)

Code:

my @strings = split /<[^>]+>{1}/, $s;

me permet de récupérer les sous-chaines

Mais je n'arrive pas à trouver de solution globale me permettant de définir les couples sous-chaine/style avant de créer le XML. :mur:

Entrée :
chaine exemple suivante :

Code:

Veuillez trouver ci-dessous le <ITAL>détail des sommes</ITAL> dues au titre de la régularisation de votre pension. Attention : ce document constitue l'attestation de votre pension. <GRAS>Conservez-le, et n'en fournissez que des photocopies.</GRAS>

Sortie :
données pour un fichier XML :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 <texte> <style>NORMAL</style> <libelle>Veuillez trouver ci-dessous le </libelle> <texte> <texte> <style>ITAL</style> <libelle>détail des sommes</libelle> <texte> <texte> <style>NORMAL</style> <libelle> dues au titre de la régularisation de votre pension. Attention : ce document constitue l'attestation de votre pension. </libelle> <texte> <texte> <style>GRAS</style> <libelle>Conservez-le, et n'en fournissez que des photocopies</libelle> <texte>
Merci pour votre aide

03/06/2016, 19h25
Lolo78

Le mieux est d'utiliser un module XML du CPAN: https://www.google.fr/search?q=cpan+...DKuFgAbv4pToBw
06/06/2016, 14h01
ptonnerre

Ma chaîne de caractères est dans un fichier plat, issu d'une application tierce.
Ce que je cherche à faire dans un premier temps est de créer le hash, qui me servira ensuite pour créer le XML.

Je suis un peu perdu avec tous ces modules et ne sait lequel utiliser (et n'ai pas vraiment le temps d'apprendre à les utiliser, ni de les tester :oops:).
Je suis preneur d'un petit bout de code qui pourrait débloquer la situation.
07/06/2016, 10h34
Philou67430

Le parsing des balises n'est pas trivial, d'où l'idée de Lolo d'utiliser un module XML.
Cependant, comme ton fichier texte n'est pas vraiment un format XML valide, tu peux envisager de le parser toi même. Mais dans ce cas, il faudrait des précisions :
- les balises peuvent-elles être imbriques (GRAS dans ITAL), et si oui, quel résultat XML est attendu ?
- que faire en cas d'erreur (balise de fermeture non attendue)

Ce sont au moins les deux pré-requis pour envisager de développer un algorithme.
07/06/2016, 10h45
Lolo78

Bonjour,
je ne vois pas trop ce que tu veux mettre exactement dans un hash et je ne suis pas vraiment convaincu que ce soit une bonne idée de créer un hash dans la mesure où un hash ne préserve pas l'ordre des données.

Explique ce que tu veux dans ton hash, là, je ne vois pas trop.

Bonjour,

un collègue m'a envoyé ce bout de code :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
#!/usr/bin/env perl
 
use warnings;
use strict;
use feature 'say';
use Data::Dumper;
 
my $default_style = "NORMAL";
 
sub read_input {
    local undef $/;
    my $res = <DATA>;
    $res =~ s{\n$}{}sx; # No final \n in 'NORMAL' style
    return $res;
}
 
sub parse_styles {
    my ($txt) = @_;
    my @res = ();
    my @heap = ();
 
    while ($txt =~ s{^( </?\w+> | [^<>]+ )}{}gsx) {
        my $chunk = $1;
        if ($chunk =~ m{^ </(\w+)> $}sx) {
            my $tag = $1;
            die "Closing tag '$tag' with empty heap\n" unless scalar @heap;
            my $last_style = pop @heap;
            die "Closing tag '$tag' but last open style is '$last_style'\n" if $last_style ne $tag;
            next;
        }
        if ($chunk =~ m{^ <(\w+)> $}sx) {
            my $tag = $1;
            die "Cannot open tag '$tag' with non-empty heap\n" if scalar @heap; # "no imbrication"
            push @heap, $tag;
            next;
        }
        my $style = (scalar @heap) ? $heap[-1] : $default_style;
        push @res, [ $style, $chunk ];
    }
    die "Heap not empty: " . join(" ", @heap) . "\n" if scalar @heap;
    die "Could not parse txt: some data is remaining:\n$txt" if length $txt;
    return \@res;
}
 
 
sub main {
    my $txt = read_input();
    my $styles = parse_styles($txt);
    print Dumper($styles);
    return 0;
}
 
exit main(@ARGV);
 
__DATA__
Veuillez trouver ci-dessous le <ITAL>détail des sommes</ITAL> dues au titre de la régularisation de votre pension.      Attention : ce document constitue l'attestation de votre pension. <GRAS>Conservez-le, et n'en fournissez que des photocopies.</GRAS>

qui produit en sortie :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
$VAR1 = [
          [
            'NORMAL',
            'Veuillez trouver ci-dessous le '
          ],
          [
            'ITAL',
            'détail des sommes'
          ],
          [
            'NORMAL',
            ' dues au titre de la régularisation de votre pension.      Attention : ce document constitue l\'attestation de votre pension. '
          ],
          [
            'GRAS',
            'Conservez-le, et n\'en fournissez que des photocopies.'
          ]
        ];

Cela fonctionne et répond a priori à ma demande. De plus il me permet de découvrir les modification s et x des regex.

Mon fichier en entrée n'est pas un fichier XML et il n'y a pas d'imbrication dans les styles (styles qui aux dernières nouvelles de ce matin risquent de disparaitre du XML, ce qui me semble logique, et devraient être traités par le partenaire éditique).

Quoi qu'il en soit, cette demande est intéressante. Le choix du hash me permet de stocker les données dans une structure avec la création du XML.
L'ordre m'importe peu car c'est nous qui allons créer manuellement de A à Z le XML.

Dans l'attente de vos commentaires, suggestions, idées...

Merci

07/06/2016, 11h56
Philou67430

Une seule remarque : le script produit un tableau, pas un hash ;)
07/06/2016, 13h33
ptonnerre

Citation:

Envoyé par Philou67430

Une seule remarque : le script produit un tableau, pas un hash ;)

Oui tu as raison ;)
Mais dans mon script, ce sera intégré dans un hash

Cela signifie aussi que l'ordre des éléments est important, ce qui peut avoir été une source d'incompréhension puisque tu annonçais l'inverse ;)

En écrivant le résultat dans un tableau de ce style :
Code:

1 2 3 4 5 6 $VAR1 = [ { 'NORMAL' => 'Veuillez trouver ci-dessous le ' }, { 'ITAL' => 'détail des sommes' }, { 'NORMAL' => ' dues au titre de la régularisation de votre pension. Attention : ce document constitue l\'attestation de votre pension. ' } { 'GRAS' => 'Conservez-le, et n\'en fournissez que des photocopies.' } ];
il me semble qu'un module du CPAN pourrait directement le transformer dans le forum XML que tu recherches.
A voir si XML::Dumper n'est pas le module qui fait l'affaire ?

07/06/2016, 15h40
ptonnerre

Désolé, je réponds souvent dans la précipitation. :oops:

Le code du collègue m'a aidé à obtenir grâce aux regex ce que je souhaitais à partir de la chaîne de caractères.
Bien que sa sortie aille dans un tableau, dans mon programmes les informations seront stockées dans le hash déjà existant.

Je vais aussi regarder le module XML::Dumper

Merci
07/06/2016, 16h45
Lolo78

Citation:

Envoyé par ptonnerre

Oui tu as raison ;)
Mais dans mon script, ce sera intégré dans un hash

Un tableau (ou ici plus précisément un tableau de tableaux) préserve l'ordre des phrases. Un hash ne le ferait pas, c'est pourquoi je n'ai mis en garde contre l'idée d'un hash.

Mais tu peux très bien utiliser un tableau de hachages comme ce qu'a proposé Philou, et il est aussi très facile de transformer le tableau de tableaux en un tableau de hachages, si c'est ce dont tu as besoin (ou modifier légèrement le code qu'on t'a passé pour générer directement un tableau de hachages).
07/06/2016, 19h55
ptonnerre

Bonsoir,

je comprends vos remarques et vous remercie d'attirer mon attention sur ces notions d'ordres.

Ici le contexte est particulier : le fichier en entrée issue de l'application métier contient des enregistrements dont le dessin ne correspond pas du tout au XML final. Les champs sont dans le désordre et les données sont parfois des clés qui vont permettre d'aller chercher les informations finales dans des tables externes.

Je lis donc cet enregistrement d'entrée et stocke tous les champs dans un hash dont la clé est une classe (au sens éditique) et sa valeur une référence vers un tableau de références vers des tables de hachages qui contiennent plusieurs attributs de la classe avec leur valeurs. Pour chaque classe, il peut y avoir plusieurs occurrences d'où le tableau intermédiaire.

Donc je ne lis les données qu'une seule fois et stocke tout dans cette structure de données.
Une fois finie, je m'en servirai pour construire le XML en me basant sur le XSD fourni.
J'ai essayé un module qui me permettait de construire le hash correspondant à partir du XSD, puis de remplir ce hash avec les données pour enfin générer le XML mais dans mon contexte, ça m'a semblé plus compliqué.
08/06/2016, 00h09
Lolo78

Bonsoir,
si je comprends bien, tes données en entrée sont très très différentes de celles que tu as données en exemple.

Pourquoi pas pour résoudre un problème particulier? Mais, du coup, on se retrouve à ne pas comprendre tes solutions ou à te donner des conseils non pertinents.

Protège tes vraies données autant que nécessaire, c'est normal et je ne peux que t'encourager à le faire, mais donne-nous des exemples réalistes (c'est-à-dire proches de la réalité du point de vue de leur structure), on pourra t'aider bien plus efficacement.
08/06/2016, 11h24
ptonnerre

Citation:

Envoyé par Lolo78

Bonsoir,
si je comprends bien, tes données en entrée sont très très différentes de celles que tu as données en exemple.

Pourquoi pas pour résoudre un problème particulier? Mais, du coup, on se retrouve à ne pas comprendre tes solutions ou à te donner des conseils non pertinents.

Protège tes vraies données autant que nécessaire, c'est normal et je ne peux que t'encourager à le faire, mais donne-nous des exemples réalistes (c'est-à-dire proches de la réalité du point de vue de leur structure), on pourra t'aider bien plus efficacement.

Je suis tout à fait d'accord, je dois prendre le temps de mieux rédiger mes posts.
Encore merci pour votre patience
08/06/2016, 11h57
Philou67430

On peut considérer ce post comme "résolu" ?