Discussion :

[steph68b]

salut les spécialistes

j'ai encore besoin de vous, mais vous allez expédier ça en 2 secondes, comme d'habitude!

la logique des regex et moi, ça fait un moins 12, donc je rame!!
une vraie quiche, j'avoue!!

les faits:
-> j'ai un String [] temp que je parcours
-> je veux tester chaque indice pour repérer lesquels ne contiennent que des lettres, et éventuellement un '-'
-> donc pour les min/maj, ça donnerait donc

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

temp[i].matches("([a-zA-Z])")

-> ok mais quid de mon '-'? je le colle où?

le but:
-> repérer des noms de villes (Paris, Lyon, etc...) au milieu de data diverses (numériques, horaires)
-> mais noms pouvant aussi être des noms composés (Saint-Etienne)

j'ai déjà testé pleins de variantes, en tâtonnant, mais rien de bon pour le moment.

alors merci de vos tuyaux

[tchize_]

toujours dans les crochets, comme tous les caractères que tu veux matcher. La seule particularité étant que le caractère - est spécial entre crochets car il définis un range, tu dois donc l'échapper avec un \. Et comme pour le code java, les String statique prennent le \ comme un caractère spécial, tu dois le doubler:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

temp[i].matches("([a-zA-Z\\-])")

[Cafeinoman]

Attention, si l'une de tes String contient un caractère accentué, elle ne sera pas valide. A voir si c'est gênant.

[adiGuba]

Salut,


Tu peux aussi tout simplement positionner le "-" juste avant le crochet final sans échappement : "([a-zA-Z-])" !


Au passage il y a plusieurs autres choses que je modifierais :

• Déjà ta regexp n'est pas bonne, puisque elle ne sera vrai que pour les chaines contenant un seul et unique caractère.
  Il faut rajouter un "+" derrière pour indiquer qu'il doit y avoir 1 caractère ou plus : "([a-zA-Z-]+)"
• Les parenthèses ne servent à rien mis à part à créer un groupe. Tu peux les supprimer : "[a-zA-Z-]+".
• Avec cette regexp tu ne prend pas les caractères accentuées. Il serait préférable de remplacer "a-zA-Z" par "\\p{L}" qui représente toutes les lettres Unicode, ou par "\\p{Latin}" qui représente toutes les lettres latines : "[\\p{IsLatin}-]+"
• Enfin je rajouterais au moins la quote et l'espace (avec "\\s" qui représente tous les types d'espacement) : "[\\p{IsLatin}'\\s-]+"

Au passage j'éviterais d'utiliser String.matches() dans ton cas.
En effet comme tu parcours une boucle cela va récréer le pattern à chaque appel, ce qui est le plus couteux.

Il est préférable de créer le pattern une seule fois et de le réutiliser, comme ceci :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
	String[] temp = ...
 
	Pattern pattern = Pattern.compile("[\\p{IsLatin}'\\s-]+");
	for (String t : temp) {
		if (pattern.matcher(t).matches()) {
			...
		}
	}

a++

[steph68b]

Avec cette regexp tu ne prend pas les caractères accentuées. Il serait préférable de remplacer "a-zA-Z" par "\\p{L}" qui représente toutes les lettres Unicode, ou par "\\p{Latin}" qui représente toutes les lettres latines : "[\\p{IsLatin}-]+"

salut,

merci à tous pour votre participation.

je viens d'essayer cette formule: problème, elle trouve également des data qui ne m'intéressent pas, comme par exemple
-> 2016
-> 20.30
-> 832752

[tchize_]

Il serait préférable de remplacer "a-zA-Z" par "\\p{L}" qui représente toutes les lettres Unicode, ou par "\\p{Latin}" qui représente toutes les lettres latines

latin représente tout le pan unicode latin script pas seulement des lettres. L devrait par contre faire l'affaire si j'en crois la doc unicode http://unicode.org/reports/tr44/#GC_Values_Table

[adiGuba]

Je ne reproduit pas ce problème.

Tu pourrais montrer un code à minima qui reproduit cela ?


a++

[tchize_]

j'aurais du tester avant de l'ouvrir J'ai mal lu la doc sur le bloc unicode latin, je pensais que ça incluait tout le bloc 0000–00FF

[steph68b]

Ok, je vais expliquer précisément ce que j'attends, peut être aurez-vous une autre approche meilleure que la mienne...

Je travaille sur des fiches horaires pdf SNCF, comme par exemple:


-> j'extrais les data du pdf dans un String buffer "page":

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
Mulhouse - Thann - Kruth
N'oubliez pas de vous reporter aux renvois ci-dessous
du 3 avril au 2 juillet 2016
Du lundi au vendredi sauf jours fériés
Lun à 
Ven
Lun à 
Ven
Lun à 
Ven
Lun à 
Ven
Lun à 
Ven
Mulhouse 05.34 05.54
Gare-Centrale 05.50
Porte-Jeune 05.54
Daguerre 06.00
Mulhouse Dornach 05.38 06.05 05.58  
Lutterbach (Ht-Rhin) 05.41  06.10
Graffenwald 05.46 06.16
 
etc...

-> je split la page en N lignes (selon CR):

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

buffer.split("\\r?\\n")

-> et chaque ligne en N colones (selon blancs):

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

line.split(" ")

-> pour récupérer les horaires avec un regex

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

matches("([01]?[0-9]|2[0-3]).[0-5][0-9]"))

Tout ceci fonctionne parfaitement....... mais ce que je voudrais maintenant, c'est récupérer aussi tous les arrêts de la ligne, pour les coller dans une table de configuration!

Mulhouse
Gare-Centrale
Porte-Jeune
Daguerre
Mulhouse Dornach
Lutterbach (Ht-Rhin)
Graffenwald
Cernay
Vieux-Thann-Zi
Vieux-Thann
Thann (A)
Thann (D)
Thann (centre)
Thann St Jacques
Bitschwiller (Ht-Rhin)
Willer-sur-Thur
Moosch
St-Amarin
Ranspach
Wesserling
Fellering
Oderen
Kruth

Donc au départ je pensais repérer mes arrêts comme ça:
SI on a 1 séquence aaaaaaaa-aaaaaaa + 99.99 -> Mulhouse ou Gare-Centrale (les colonnes vides ne sont pas conservées quand pdf -> buffer string)
OU SI on a 1 séquence aaaaaaaa-aaaaaaa + aaaaaaaa-aaaaaaa + 99.99 -> Lutterbach (Ht-Rhin) ou Thann (A)

Mais ça ressemble surtout à 1 usine à gaz tout ça!!

Et surtout lors de cette détection

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
Mulhouse - Thann - Kruth
N'oubliez pas de vous reporter aux renvois ci-dessous
du 3 avril au 2 juillet 2016
Du lundi au vendredi sauf jours fériés
Lun à 
Ven
Lun à 
Ven
Lun à 
Ven
Lun à 
Ven
Lun à 
Ven

seraient aussi considérés comme des arrêts, avec ce regex................

Donc pas LA bonne solution de toute façon!!

[joel.drigo]

Salut,

Avec Pattern pattern = Pattern.compile("\\s+(?=\\d)");(une ou plusieurs espaces suivies d'un chiffre) et un pattern.split(line), tu obtiendras un tableau dont le premier élément est le nom de la gare, et les autres les horaires.

Mulhouse 05.34 05.54 => [Mulhouse, 05.34, 05.54]
Gare-Centrale 05.50 => [Gare-Centrale, 05.50]
Porte-Jeune 05.54 => [Porte-Jeune, 05.54]
Daguerre 06.00 => [Daguerre, 06.00]
Mulhouse Dornach 05.38 06.05 05.58 => [Mulhouse Dornach, 05.38, 06.05, 05.58]
Lutterbach (Ht-Rhin) 05.41 06.10 => [Lutterbach (Ht-Rhin), 05.41, 06.10]
Graffenwald 05.46 06.16 => [Graffenwald, 05.46, 06.16]

[EDIT]Ah, puis, j'y pense seulement, si tu veux avoir les colonnes d'horaires vides : Pattern pattern = Pattern.compile("\\s(?=\\d)|\\s(?=\\s)");

[adiGuba]

Je travaille sur des fiches horaires pdf SNCF,

Houlà du traitement de données non-formaté ! Ca peut vite devenir galère !



Tu es obligé d'utiliser le PDF ?
L'Open Data de la SNCF me semblerait plus approprié : https://data.sncf.com/api


a++

[steph68b]

Effectivement, ton couple regex + split fonctionne parfaitement .......... mais comme je disais ça ne règle pas le problème de "cohérence" de la détection des arrêts , pour ça que je disais que ce n'était sûrement pas la bonne méthode finalement.

-> rouge = regex OK mais pas un arrêt pour autant
-> vert = regex & arrêt OK

PAGE 1 colonne 0: Mulhouse - Thann - Kruth
PAGE 1 colonne 0: N'oubliez pas de vous reporter aux renvois ci-dessous
PAGE 1 colonne 0: du
PAGE 1 colonne 0: Du lundi au vendredi sauf jours fériés
PAGE 1 colonne 0: Lun à
PAGE 1 colonne 0: Ven
PAGE 1 colonne 0: Lun à
PAGE 1 colonne 0: Ven
PAGE 1 colonne 0: Lun à
PAGE 1 colonne 0: Ven
PAGE 1 colonne 0: Lun à
PAGE 1 colonne 0: Ven
PAGE 1 colonne 0: Lun à
PAGE 1 colonne 0: Ven
PAGE 1 colonne 0: Lun à
PAGE 1 colonne 0: Ven
PAGE 1 colonne 0: Lun à
PAGE 1 colonne 0: Ven
PAGE 1 colonne 0: Lun à
PAGE 1 colonne 0: Ven
PAGE 1 colonne 0: Lun à
PAGE 1 colonne 0: Ven
PAGE 1 colonne 0: Lun à
PAGE 1 colonne 0: Ven
PAGE 1 colonne 0: Lun à
PAGE 1 colonne 0: Ven
PAGE 1 colonne 0: Lun à
PAGE 1 colonne 0: Ven
PAGE 1 colonne 0: Lun à
PAGE 1 colonne 0: Ven
PAGE 1 colonne 0: Lun à
PAGE 1 colonne 0: Ven
PAGE 1 colonne 0: Lun à
PAGE 1 colonne 0: Ven
PAGE 1 colonne 0: Lun à
PAGE 1 colonne 0: Ven
PAGE 1 colonne 0: Lun à
PAGE 1 colonne 0: Ven
PAGE 1 colonne 0: Lun à
PAGE 1 colonne 0: Ven
PAGE 1 colonne 0: Lun à
PAGE 1 colonne 0: Ven
PAGE 1 colonne 0: Lun à
PAGE 1 colonne 0: Ven
PAGE 1 colonne 0: Lun à
PAGE 1 colonne 0: Ven
PAGE 1 colonne 0: Lun à
PAGE 1 colonne 0: Ven
PAGE 1 colonne 0: Lun à
PAGE 1 colonne 0: Ven
PAGE 1 colonne 0: Lun à
PAGE 1 colonne 0: Ven
PAGE 1 colonne 0: Lun à
PAGE 1 colonne 0: Ven
PAGE 1 colonne 0: Lun à
PAGE 1 colonne 0: Ven
PAGE 1 colonne 0: Lun à
PAGE 1 colonne 0: Ven
PAGE 1 colonne 0: Lun à
PAGE 1 colonne 0: Ven
PAGE 1 colonne 0: 1
PAGE 1 colonne 0: TT TT TT TT TT TT TT TT TT TT TT TT TT TT TT TT TT TT
PAGE 1 colonne 0: Mulhouse
PAGE 1 colonne 0: Gare-Centrale
PAGE 1 colonne 0: Porte-Jeune

Et merci pour regex des colonnes vides, mais il est, malheureusement pour moi, inutile car l'import du PDF dans le buffer texte ne les conserve pas!!
Les zones étant vides, elles sont supprimées purement et simplement

J'avais fait plein de tests avec ma classe d'importation du pdf, et avec d'autres aussi, mais rien n'y fait: impossible de représenter fidèlement la mise en page du pdt dans le buffer texte!
-> les colonnes sont vides, pas à <space> ou un autre caractère quelconque
-> elles sont donc ignorées et non importées

[steph68b]

Houlà du traitement de données non-formaté ! Ca peut vite devenir galère !



Tu es obligé d'utiliser le PDF ?
L'Open Data de la SNCF me semblerait plus approprié : https://data.sncf.com/api


a++

Je n'ai pas exploré cette piste puisque pour mon programme "de base" le pdf suffisait.
Maintenant j'essaye de le perfectionner, voire de le rendre universel et pas adapté uniquement à mon besoin.......... et c'est là que ça se complique.......

[joel.drigo]

Pour ne pas traiter les premières lignes, il suffit de les passer, sans appliquer l'expression régulière : tu cherches la dernière ligne qui vaut "ven" par exemple (ou toute autre règle pertinente), et tu appliques la regex après...

Pour les colonnes d'horaires vides, j'ai juste remarqué qu'il y avait des horaires séparés par deux espaces au lieu d'une, donc je pensais que ça correspondaient à des colonnes d'horaires vides.

[steph68b]

Oui, mais c'est de la prog à la carte, appliquée à cette fiche horaire, pas quelque chose de générique comme je voudrais le faire.


Mais effectivement, à mon avis, impossible de faire ça avec des data pdf.............
-> je n'ai pas exploré cette piste puisque pour mon programme "de base" le pdf suffisait.
-> maintenant j'essaye de le perfectionner, voire de le rendre universel et pas adapté uniquement à mon besoin.......... et c'est là que ça se complique nettement.......

SI je voulais vraiment faire un dev générique/général ALORS il faudrait passer par les API (que je suppose payantes) ET surtout revoir totalement l'archi de mon appli........... et quasiment repartir d'une feuille blanche.

Donc, je ne sais pas si ça vaut le coup, au final.

[steph68b]

Pour les colonnes d'horaires vides, j'ai juste remarqué qu'il y avait des horaires séparés par deux espaces au lieu d'une, donc je pensais que ça correspondaient à des colonnes d'horaires vides.

Effectivement, j'avais aussi vu ça, ce qui m'a fait explorer cette piste.
Mais le "phénomène" est aléatoire, malheureusement... parfois 1 <space>, parfois 2 ou 3... impossible d'appliquer 1 règle là dessus.

[joel.drigo]

Oui, mais c'est de la prog à la carte, appliquée à cette fiche horaire, pas quelque chose de générique comme je voudrais le faire.

C'est sûr que si tu veux parser n'importe quelle fiche horaire, quelle que soit sa forme et son contenu, tu n'y arriveras pas comme ça, par parsing. Mais ce n'est pas seulement un problème avec les premières lignes, mais avec le parsing des lignes d'horaires en elle-mêmes (sinon, il suffirait de chercher quelque chose qui ressemble à ... par regex au lieu de cherche ce qui commence après quelque chose). La solution de l'API avec des connecteurs spécifiques restent la seule envisageable.

[tchize_]

Petit détail qui a son importance en parsant un pdf (oui j'ai fait ça une fois dans le passé galère galère), il faut savoir qui rien ne garantie que e flux de texte que tu reçois correspond à la structure logique à l'écran. Tu peux très bien recevoir la case 3,2 puis la case 3,3 puis la 5,1 puis la 2,4 etc, ça suit l'ordre qui a été opéré par le moteur de rendu pdf. Bref, il y a une api open data, utilise là!

[steph68b]

Voilà, erreur de direction!

Merci à vous.

[steph68b]

Je réouvre le topic vite fait:
-> SI quelqu'un a déjà bossé avec les api SNCF, il pourrait me contacter ou expliquer ici les grandes lignes?