Discussion :

[Don_Q]

Bonsoir tout le monde !

Je ne suis pas un développeur de talent (en fait je ne suis pas développeur du tout, mais je développe un peu quand même, alors ça crée des problèmes ). Voilà ce que j'essaye de faire : j'ai un très gros fichier que je veux subdiviser en petits fichiers. Une ligne de ce fichier = une donnée. Il est formaté de la manière suivante :

(Date,Heure,donnée1,donnée2,donnée3)
jj/mm/aaaa,hh:mm:ss.ssssss,xxxxx.xx,xxxxx.xx,xxxxx.xx
ex : 28/05/2012,12:33:02.000,817375.767,9471391.780,33.000

Je voudrais donc créer un fichier par nuit. Donc pas de minuit à 23:59, mais de 12:00 à 11:59 le lendemain. Je vous donne mon script :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
#!/bin/ksh
 
SOIR=27/05/2012 # Initialisation : première date que je vais considérer
 
# je veux une arborescence du type : année/mois
mkdir -p $DIR_DATA/$(echo $SOIR|awk -F'/' '{print $3}')/$(echo $SOIR|awk -F'/' '{print $2}')
fichier_out=$DIR_DATA/$(echo $SOIR|awk -F'/' '{print $3}')/$(echo $SOIR|awk -F'/' '{print $2}')/"$(echo $SOIR|sed -e "s./._.g").txt"
 
# Je boucle sur les dates UNIQUES differentes dans le gros fichier à diviser, et j'enlève la première de ces dates puisqu'on s'en est déjà occupé juste avant.
for data_file in $(tail -n +4 $DIR_DATA/Week22_33_Congo_GNSS-2.txt | cut -d, -f1 | uniq | grep -v "27/05/2012")
do
   MATIN=$data_file # Donnée du jour suivant (dont je ne veux récupérer que la première partie à l'aide du grep)
   grep -E "^($SOIR,[12-23])|($MATIN,(0[0-9])|[10-11]):" $DIR_DATA/test.txt > $fichier_out
   SOIR=$MATIN # Donnée du jour "précédent" (au passage suivant de la boucle)
   # Je crée un nouveau dossier si je change de mois
   mkdir -p $DIR_DATA/$(echo $SOIR|awk -F'/' '{print $3}')/$(echo $SOIR|awk -F'/' '{print $2}')
   # Je crée mon nouveau fichier
   fichier_out=$DIR_DATA/$(echo $SOIR|awk -F'/' '{print $3}')/$(echo $SOIR|awk -F'/' '{print $2}')/"$(echo $SOIR|sed -e "s./._.g").txt"
done

Mais ça ne marche pas. Je soupçonne la regex d'être fausse, mais comme je n'arrive pas à la corriger si c'est bien le cas.

Toute aide est la bienvenue, et sera de facto appréciée

Merci !

[N_BaH]

Bonjour,

[x-y] définit un intervalle entre deux caractères, et non entre deux valeurs.

[jack-ft]

[x-y] définit un intervalle entre deux caractères, et non entre deux valeurs.

Donc, il faut remplacer [12-23] par (12|13|14|15|16|17|18|19|20|21|22|23) ou (1[2-9]|2[0-3]) et (0[0-9])|[10-11]) par (0[0-9])|1[01]) (la seconde était presque bonne!)

[EDIT]: Oops! je n'avais pas vu la réponse de Don_Q (grillé!)

[Don_Q]

@Sve@r : Effectivement, l'ordre n'est pas le bon dans la commande cut que tu as proposé, j'en ai donc utilisé deux, ça marche très bien.

@N_BaH et jack-ft : merci pour votre aide !

Tout marche très bien, je marque la discussion comme résolue. Bonne journée !

[Sve@r]

Toute aide est la bienvenue, et sera de facto appréciée

Salut

N_Bah est très calé avec les regex donc je lui laisse le soin de te la corriger. Moi de mon coté j'ai remarqué que tu aimes bien awk.
Le pb c'est que awk est super gourmand en ressources (normal vu ce qu'il peut faire). Donc l'appeler et le rappeler sans cesse juste pour découper un champ...
mkdir -p $DIR_DATA/$(echo $SOIR|cut -f3,2 -d/)(j'ai tapé de mémoire sans tester donc je ne suis pas certain que le cut te donnera les champs dans le bon ordre mais au pire tu peux aussi en mettre 2, de toute façon 2 cut à suivre seront moins gourmands que 2 awk).

Sinon essaye de mettre tes noms de variable en minuscule plutôt qu'en majuscules qui sont réservées aux variables système et que tu peux donc écraser. Tu peux y mettre des majuscules illustratives (comme par exemple "dateDeValeur") mais pas le "tout majuscule"...

Et si tu pouvais encadrer ton code de balises "CODE" et non "QUOTE" on pourrait le reprendre et le corriger pour le remettre en réponse...

PS: tu as "SOIR" qui vaut 27/05/2012 et plus tard tu greppes sur 27/05/2012 => peut-être grepper sur "$SOIR"...

[Don_Q]

Il est déjà tard dans la nuit là ... alors bonne nuit tout le monde !

@Sve@r : dès que je suis en face de mon code, j'essaye de remplacer mes awk par des cut. C'était évident, mais il fallait me le dire. Et je grepperai sur Soir dans la boucle.

@N_BaH : je crois avoir compris, mais je ne suis pas sûr. Je dis ce que j'ai compris, sachant que je ne pourrai le tester que demain. Je veux récupérer une heure pour savoir si je suis après 12h le jour1 et avant 12h le jour deux. La date est sur deux caractères, donc il me faut quelques chose qui ressemble plus à 1[2-9]|2[0-3] à la place de [12-23], et donc 0[0-9] | 1[0-1] à la place de 0[0-9])|[10-11], c'est ça ?

Je le répète, je ne suis pas développeur (cad, je code avec les pieds, et j'ai les pieds palmés :p ). Or, ici mon problème était de faire rapidement ce découpage (fichier d'entrée : 7 millions de lignes). Donc, merci beaucoup à vous deux : à N_BaH qui m'aide à débugger mon code, et à Sve@r qui m'aide à le rendre plus performant !

Bonne nuit (encore !)

[N_BaH]

c'est ça ?

c'est ça !