Discussion :

[hebusdetroy]

Bonjour à tous,
J'ai fait un script php pour l'upload d'une base de données. Seulement après avoir eu connaissance de la taille de la base à insérer (par fichiers csv de 160 000 lignes) j'ai vite compris que le serveur allait être dépassé par les commandes lourdes (allocation d'un tableau, etc...).
J'ai donc décidé de faire les mêmes opérations en commandes linux mais hélas je ne les connais pas du tout et donc je risque de faire quelque chose de très mal optimisé, c'est pourquoi je me tourne vers vous.

Shéma du fichier csv de départ :
FICHIER RAPPORT;champ2;champ3;
FICHIER TYPE2;champ2;champ3;champ4;
FICHIER TYPE3;champ2,;champ3;champ4;champs5;
FICHIER TYPE4;champ2,;champ3;champ4;champs5;

Deux choses doivent être faites :

-Isoler chaque type de de ligne (FICHIER RAPPORT, FICHIER TYPE2...) dans d'autres fichiers csv (s'appellant par exemple "rapport.csv","type2.csv"...)

-Ajouter deux champs à la fin de chaque ligne (le mois et l'année) dans chacun de ces fichiers.

La première opération je ne trouve pas vraiment comment la faire efficacement.
La deuxième est bien plus simple mais je ne sais pas ce qui serait le plus optimisé.


Merci d'avance de votre aide.

[Winnt]

Salut,

Pour générer tes fichiers :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
 
sed -n "/RAPPORT/p" fichier_csv_depart > rapport.csv
sed -n "/TYPE2/p" fichier_csv_depart > type2.csv
sed -n "/TYPE3/p" fichier_csv_depart > type2.csv
sed -n "/TYPE4/p" fichier_csv_depart > type2.csv

[hebusdetroy]

Merci beaucoup c'est parfait.
Et pour rajouter par exemple "08;2009;" à la fin de chaque ligne quel est le plus efficace? utiliser awk?

Sinon il peut arriver que dans le ficher csv de départ il y ai à la fin d'une ligne plein de ;;;;;;;; (car il y a des cases vides dans le fichier de départ), est-il possible de rajouter le "08;2009;" tout en retirant les ";" en trop avant? (donc en n'en gardant qu'un).

En reprenant l'exemple :
FICHIER RAPPORT;champ2;champ3;;;;;;;;;

le remplacer par :
FICHIER RAPPORT;champ2;champ3;08;2009;

[noooop]

Si tu dois faire des traitements particulier, il y deux possibilités:
1) utilisé sed avec des expressions regulières parenthèsées qui permettent de faire un epu de traitement
2) utiliser awk qui permet de faire des traitements complexes.

Personnellement j'ai eu a faire la même chose une fois, je préfère awk

[hebusdetroy]

N'ayant pas vu ta réponse je me suis tourné vers du sed avec :
sed 's/$/08\/2009;/' <titi.csv> tata.csv pour l'ajout.
Une meilleure idée?

Pour les ;;;;; en trop ça ne peut se produire que sur un petit fichier (pas celui avec des centaines de milliers de lignes) donc je peux le faire à part mais j'aurais bien voulu trouver une astuce.

Peut être avec un "remplacement" de tous les ;;;; quel que soit leur nombre à la fin du fichier par ;08/2009; . Mais d'une part ça peut peut être devenir lourd? et d'autre part je dois réviser mes expressions réguliaires pour pouvoir le faire

[N_BaH]

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
echo "FICHIER RAPPORT;champ2;champ3;;;
FICHIER TYPE2;champ2;champ3;champ4;;
FICHIER TYPE3;champ2,;champ3;champ4;champs5;
FICHIER TYPE4;champ2,;champ3;champ4;champs5;" | sed -n 's/;*$/;08;2009;/
/RAPPORT/wrapport.csv
/TYPE2/wtype2.csv'
cat rapport.csv
FICHIER RAPPORT;champ2;champ3;08;2009;
cat type2.csv
FICHIER TYPE2;champ2;champ3;champ4;08;2009;

/!\ les alinéas sont essentiels dans la commande sed.