Formatage de fichier csv

Version imprimable

18/09/2007, 16h25
tyvix

Formatage de fichier csv

Bonjour

Je cherche à redonner à un fichier csv (issu d xls) une structure ou le nombre de colonnes est constant (4 dans l exemple ci-dessous)

Je vous expose mon problème par l'exemple

Le fichier en entré

Code:

cat titi.csv

Citation:

1;2;3;4
10;20;"ceci est
une seule colonne";40
100;200;300;400

Resultat "recherché" (avoir un nombre de colonne constant)

Citation:

1;2;3;4
10;20;"ceci est une seule colonne";40:D
100;200;300;400

OS : HP-UX
Shell : ksh

Merci de votre aide :lol:
18/09/2007, 16h34
LLB

Faut-il se baser sur les guillemets ouverts (et chercher les guillemets fermés associés) ou juste sur le nombre de ";" dans la ligne ?

Peut-il y avoir un point-virgule dans la chaine ?
18/09/2007, 17h23
tyvix

Je pense qu il faut gerer les 2

Les guillemets me permette de localiser les lignes completes par rapport au lignes incompletes et les Guillemets les "Chaines" à reformater (la coller à la ligne precedente)

Normalement je ne dois par avoir de ; dans la partie Chaine

Car il peut y avoir le cas encore plus delicat (2 colonnes consecutives avec ce format de type texte d ou les guillements)

Citation:

10;20;"ceci est
une seule colonne";"et une
autre colonne";40

et on devrait avoir

Citation:

10;20;"ceci est une seule colonne";"et une autre colonne";40

PS: merci pour la rapidité de la réponse :king:
18/09/2007, 17h27
LLB

Une solution très simple (utilise gnu sed) :

Code:

sed -r ':a;/(.*;){3,}/b;N;s/\n/ /;ba'

Le 3 représente le nombre de points-virgules attendu dans chaque ligne (vu que c'est constant).

J'espère que ça suffira à tes besoins.

Edit : ok, il faudrait peut-être que je gère les guillemets, en fait.
Je reposte si j'y arrive.
18/09/2007, 17h43
tyvix

J aime bien ta notion du simple :mrgreen:

Sinon dans sed pas gnu j ai pas l option -r :(

et sur une plate forme de production je ne suis pas pret de l avoir

Je ne pense par pouvoir echapper de toute façon à une boucle
18/09/2007, 17h53
LLB
Essaie l'option -E de sed, alors. Ca fait la même chose (regexp étendues), ça dépend juste de la version du sed. Si tu n'as pas -E non plus, regarde le man ou dis-le, je modifierai le script.

Et pour la notion de simple, tu vas comprendre dans 2 lignes. Voilà une version qui regroupe les lignes quand il n'y a pas 3 points-virgules ou quand il y a un nombre impair de guillemets :

Code:

sed -r ':a;/(.*;){3,}/{/^[^"]*(([^"]*"){2})*[^"]*$/b};N;s/\n/ /;ba'

La même chose, mais en beaucoup plus portable :
Code:

1 2 3 4 5 6 :a /(.*;){3,}/{ /^[^"]*(([^"]*"){2})*[^"]*$/b } N;s/\n/ / ba
Code:

sed -E -f script.sed

Si cette version ne gère pas tous les cas, il vaudra mieux passer à un outil plus évolué (perl, awk...).
18/09/2007, 18h02
tyvix

j ai un sed tres .... short
man
sed [-n] [-e script] [-f source_file] [file...]
18/09/2007, 18h06
LLB
Dernière tentative :
Code:

1 2 3 4 5 6 :a /$.*;$\{3,\}/{ /^[^"]*$\([^"]*"$\{2\}\)*[^"]*$/b } N;s/\n/ / ba
Code:

sed -f a.sed

Sinon, j'abandonne. J'avais pourtant pris la peine de tester sur 3 sed différents.
18/09/2007, 18h18
tyvix

J avais essayé de mon coté avec tes scripts mais sans resultats

Et bien merci tout de meme pour les reponses

J en aurai vu un peu plus sur le sed :mrgreen:

:king:

Pas très compact, mais ça fonctionne avec tes exemples ;)

liste.txt

Code:

1
2
3
4
5
6
7
8
 
1;2;3;4
10;20;"ceci est
une seule colonne";40
100;200;300;400 
10;20;"ceci est
une seule colonne";"et une 
autre colonne";40

Résultat du awk :

Code:

1
2
3
4
5
 
1;2;3;4
10;20;"ceci estune seule colonne";40
100;200;300;400 
10;20;"ceci estune seule colonne";"et une autre colonne";40

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
 
awk -F";" '
{
	#-- CourantNbreQuote = Nombre de double-quote dans enreg. courant
	CourantNbreQuote=gsub(/"/,"\"",$0)
	CumulNbreQuote=CourantNbreQuote+PrecedNbreQuote
	if (CumulNbreQuote == 0) {
		PrecedNbreQuote=0
		print $0
		next
	}
	modulo=CumulNbreQuote%2
	if (modulo == 0) {
		PrecedNbreQuote=0
		print $0
		next
	}
	#
	#-- Nombre de double-quote impair, ecriture enreg. sans NewLine 
	#
	PrecedNbreQuote=CumulNbreQuote
	printf("%s",$0)
} ' liste.txt

19/09/2007, 10h08
tyvix
Merci
pil poil ce qu'il me faut :king:

PS: je vais ressortir mon bouquin d'Awk :aie:

Y a t il moyen de gerer egalement ce cas ?
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 1;2;3;4 10;20;"ceci est une seule colonne";40 100;200;300;400 1000;2000;"ceci est une seule colonne";"et une autre colonne";4000