Formatage de fichier csv

[tyvix]

Bonjour

Je cherche à redonner à un fichier csv (issu d xls) une structure ou le nombre de colonnes est constant (4 dans l exemple ci-dessous)

Je vous expose mon problème par l'exemple

Le fichier en entré

Code :

cat titi.csv

1;2;3;4
10;20;"ceci est
une seule colonne";40
100;200;300;400

Resultat "recherché" (avoir un nombre de colonne constant)

1;2;3;4
10;20;"ceci est une seule colonne";40
100;200;300;400

OS : HP-UX
Shell : ksh

Merci de votre aide

[LLB]

Faut-il se baser sur les guillemets ouverts (et chercher les guillemets fermés associés) ou juste sur le nombre de ";" dans la ligne ?

Peut-il y avoir un point-virgule dans la chaine ?

[tyvix]

Je pense qu il faut gerer les 2

Les guillemets me permette de localiser les lignes completes par rapport au lignes incompletes et les Guillemets les "Chaines" à reformater (la coller à la ligne precedente)

Normalement je ne dois par avoir de ; dans la partie Chaine

Car il peut y avoir le cas encore plus delicat (2 colonnes consecutives avec ce format de type texte d ou les guillements)

10;20;"ceci est
une seule colonne";"et une
autre colonne";40

et on devrait avoir

10;20;"ceci est une seule colonne";"et une autre colonne";40

PS: merci pour la rapidité de la réponse

[LLB]

Une solution très simple (utilise gnu sed) :

Code :

sed -r ':a;/(.*;){3,}/b;N;s/\n/ /;ba'

Le 3 représente le nombre de points-virgules attendu dans chaque ligne (vu que c'est constant).

J'espère que ça suffira à tes besoins.

Edit : ok, il faudrait peut-être que je gère les guillemets, en fait.
Je reposte si j'y arrive.

[tyvix]

J aime bien ta notion du simple

Sinon dans sed pas gnu j ai pas l option -r

et sur une plate forme de production je ne suis pas pret de l avoir

Je ne pense par pouvoir echapper de toute façon à une boucle

[LLB]

Essaie l'option -E de sed, alors. Ca fait la même chose (regexp étendues), ça dépend juste de la version du sed. Si tu n'as pas -E non plus, regarde le man ou dis-le, je modifierai le script.

Et pour la notion de simple, tu vas comprendre dans 2 lignes. Voilà une version qui regroupe les lignes quand il n'y a pas 3 points-virgules ou quand il y a un nombre impair de guillemets :

Code GNU sed :

sed -r ':a;/(.*;){3,}/{/^[^"]*(([^"]*"){2})*[^"]*$/b};N;s/\n/ /;ba'

La même chose, mais en beaucoup plus portable :

Code script.sed :

1
2
3
4
5
6
:a
/(.*;){3,}/{
  /^[^"]*(([^"]*"){2})*[^"]*$/b
}
N;s/\n/ /
ba

Code :

sed -E -f script.sed

Si cette version ne gère pas tous les cas, il vaudra mieux passer à un outil plus évolué (perl, awk...).

[tyvix]

j ai un sed tres .... short
man
sed [-n] [-e script] [-f source_file] [file...]

[LLB]

Dernière tentative :

Code :

1
2
3
4
5
6
:a
/\(.*;\)\{3,\}/{
  /^[^"]*\(\([^"]*"\)\{2\}\)*[^"]*$/b
}
N;s/\n/ /
ba

Code :

sed -f a.sed

Sinon, j'abandonne. J'avais pourtant pris la peine de tester sur 3 sed différents.

[tyvix]

J avais essayé de mon coté avec tes scripts mais sans resultats

Et bien merci tout de meme pour les reponses

J en aurai vu un peu plus sur le sed

[BlaireauOne]

Pas très compact, mais ça fonctionne avec tes exemples

liste.txt

Code :

1
2
3
4
5
6
7
8
 
1;2;3;4
10;20;"ceci est
une seule colonne";40
100;200;300;400 
10;20;"ceci est
une seule colonne";"et une 
autre colonne";40

Résultat du awk :

Code :

1
2
3
4
5
 
1;2;3;4
10;20;"ceci estune seule colonne";40
100;200;300;400 
10;20;"ceci estune seule colonne";"et une autre colonne";40

Code :

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
 
awk -F";" '
{
	#-- CourantNbreQuote = Nombre de double-quote dans enreg. courant
	CourantNbreQuote=gsub(/"/,"\"",$0)
	CumulNbreQuote=CourantNbreQuote+PrecedNbreQuote
	if (CumulNbreQuote == 0) {
		PrecedNbreQuote=0
		print $0
		next
	}
	modulo=CumulNbreQuote%2
	if (modulo == 0) {
		PrecedNbreQuote=0
		print $0
		next
	}
	#
	#-- Nombre de double-quote impair, ecriture enreg. sans NewLine 
	#
	PrecedNbreQuote=CumulNbreQuote
	printf("%s",$0)
} ' liste.txt

[tyvix]

Merci
pil poil ce qu'il me faut

PS: je vais ressortir mon bouquin d'Awk


Y a t il moyen de gerer egalement ce cas ?

Code :

1
2
3
4
5
6
7
8
9
10
11
12
13
 
1;2;3;4
10;20;"ceci est
une
seule 
colonne";40
100;200;300;400
1000;2000;"ceci est
une seule 
colonne";"et 
une
autre 
colonne";4000