Concaténation de plusieurs fichiers en un seul

**poullodiery** · 15/05/2013, 21h37

Bonjour,

Je souhaite concaténer les données de plusieurs fichiers en un seul. merci de votre aide.

fichier1
fichier2
fichier3
.
.
.
.
.
fichierN

J'ai pensé à faire

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

cat fichier1 fichier2 .... fichier1 >> fichierfinal

Le problème je peux avoir des milliers de fichiers.
Merci de votre aide.

**disedorgue** · 15/05/2013, 22h14

Bonjour,
Un find couplé au cat, voici un exemple:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

find . -type f -name '*' -exec cat {} \; >../cat.txt

ici je prend tous le fichiers qui sont dans le repertoire courant et je les concatene dans le fichier cat.txt qui, très important, est dans le répertoire supérieur pour qu'il ne soit pas listé par le find.
A toi de trouver la syntaxe de ton find pour qu'il liste la totalité de tes fichiers.

**Jiheme44** · 16/05/2013, 09h04

sans faire de find, juste un wildcard sur le cat doit pouvoir fonctionner :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

cat * >> ../FichierConcat.txt

**disedorgue** · 16/05/2013, 10h35

un 'cat *' avec des milliers de fichiers, je crains un débordement du genre "line too long"

**Winnt** · 16/05/2013, 13h27

Salut,

Sinon une boucle for ne fonctionnerait pas ?

**disedorgue** · 16/05/2013, 15h16

En fait c'est le '*' qui peut poser problème, donc cela dépend de ta boucle for...

**jack-ft** · 16/05/2013, 16h36

Ben, c'est tout simple:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

ls | while read file ; do cat "$file" ; done > ../the_file

PS: J'espère que N_BaH est en vacances...

**disedorgue** · 16/05/2013, 16h40

Question: c'est bien beau de concaténer un milliers de fichiers, mais n'y aurait il pas un ordre à respecter ?

**N_BaH** · 16/05/2013, 17h00

J'espère que N_BaH est en vacances

loupé!
je suis ici.
j'ai vu.
j'ai moinssé.

**LittleWhite** · 16/05/2013, 17h35

Souvent, l'ordre de ls est un ordre alphabétique. On peut réussir à l'inverser, ou à utiliser les locales pour modifier un peu. Souvent, ça marche bien par défaut

**disedorgue** · 16/05/2013, 18h15

Oui, je sais pour l'ordre du ls, mais qui nous dit que ces fichiers sont à prendre dans l'ordre alphabétique ?
J'ai déjà vu des fichier timestamper en JJ-MM-AA et là l'ordre alphabétique, ce n'est pas super

**jack-ft** · 18/05/2013, 11h43

Envoyé par N_BaH

loupé!
je suis ici.

Caramba!

j'ai vu.
j'ai moinssé.

C'est bien beau de moinser (je ne t'en veux pas!), mais proposes-tu autre chose?

Est-il exact que cat * puisse poser problème s'il y a des milliers de fichiers?

Merci de nous éclairer!

**jack-ft** · 18/05/2013, 11h49

Envoyé par disedorgue

Oui, je sais pour l'ordre du ls, mais qui nous dit que ces fichiers sont à prendre dans l'ordre alphabétique ?
J'ai déjà vu des fichier timestamper en JJ-MM-AA et là l'ordre alphabétique, ce n'est pas super

Je plussoie!

De l'intérêt de timestamper en AA-MM-JJ (qui a le gros avantage que l'ordre alphabétique produit le même résultat que l'ordre temporel (à condition de ne pas franchir de frontière de siècle (pour ceux qui traitent des données du XXème siècle (ou envisagent de perdurer jusqu'au XXIIème siècle (voire plus)), je ne saurais trop recommander d'utiliser AAAA-MM-JJ)))

**N_BaH** · 18/05/2013, 13h49

C'est bien beau de moinser (je ne t'en veux pas!), mais proposes-tu autre chose?

le shell.
il affiche les fichiers par ordre alphabétique.

**disedorgue** · 18/05/2013, 15h01

Bah, je ne suis plus si sur que le cat * rencontre un problème avec quelques milliers de fichiers, car je viens de tester avec 10.000 fichiers et cela fonctionnent (cela me représente ~159000 caractères).

J'ai même créé une variable de 40678912 caractères sans problèmes.
Mais dernièrement, au travail, j'ai rencontré un line too long sur une variable mais j'étais soit en sh soit en ksh et sur un AIX...
Il va falloir que j'approfondisse ça pour comprendre...
Ou si quelqu'un à des billes

**LittleWhite** · 18/05/2013, 18h48

Le problème de longueur de la ligne de commande, je ne l'ai vu qu'en ligne de commande Windows, limitée à 256 caractères (tout est limité là bas

). Jamais vu en shell.

**jack-ft** · 18/05/2013, 21h49

Pourtant, à une époque (pas si lointaine?), on avait bien:
ridiculously long PATH truncated

**Flodelarab** · 18/05/2013, 22h59

Y a pas longtemps j'avais posté ici un truc trouvé sur internet

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
#ifndef _LINUX_LIMITS_H 
#define _LINUX_LIMITS_H 
#define NR_OPEN           1024 
 
#define NGROUPS_MAX    65536   /* supplemental group IDs are available */ 
 
#define ARG_MAX       131072   /* # bytes of args + environ for exec() */ 
#define LINK_MAX         127   /* # links a file may have */ 
#define MAX_CANON        255   /* size of the canonical input queue */ 
#define MAX_INPUT        255   /* size of the type-ahead buffer */ 
#define NAME_MAX         255   /* # chars in a file name */ 
#define PATH_MAX        4096   /* # chars in a path name including nul */ 
#define PIPE_BUF        4096   /* # bytes in atomic write to a pipe */ 
#define XATTR_NAME_MAX   255   /* # chars in an extended attribute name */ 
#define XATTR_SIZE_MAX 65536   /* size of an extended attribute value (64k) */ 
#define XATTR_LIST_MAX 65536   /* size of extended attribute namelist (64k) */ 
#define RTSIG_MAX     32 
 
#endif

Je ne sais pas ce que ça vaut. Je teste donc la ligne

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

#define PATH_MAX        4096   /* # chars in a path name including nul */

fichier limits.bash executable:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
#!/bin/bash
 
pointDeDepart=/home/florian/Documents/MondeMathematiques
rajout=/../../../../home/florian/Documents/MondeMathematiques
 
cobaye=$pointDeDepart
 
while ls $cobaye >/dev/null
do 
   cobaye=$cobaye$rajout
   grep -o $rajout <<< $cobaye |grep -c ^
 
done

ls dans un script? Non mais N_bah est en weekend....

Et la sortie:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

limits.bash &> resultat.txt

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
ls: impossible d'accéder à /home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques/../../../../home/florian/Documents/MondeMathematiques: Nom de fichier trop long