"Cat" est trop lent (Windows)

Version imprimable

20/01/2011, 23h15
freestyler

"Cat" est trop lent (Windows)
Bonjour,

je suis en train d'executer une simple commande de concatenation de fichier:
Code:

1 2 3 4 for file in `ls *.logic` do cat $file >> final.logic done
Ce code la prend exactement 5 secondes sur une machine Linux, 1min15 sur une machine Windows XP (RAM 3.5G), et 3min30 sur une machine Windows 7 (bien que plus puissante: RAM 8G)

J'ai essaye de remplacer la commande cat par : type, ou awk mais j'ai toujours pratiquement les meme temps d'execution.

Je n'ai rien trouve sur le net qui explique la difference qui peut y avoir entre l'utilisation de cat dans des SE differents.

Qqn a une idee SVP?
ou au moins une solution pour avoir une performance quasi egale entre Linux et windows?

Merci
20/01/2011, 23h44
N_BaH

pourquoi faire une boucle, qui lancera autant de cat qu'il y a de fichiers ?

le but de cat est justement de concaténer le contenu de fichers, donc :

Code:

cat *.logic >> final.logic

et puis, on ne fait pas for item in $(command); surtout pas ls. parce que
21/01/2011, 12h05
frp31

Citation:

Envoyé par freestyler

Bonjour,

Ce code la prend exactement 5 secondes sur une machine Linux, 1min15 sur une machine Windows XP (RAM 3.5G), et 3min30 sur une machine Windows 7 (bien que plus puissante: RAM 8G)

Merci

plus puisssant pas vraiment
pour info la ram ne represente que la quantité de données qui peut y etre stockée sans avoir a faire des copies depuis/vers le disque qui est un périphérique mécanique et par concequent lent.

deplus 8G de ram lente freinera plus le ressenti que 4 ou meme 2 rapide

La quantité de ram n'accelere que tres tres tres peu le ressenti utilisateur.
la comparaisent en seconde est pertinante mais pas la suite de la phrase :)

Pour le reste j'allais faire la meme remarque que N_BaH, qui a tout a fait raison

En fait j'essayais de reduire la question a l'essentiel..
En fait voici mon code:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
        for file in `ls *.logic`
        do
 
            tmp_ext=`grep $(basename $file) list.external`
            if [[ ! -z $tmp_ext ]]; then  
                cat $file >> external.logic
                echo >> external.logic
            else            
                tmp_exc=`grep $(basename $file) list.exclude`
                if [[ -z $tmp_exc ]]; then
                    cat $file >> final.logic
                    echo >> final.logic
                fi
            fi
        done

Ceci explique l'usage de la boucle..

Par contre, aucun d'entre vous n'a souleve le probleme de la difference des temps d'execution entre SE, qui est la source meme du probleme..

Citation:

Par contre, aucun d'entre vous n'a souleve le probleme de la difference des temps d'execution entre SE, qui est la source meme du probleme..

Désolé, je n'utilise pas Windows.

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
        for file in `ls *.logic`
        for file in *.logic
        do
            tmp_ext=`grep $(basename $file) list.external`
            if [[ ! -z $tmp_ext ]] #ah, bah, non alors ! pas une double négation !
            #if [[ -n $tmp_ext ]]
            if grep "${file##*/}" list.external >/dev/null 2>&1
            then  
                cat "$file" - >> external.logic
                echo >> external.logic
               extFiles+=( "$file" )
            else            
# la condition opposée est implicite avec le else
                tmp_exc=`grep $(basename $file) list.exclude`
                if [[ -z $tmp_exc ]]; then
                    cat "$file" - >> final.logic
                    echo >> final.logic
                fi
                finalFiles+=( "$file" )
            fi
        done
cat "${extFiles[@]}" >> external.logic
cat "${finalFiles[@]}" >> final.logic

:twisted:

26/01/2011, 16h38
lennelei

j'adore les réponses de N_BaH :)

sinon, pour les problèmes de temps de réponse (qui ne sont pas forcément à l'origine du problème), tu utilises quoi sous Windows ? Cygwin ou les versions Windows des coreutils ?
04/02/2011, 17h58
freestyler

Cygwin.

J'ai aussi essayé d'utiliser Windows Coreutils seulement mais j'ai toujours eu les mêmes problèmes..
07/02/2011, 21h22
freestyler

Quelqu'un a-t-il fait le test au moins?

Ca me semble pourtant un post valide parce que les écarts entre Linux et Windows sont énormes. Et encore, meme entre Win7 et WinXP.

J'ai beau cherché sur le net mais je n'ai trouvé aucune information sur le sujet..
10/02/2011, 14h15
lennelei
Quelle volumétrie tu as ?

Je viens de faire un test sur un bête PC sous Windows XP (X2 2GHz avec 2Go de RAM) sur 152 Mo et 284 fichiers .txt et ça prend genre 5 secondes; sur 840 Mo et 19 fichiers .dsx (c'est comme des fichiers textes), ça a pris 40 secondes...

Les tests :
Code:

1 2 d:\temp\>cat *.txt >> test001 d:\temp\>cat *.dsx >> test002
Les temps sont mesurés à la mimine mais bon, ça me paraît pas énorme comme temps...

Donc à mon avis, soit c'est le reste de ton algo qui faisait perdre du temps, soit c'est cygwin quand tu utilises cygwin... dans tous les cas, difficile de répondre vu qu'il manque pleins d'informations (en vrac) :
le test sous Linux, tu l'as fait sur la même machine ? Parce que tu parles de la RAM, mais pour cat seul, on s'en fiche : pour info, lors de mon test, cat a pris mois de 2 Mo de RAM ! Par contre, si tu as un disque en 10k rpm en raid 0 sous Linux et un vieux disque pata sous Windows, ça va plus jouer !
ton disque Windows n'est pas fragmenté ?
quelle est exactement la commande que tu compares : le script complet ou juste le cat ? Avec ou sans la boucle for ? etc...
27/02/2011, 02h14
freestyler

Bon après de multiples tests, il s'est avéré que le temps varie à cause de l'usage de la boucle for pour cat.

Donc, capturer la liste dans une variable et faire :

Code:

cat $variable

réduit le temps d'exécution d'une manière très évidente.

Par contre, cela me fait revenir au problème initial auquel j'ai du écrire une boucle pour : c'est la nécessite d'ajouter unes ligne vide à la fin de chaque fichier pour avoir une concaténation acceptable.
Si fichierA ne contient pas de retour chariot à la fin, alors la dernière ligne de fichierA et la première ligne de fichierB seraient sur la même ligne si on fait:

Code:

cat A B

Y a aucune option de cat qui fait ceci.
Et j'ai beau cherché… une boucle s'impose ici. Ya t il une alternative?

Merci beaucoup

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
#!/bin/bash

for file in *.logic
do if grep "${file##*/}" list.external >/dev/null 2>&1
   then extFiles+=( "$file" )
   else finalFiles+=( "$file" )
   fi
#si la dernière ligne du fichier ne se termine pas par \n, on en ajoute un.
   [[ $(od -c <(tail -1 "$file")) == *\n ]] || printf $'\n' >> "$file"
done

cat "${extFiles[@]}" >> external.logic
cat "${finalFiles[@]}" >> final.logic

...
?

Salut,

Peut être une alternative avec "sed" :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 $ cat A azerty qsdfg wxcvb$ # Pas de retour à la ligne ici $ cat B poiuy mlkjh nbvcx $ cat A B azerty qsdfg wxcvbpoiuy # Pas de séparation mlkjh nbvcx $ sed -n '/./p' A B azerty qsdfg wxcvb poiuy mlkjh nbvcx $
;)

Édit :

Code:

sed -n 'p' A B

Suffit amplement :?