Script création CSV

**Xalades** · 26/04/2010, 01h12

Bonjour,

Je voudrais créer un script shell me permettant de faire une liste des répertoires les classant par nom puis lister les fichiers qui sont dans chaque répertoires par taille. Et tout ceci dans un fichier.csv.

Cela donnerai quelque chose comme ça:

Rep 001
fichier 001
fichier 002
fichier 003
fichier 004
Rep 002
fichier 001
fichier 002
fichier 003
Rep 003
fichier 001
fichier 002
fichier 003
fichier 004
...

En fait le problème ne vient pas des commandes mais de la logique.
Je n'ai aucune logique de prog et là je ne m'en sort pas du tout.

Merci

**jmelyn** · 26/04/2010, 13h51

Bonjour,

Est-ce que la commande ls -R1 > mon_fichier.csv est suffisante?

**Xalades** · 26/04/2010, 17h56

Envoyé par jmelyn

Bonjour,

Est-ce que la commande ls -R1 > mon_fichier.csv est suffisante?

Non car si je fais un simple commande ls -lR1 > file.csv ou ls -lR1S > file.csv cela me classe tout de la même façon.
Hors j'ai besoin de classer les répertoires par ordre alphabétique et les fichiers par ordre croissant de taille.

Merci quand même pour la réponse.

Ps: Je ferai un copié/collé du petit script foireux que j'ai fait.

**jmelyn** · 26/04/2010, 22h21

D'accord, je vois mieux ce dont il s'agit. Il est nécessaire de tout faire à la main puisque les critères sont assez peu standards (tri des répertoires par ordre alphabétique et des fichiers par taille). La récursivité est de mise. J'ai un premier jet qui semble fonctionner sur mon répertoire de musique (45GB de flac). La sortie n'est pas jolie, mais c'est une base de travail:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
#!/bin/bash
 
function listDir
{
  # record current dir contents
  lineList=$(ls -l $dir | awk '
    BEGIN {OFS="/"}
    NR > 1 \
    {
      if (substr($1, 1, 1) == "d") {print "d", $NF}
      else {print $5, $NF}
    }')
  local d f
  local -a dirArray fileArray
  for line in $lineList
  do
    if [[ ${line%/*} == d ]]
    then
      dirArray[d++]="${line#*/}"
    else
      fileArray[f++]="${line%/*}/$dir/${line#*/}"
    fi
  done
 
  # display current dir name and recursively call function
  for dirItem in ${dirArray[*]}
  do
    dir="$dir/$dirItem"
    echo $dir
    listDir "$dir"
    dir="${dir%/*}"
  done
 
  # sort and display files in current dir
  echo "${fileArray[*]}" | tr ' ' $'\n' | sort -t "/" -n -k 1,1
}
 
dir=$1
listDir $dir

Le programme, ce sont les deux lignes du bas qui appellent la fonction qui s'appelle elle-même pour chaque sous-répertoire rencontré.

Et maintenant, ça convient mieux?

**Xalades** · 27/04/2010, 00h15

Envoyé par jmelyn

D'accord, je vois mieux ce dont il s'agit. Il est nécessaire de tout faire à la main puisque les critères sont assez peu standards (tri des répertoires par ordre alphabétique et des fichiers par taille). La récursivité est de mise. J'ai un premier jet qui semble fonctionner sur mon répertoire de musique (45GB de flac). La sortie n'est pas jolie, mais c'est une base de travail:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
#!/bin/bash
 
function listDir
{
  # record current dir contents
  lineList=$(ls -l $dir | awk '
    BEGIN {OFS="/"}
    NR > 1 \
    {
      if (substr($1, 1, 1) == "d") {print "d", $NF}
      else {print $5, $NF}
    }')
  local d f
  local -a dirArray fileArray
  for line in $lineList
  do
    if [[ ${line%/*} == d ]]
    then
      dirArray[d++]="${line#*/}"
    else
      fileArray[f++]="${line%/*}/$dir/${line#*/}"
    fi
  done
 
  # display current dir name and recursively call function
  for dirItem in ${dirArray[*]}
  do
    dir="$dir/$dirItem"
    echo $dir
    listDir "$dir"
    dir="${dir%/*}"
  done
 
  # sort and display files in current dir
  echo "${fileArray[*]}" | tr ' ' $'\n' | sort -t "/" -n -k 1,1
}
 
dir=$1
listDir $dir

Le programme, ce sont les deux lignes du bas qui appellent la fonction qui s'appelle elle-même pour chaque sous-répertoire rencontré.

Et maintenant, ça convient mieux?

Bonsoir,

Impressionnant le code ! Je ne m'attendais pas du tout à un script aussi complexe. On est loin de ce que j'essayai de faire

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
#!/bin/bash
 
result=(ls -al)
 
while read line "$result"
do
        if [ -d "$line" ]; then
                ls -lrS | sed -e 1d | awk '{print $1,$2,$5,$6,$7,$8}' | sort > file.csv
        fi
done

Je suis débutant dans le shell et je ne sais vraiment pas comment m'y prendre.

Voici ce que me retourne le tiens:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
root@xala-serv:/home/xala/Musique# ./test.sh
/Kanka
ls: ne peut accÃ©der /Kanka: Aucun fichier ou dossier de ce type
 
/plop
ls: ne peut accÃ©der /plop: Aucun fichier ou dossier de ce type
 
167//result.csv
639//xaladio
748//test.sh

Je ne sais pas si ça vient de moi ou du script mais apparemment ça ne fonctionne pas.
Pour info, pour ce test sur ma machine, le script est dans le répertoire contenant deux autres répertoires pleins de fichiers divers.

Merci
Cdlt

**N_BaH** · 27/04/2010, 01h18

Je viens tirer aussi les oreilles à jmelyn :
il est rarement utile, et toujours périlleux* d'utiliser ls dans des scripts!!
d'autant que Bash dispose du Développement des chemins, par exemple :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

stat -c'%s %n' ~/*

affiche la taille et le chemin/nom des fichiers et répertoires du /home/$USER

maintenant, reste la question de la profondeur que tu souhaites donner à ta recherche : doit-elle aller dans tous les sous-répertoires, ou seulement dans les sous-répertoires immédiats d'un répertoire donné ?

* dans le sens d'acrobatique : ça contraint à des {manip,gestic}ulations surfaitatoires du code.

pour ma part, ne considérant que les sous-répertoires immédiats :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
#!/bin/bash
 
auMoinsUnFichier() {
   item=$1
   if [ -f "$item" ]
   then #echo  "{dir##*/}"
# affichage en gras du nom des répertoires
        echo -e "\e[01m${dir##*/}\e[m"
        for file in $@
        do [ -f "$file" ] && stat -c'%s %n' "$file"
        done | sort -n | sed 's/.*\/\([^/]*.*\)/\1/'
   else shift
        [ -n "$1" ] && auMoinsUnFichier "$@"
   fi
}
 
#[ -d ~/CSVs ] || mkdir ~/CSVs
Dir="${1:-.}"
for dir in $Dir/*
do [ -d "$dir" ] && {
      auMoinsUnFichier $dir/*
   }
done #> ~/CSVs/results.csv

**Xalades** · 27/04/2010, 10h38

Envoyé par N_BaH

Je viens tirer aussi les oreilles à jmelyn :
il est rarement utile, et toujours périlleux* d'utiliser ls dans des scripts!!
d'autant que Bash dispose du Développement des chemins, par exemple :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

stat -c'%s %n' ~/*

affiche la taille et le chemin/nom des fichiers et répertoires du /home/$USER

maintenant, reste la question de la profondeur que tu souhaites donner à ta recherche : doit-elle aller dans tous les sous-répertoires, ou seulement dans les sous-répertoires immédiats d'un répertoire donné ?

* dans le sens d'acrobatique : ça contraint à des {manip,gestic}ulations surfaitatoires du code.

pour ma part, ne considérant que les sous-répertoires immédiats :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
#!/bin/bash
 
auMoinsUnFichier() {
   item=$1
   if [ -f "$item" ]
   then #echo  "{dir##*/}"
# affichage en gras du nom des répertoires
        echo -e "\e[01m${dir##*/}\e[m"
        for file in $@
        do [ -f "$file" ] && stat -c'%s %n' "$file"
        done | sort -n | sed 's/.*\/\([^/]*.*\)/\1/'
   else shift
        [ -n "$1" ] && auMoinsUnFichier "$@"
   fi
}
 
#[ -d ~/CSVs ] || mkdir ~/CSVs
Dir="${1:-.}"
for dir in $Dir/*
do [ -d "$dir" ] && {
      auMoinsUnFichier $dir/*
   }
done #> ~/CSVs/results.csv

Bonjour N_BaH,

Nickel ton script retourne ce que je voulais. Le truc c'est qu'il ne me retourne pas le résultat dans le fichier results.csv mais vers stdout. Et il me manque des informations comme la taille, la date et heure de création des fichiers.

Mais il quelque chose qui me gène c'est que le script est encore moins compréhensible pour moi que le précédent. Où pourrais je en apprendre plus sur le shell bash ?

En tout cas merci à vous deux de vous être penché sur mon problème.

**N_BaH** · 27/04/2010, 11h42

Bonjour Xalades,

Envoyé par Xalades

Le truc c'est qu'il ne me retourne pas le résultat dans le fichier results.csv mais vers stdout.

C'est prévu, mais mis en commentaire; il faut également décommenter le 'echo' au-dessus du commentaire concernant la mise en gras, et commenter celui en dessous.

Et il me manque des informations comme la taille, la date et heure de création des fichiers.

À la vue de ton exemple de sortie désirée, ce nétait pas évident.
Par contre, les systèmes *n?x ne conservent pas la date de création des fichiers.
Il est possible d'accéder à trois dates :
dernier accès
dernière modification
dernier changement

Mais il quelque chose qui me gène c'est que le script est encore moins compréhensible pour moi que le précédent.

Où pourrais je en apprendre plus sur le shell bash ?

en lisant l'ABS, le manuel de référence et le man , ou devrais-je dire les manpages des commandes utilisées,
en ayant une console ouverte en permanence pour y passer des commandes au lieu de jouer de la souris...

**Xalades** · 29/04/2010, 16h00

en lisant l'ABS, le manuel de référence et le man , ou devrais-je dire les manpages des commandes utilisées,
en ayant une console ouverte en permanence pour y passer des commandes au lieu de jouer de la souris...

Salut N_BaH !

Merci pour les liens, et pour info j'utilise mes machine via putty donc si je clic c'est pour faire des c/c entre mon windob et mes nux

Sinon concernant le script voici comment je l'ai modifié:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
#!/bin/bash
 
FileSearch() {
   item=$0
   if [ -f "$item" ]
   then echo -e  "---${dir##*/}---"
        for file in $@
        do [ -f "$file" ] &&  ls -l "$file"
        done | sort -n | awk '{print $1 "," $2 "," $5 "," $6 "," $7 "," $8}'
   else shift
        [ -n "$0" ] && FileSearch "$@"
   fi
}
 
[ -d ~/CSVs ] || mkdir ~/CSVs
Dir="${1:-.}"
for dir in $Dir/*
do [ -d "$dir" ] && {
     FileSearch $dir/*
    }
done > ~/CSVs/db.csv

Pour le moment ça me va, à voir avec le temps. Si tu as des modif ou remarques sur cette variante de ton script n'hésites pas à me le dire.

En tout cas merci.

Script création CSV

Shell et commandes GNU

Discussions similaires

Partager

Partager