Regroupement par blobs

Version imprimable

29/12/2011, 18h04
waouni

Regroupement par blobs

Bonjour,

Dans un contexte d'archivage, je voudrais regrouper des blobs par paquet de 100000 et les tarer ?

Avez-vous une idée sur comment faire?
30/12/2011, 12h58
frp31

les blobs attaques la plage !!!!!!!!!!!!!!!*

heu c'est quoi un blob ? un bloc de données ?

=========

mais sur le principe si un blob = 1 fichier ou 1 fichier = n blobs (n constant)
il suffit de faire un script qui boucle sur l'analyse des fichiers qui les archives en tar avec horodatage et compression par exemple...

===========

*référence culturelle pas si obscur que ça...
30/12/2011, 13h29
waouni

Effectivement, dans mon cas, les blobs sont des fichiers d'extraction de la base.
1 fichier=1Blob.

En gros, j'ai des milliers de fichiers et je veux les "tarer" par paquet de 100 000.

Voilà mon besoin.

tu peux aussi si ça t'arrange faire par taille de fichier plustot que par lot de n fichiers....

Code:

tar -cf – dbbackup.db | split -b 700m – db_backup.tar

ça fera des fichiers tar de 700m maximum chacuns només db_backup.taraa, db_backup.tarab, db_backup.tarac etc...

====================

sinon par lots de fichiers,

faut compter les boucles sur un principe du style : à adapter/tester/améliorer
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 count=0 numfichier=0 while [ $numfichier -lt 100000 ] ; do ls | while read do tar upf truc.$count.$(date +%Y%m%d).tar $REPLY numfichier=$((numfichier + 1)) done count=$(($count + 1)) # pour numeroter les fichiers tar numfichier=0 # pour compter les fichiers dans chaque tar done # essayer de finir proprement rm /tmp/liste & for i in *.tar ; do gzip $i ; done & unset ..... # un par variables

30/12/2011, 14h24
waouni

Merci beaucoup.

Dans mon cas, je dois passer par le 2eme exemple, je testerai.

Merci encore une fois.
30/12/2011, 14h28
waouni

par contre pour le 1er exemple, ça restera toujours valable si j'ai un ensemble de fichier à "tarer" (en gros mon entrée c'est un dossier qui les contient)et pas un fichier de type ".db" ?
30/12/2011, 15h27
frp31

oui ça marche aussi avec des répértoires "entiers"

J'ai en fait deux petites questions pour le 2eme exemple:
1- 'numFichier' doit etr incrémenté par 10 000 ou par 1 ?
2- 'ls | while read' c'est quoi son role tant qu'on est deja dans le boucle?
Citation:
Envoyé par frp31
tu peux aussi si ça t'arrange faire par taille de fichier plustot que par lot de n fichiers....

Code:

tar -cf – dbbackup.db | split -b 700m – db_backup.tar

ça fera des fichiers tar de 700m maximum chacuns només db_backup.taraa, db_backup.tarab, db_backup.tarac etc...

====================

sinon par lots de fichiers,

faut compter les boucles sur un principe du style : à adapter/tester/améliorer
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 count=0 numfichier=0 while [ $numfichier -lt 100000 ] ; do ls | while read do tar upf truc.$count.$(date +%Y%m%d).tar $REPLY numfichier=$((numfichier + 1)) done count=$(($count + 1)) # pour numeroter les fichiers tar numfichier=0 # pour compter les fichiers dans chaque tar done # essayer de finir proprement rm /tmp/liste & for i in *.tar ; do gzip $i ; done & unset ..... # un par variables

Dans ton exemple, on va parcourir toujours les memes fichiers,
y'a pas une décrémentation de 100000 oubliée par hasard ?
Citation:
Envoyé par frp31
tu peux aussi si ça t'arrange faire par taille de fichier plustot que par lot de n fichiers....

Code:

tar -cf – dbbackup.db | split -b 700m – db_backup.tar

ça fera des fichiers tar de 700m maximum chacuns només db_backup.taraa, db_backup.tarab, db_backup.tarac etc...

====================

sinon par lots de fichiers,

faut compter les boucles sur un principe du style : à adapter/tester/améliorer
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 count=0 numfichier=0 while [ $numfichier -lt 100000 ] ; do ls | while read do tar upf truc.$count.$(date +%Y%m%d).tar $REPLY numfichier=$((numfichier + 1)) done count=$(($count + 1)) # pour numeroter les fichiers tar numfichier=0 # pour compter les fichiers dans chaque tar done # essayer de finir proprement rm /tmp/liste & for i in *.tar ; do gzip $i ; done & unset ..... # un par variables

Voici une solution beaucoup plus simple pour les interessés:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
 
 
 
 
  #positionnement dans le répertoire 
   cd $DIR			
    #Nb de fichiers par archive
     N=100000 #à remplacer par le nombre que vous voulez
     s=""
     i=0
     j=0
     for f in `ls *.txt` #à remplacer par le filtre qui va bien
     do
    i=$((i+1))
    s=$s" "$f
    if [ $i -eq $N ]
    then
        j=$((j+1))
         tar -c -f archive_$j.tar $s
        i=0
        s=""
    fi
   done  
  # Ce petit bout de code c'est à rajouter pour finir les fichiers restants (si N=5 et on 12 fichiers, 2 fichiers vont rester=> ce petit bout de code rajoute les 2 fichiers restants)
 
   i=$((i+1))
   s=$s" "$f
   if [ $i -ne $N ]
   then
    j=$((j+1))
      tar -c -f archive_$j.tar $s
 
	  else
		echo $RED_COLOR"La compression des fichiers d'archive a échoué!"$INITIAL_COLOR
	  fi
   fi

04/01/2012, 16h21
frp31

Citation:

Envoyé par waouni

Dans ton exemple, on va parcourir toujours les memes fichiers,
y'a pas une décrémentation de 100000 oubliée par hasard ?

oui surement c'est juste les grandes lignes comme ça pour le principe... mais bon quelqu'un a répondu en améliorant le truc...
04/01/2012, 17h49
waouni

Oui c'est moi ce quelqu'un :)

Merci beaucoup :)

Citation:

Envoyé par frp31

oui surement c'est juste les grandes lignes comme ça pour le principe... mais bon quelqu'un a répondu en améliorant le truc...
06/01/2012, 11h37
waouni
Bonjour,

Dans mon algo, quand j'arrive à:
Code:

1 2 tar -c -f archive_$j.tar $s
J'ai un problème de "The parametre List is to long" vu que je fais regroupement de 100 000 fichiers.

Avez vous une idée sur comment résoudre ce problème ?

Merci d'avance