Script python pour tri de fichiers

Bonjour à tous,

Je suis débutant dans l'écriture de script et surtout en python et mon maître de stage veut que je lui en écrive un ! Génial !

Je dispose d'un serveur dédié nous servant à stocker des fichiers qui vont être envoyés par des machines.
Les fichiers seront de la forme XXXXX.txt et XXXXX.bin avec XXXXX l'id de la machine qui a envoyé les fichiers.
Je cherche à réaliser un script permettant de récupérer l'id de la machine, de créer un dossier du nom de l'id de la machine et d'y transférer les fichiers .txt et .bin. Si le dossier existe déjà il suffit juste de transférer les fichiers dans le dossier correspondant pas besoin de recréer le dossier évidemment !

Je pense que c'est assez simple à réaliser mais je suis vraiment débutant en python donc si qqun peut m'aider !

Bonne journée à tous !

Tu as déjà fait quelque chose que tu pourrais nous montrer voir vraiment ou tu coinces, car là j'ai plus l'impression que tu demandes un script tout fait.

Si tu n'as rien fait oriente toi vers la librairie 'os' (https://docs.python.org/2/library/os.html) et son sous-module 'os.path' (https://docs.python.org/2/library/os.path.html), c'est ce qui sert à gérer les fichiers avec python. Pour le reste c'est du traitement basique si tu sais programmer un minimum tu devrais pouvoir te débrouiller.

En faite je ne comprend pas comment adapter os.path à mon problème, j'ai également essayer:
import re
m = re.search('[^.]*','xxxx.txt')

sauf que mon problème est que j'ai plusieurs fichiers de noms differents qui vont arrivés donc je ne peut pas saisir à la main le paramètre xxxx .... J'avais penser à faire cette fonction mais dans une boucle qui balaye tous les fichiers de mon répertoire et c'est la où je bloque :/

Alors, pour ce qui est de parcourir un dossier et ses sous-dossiers, tu peux utiliser 'os.walk()', cette fonction permet une lecture récursive d'un dossier et te renvoie trois objet (https://docs.python.org/2/library/os.html#os.walk)

Pour ce qui est de récupérer l'ID, il te suffira d'enlever l'extension au troisième argument renvoyer par 'os.walk()', pas besoin d'une regex pour ça, il te suffit d'utiliser 'os.path.splitext()' qui va te renvoyer deux objets, le premier sera ton id et le second sera l'extension. (https://docs.python.org/2/library/os....path.splitext)

C'est exactement ce que je regarder merci ^^
Mais ce que je ne comprend pas c'est comment récuperer le 1ier fichier que os.walk a parcourue, le deuxieme ect..
Par exemple j'ai un fichier boite_noire et dedans un fichier1.txt, fichier1.bin, fichier2.txt, fichier2.bin

En utilisant os.walk() comment je fait pour récuperer le nom du premier fichier pour qu'ensuite je fasse os.splitext(.txt) et os.splitext(.bin) ?

C'est cette partie que j'arrive pas à comprendre :/

Tu passes le chemin du dossier que tu veux parcourir à os.walk(), je suis parti du postulat que tous tes fichiers seront dans un répertoire commun avant que tu ne les transfères dans leurs dossiers respectif.

Du coup si tes fichiers sont dans un dossier boite_noire (Passe le chemin absolu à os.walk(), ça évitera des erreurs si tu ne lances pas ton script à partir du même endroit), ça donnera un code dans ce genre:

Code:

---

1 2 3 4 5 6

import os for root, dirs, files in os.walk('boite_noire'): for name in files: Traitement...

---

Dacc ducoup dans la partie traitement il va exécuter les splitext pour chaque file du répertoire ?

Je vais essayer ça merci beaucoup ^^

Bah pour ce que j'ai compris de ton besoin, oui tu vas exécuter le splitext ainsi que le reste de ton traitement (Vérification de l'existence du dossier correspondant à l'ID, déplacement des fichiers, etc...) dans ta boucle.

Je te conseille quand même de commencer par afficher chaque donnée que te renvoie os.walk() pour être sûr de ce que tu obtiens, ce n'est pas forcément très intuitif au début.

Oui merci j'essaye d'afficher les noms de dossiers sans l'extension la ^^

Ok j'ai réussi à afficher les fichiers sans leurs extension si qqun veut :Pièce jointe 273574

Utilise la balise code (Le #) au lieu d'un screen c'est plus pratique.

Et pour ton code, fait attention, ton chemin n'est pas absolu dans l'os.walk(), je suppose que ton script est dans /var, mais si jamais tu changes l'emplacement du script, ou que tu essaies de le lancer depuis un autre endroit, ton script ne fonctionnera plus.

Par contre, la regex fonctionne mais je sais pas si c'est le mieux, os.path.splitext() fait le même travail que ta regex ^^

Je met mon script sur le serv sur le dossier parent donc mon chemin est absolue je pense. Le regex me permet de faire les 2 extensions en 1 ligne mais peut être c'est mieux 2 splitext ?
J'essaye ça pour créer un dossier du nom du fichier mais j'ai une erreur :
code:
Pièce jointe 273626

erreur:
Pièce jointe 273630

Ton chemin ne commence pas par '/' il n'est donc pas absolue, si tu te situe bien dans '/var' le chemin absolue de ton dossier serait '/var/www/boite_noire'.
Ensuite, fais attention au indentation, en python c'est l'indentation qui défini les différents bloc de code, un try est un bloc et un except un bloc lié au bloc try.
De plus, ton os.mkdir() ne fonctionnera pas, cette fonction attend une chaîne de caractère en entrée contenant un chemin, ce n'est pas du tout le cas là. (Utilise os.path.join() pour concaténer différentes partie d'un chemin, tu seras sûr d'avoir un chemin correct en sortie)

Je te conseillerais d'aller voir quelque tutos sur les base de python, ça t'aideras à mieux comprendre le fonctionnement et la syntaxe de python.

J'ai ce script qui fonctionne à moitier j'ai l'impression que l'expression else ne fonctionne pas qqun peut m'aider ?
Pièce jointe 273785

j'obtient cette erreur:
Pièce jointe 273790

Lorsque je créer des fichiers test1.txt, test2.txt il crée bien des répertoires nommés test1 et test2 et déplace les fichiers dedans mais lorsque je rajoute un test1.txt il ne le déplace pas dans le répertoire existant.

J'ai aussi essayer ça (un peu plus propre):
Pièce jointe 273801

Mais j'ai toujours la même erreur

Le message d'erreur est explicite, qu'est-ce que tu ne comprends pas?

Je ne comprend pas comment corriger l'erreur

Et bien tu as deux solution, soit tu supprimes le fichier de destination soit tu testes sont existence, avant de faire le shutil.move().

Dans le post #13 je le fait le test pour savoir si le dossier existe mais ça me met quand même l'erreur :(

Non, dans le poste en question tu testes si le chemin "'www/boite_noire/'+m.group(0)" est un dossier, sinon tu le moves.

En aucun cas tu ne testes l’existence du fichier (Puisque pour arriver au shutil.move(), il faut que le chemin soit un chemin de fichier), je te laisse aller regarder les docs que je t'ai donner dans mon premier post pour savoir comment tester l’existence d'un fichier.

Ah j'ai compris pourquoi ça plante:
Vu que ma machine va envoyer plusieurs fois un fichier texte qui a le même nom a chaque fois (test1.txt) ça plante. Ducoup faut peut être que je rename le fichier ?

Pourquoi veux-tu rename le fichier?

Soit ton fichier test1.txt n'est jamais modifier, auquel cas tu testes l'existence de ce fichier, si il existe, bah tu ne fais rien et si il n'existe pas tu fait ton shutil.move().

Soit ton fichier peut-être modifier par rapport à sa précédente copie, du coup tu testes l'existance du fichier et si il existe tu le supprimes avant de faire ton shutil.move().

Oui mais moi je veux pas le supprimé justement je veux dans mon dossier test1 tous les fichiers test1.txt mais il a pas l'air de vouloir vu qu'ils ont le même nom ducoup j'essaye ça:
Pièce jointe 274059
Pour que mes fichiers n'ai pas le même nom (mon maître de stage veut que je lui rajoute la date donc ça tombe bien) mais il rename avant d'envoyer le fichier dans le répertoire alors que la ligne de code est avant u_u

Existe t-il un moyen de déiiter la fonction os.walk ? Car je ne veut pas qu'il parcours les fichiers dans les répertoires .

Bah en fait non, puisque de base tu ne sais pas quel fichier tu vas devoir bouger, faut bien parcourir le répertoire pour savoir quels fichiers tu vas avoir besoin de bouger.

Après tu peux très bien faire un os.walk(), stocker ce qui t’intéresses dans une variable (Liste, dictionnaire, ...) et faire un traitement sur cette variable après.

Citation:

---

Envoyé par Scott06

Existe t-il un moyen de déiiter la fonction os.walk ? Car je ne veut pas qu'il parcours les fichiers dans les répertoires .

---

os.walk, c'est pour parcourir les arborescences. Pour récupérer les fichiers d'un répertoire, os.listdir (ou os.scandir) suffit.

- W

Ducoup j'ai écrit ça avec os.listdir:
Pièce jointe 274206

Au départ j'ai mon dossier comme ça:
Pièce jointe 274199

Quand j'éxecute, l'erreur vient du dossier helloworld donc on peut l'ignorer ?
Pièce jointe 274201

Apres execution j'obtient bien ce que je veux:
Pièce jointe 274210

Avec les fichiers renommés et dataient:
Pièce jointe 274215

Mais quand je rajoute un fichier nommés comme précedemment:
Pièce jointe 274220

J'obtient ça:
Pièce jointe 274221

Je comprend pas pourquoi le fichier test1.txt est pas traité et pourquoi mon test2 disparaît il ne se range pas dans son répertoire.

Vraiment besoin d'aide la svp

Le mieux je pense c'est que tu reprennes l'algo sur papier pour remettre à plat ce que tu veux vraiment, parce que là je pense que ton script ne fait pas du tout ce que tu souhaites.

En gros tu listes tout ce qu'il y a dans 'www/boite_noire', pour chaque chemin présent dans ton répertoire, si ce n'est pas un dossier tu crées le dossier dossier, sans tester avant si le dossier existe déjà d'ailleurs. Ensuite tu déplaces le fichier .txt dans le répertoire créé précédemment et enfin tu renomme ce fichier .txt avec la date, et tu vires l'extension au passage.

L'erreur que t'as montrer c'est juste que ton fichier helloworld.txt existe déjà dans le dossier helloworld, il n'a pas été renommé. Et je pense que test1.txt n'est pas pris en compte car ton script plante en permanence avant d'arriver dessus, c'est la seule explication logique que je vois là.

Edit : Et pour ce qui est du code et des tracebacks, utilises la fonction code présent dans l'éditeur de message du site, c'est beaucoup plus pratique que des screens.

Le problème saute aux yeux, tu nommes ton fichier du même nom que ton répertoire, de plus avec shutil.move, tu peux directement mettre la bonne destination directement.

Et encore de plus, un programme va très vite à s'exécuter, donc ton système de renommage n'est pas bon avec la date, utilise un timestamp (time.time()). pour préfixer tes noms de fichiers.

Où est le problème de nommer un répertoire comme son fichier ?

Tu écrases ton répertoire par ton fichier, et tu ne vois pas le problème ? :aie:

Et sur linux, tout est fichier.

J'écrase mon répertoire par mon fichier ?????? Pourquoi mon fichier ce retrouve dans mon répertoire alors ? je prend juste le nom de mon fichier pour créer un répertoire je l'écrase pas ?

Tu dis qu'il y a disparition de fichiers, c'est donc soit tu les supprimes, soit tu les écrases par quelque chose.

Et tes images n'aident pas, poste du code, pas des images.

Pourtant pas difficile.

Un exemple fait rapidos.

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17

import os import shutil import time   source = './sources/' dest = './dest/'   fichiers = os.listdir(source)   for f in fichiers : rep = f.split('.')[0] if not os.path.isdir(dest + rep) : os.mkdir(dest + rep) shutil.move(source + f, '{dest}{rep}/{timestamp}-{fichier}'.format(dest=dest, rep=rep, timestamp=time.time(), fichier=f))

---

J'ai pas de chemin de destination parce qu'il change en fonction des fichiers que je lis

Suffit de remplacer la variable dest par un chemin que tu créés dans ta boucle, il faut que tu réussisses à t’approprier le code que t'as fourni bistouille avec les besoins que tu as. Le code qu'il t'as fourni est un exemple sans plus.

Bon j'ai réussi à faire le script si qqun le veut !

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19

#!/usr/bin/python # -*- coding:Utf-8 -*- import os import time   d = 'path'   date = time.strftime('%Y_%m_%d_%H_%M_%S') filesAll = os.listdir(d) filesValid= [i for i in filesAll if i[-4:]=='.txt']   for f in filesValid:   newName = f[:-4]+'_'+date+'.txt' try: os.mkdir('{0}/{1}'.format(d, f[:-4])) except: print 'Directory {0}/{1} already exists'.format(d, f[:-4]) os.system('mv {0}/{1} {0}/{2}/{3}'.format(d, f, f[:-4], newName))

---