Discussion :

[clement_74]

Bonjour,
j'essai de modifier un txt en fonction de son contenu.

le txt peut être vide ou non...
si il est vide l'ajout d'une ligne doit pouvoir se faire.
si il est déjà rempli, je dois pouvoir vérifier le contenu, éventuellement modifier l'état d'une ligne et si toutes les lignes sont ok, éventuellement en ajouter une autre.

d'habitude j'ai pas de souci pour créer un txt et écrire dedans... mais les possibilités d'écriture/ajout/lecture ne me paraissent pas si compatibles que ça!
pour accéder au contenu d'un fichier les 3 lignes ci dessous marchent bien:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
            fichier_suivi_dt = open(r"chemin" + os.sep + str(dt_modifiee) + os.sep + "Suivi.txt", "r")
            self.liste_suivi_dt = fichier_suivi_dt.readlines()
            fichier_suivi_dt.close()

par contre pour la modifier au besoin... il faut que je passe en mode open "w" ou "a+"
le code ci dessous me semble prometteur dans le sens ou deux open sont imbriqués (l'un en mode write et l'autre en mode lecture/ajout).
mais j'ai beau tourner les possibilités dans tous les sens... j'ai toujours une possibilité qui ne passe pas (soit je ne peux pas ajouter une ligne, soit je ne peux pas lire ou contrôler le contenu d'un fichier....

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
    def update(self, file_path, old, new):
        fh, abs_path = mkstemp()
        with open(fh,'w') as new_file:
            with open(file_path, "a+") as old_file:
                if any(new[1:10] in s for s in self.liste_suivi_dt): #self.liste_suivi_dt contient la liste du contenu de mon fichier old
                    for line in old_file:
                        new_file.write(line.replace(old, new))
                    copymode(file_path, abs_path)
                    remove(file_path)
                    move(abs_path, file_path)
                else:
                    new_file.write(new)
                    copymode(file_path, abs_path)
                    remove(abs_path)
                    move(abs_path, file_path)

le code ci dessus est une bonne piste?
merci!

[wiztricks]

Salut,

Un fichier texte est constitué de lignes de longueur arbitraire. Pour le modifier, le plus simple est de le lire ligne par ligne et d'écrire (ligne par ligne) une nouvelle version (avec le nouveau contenu) avec ou sans changements.

- W

[clement_74]

ok, merci!
donc en gros, c'est pas la peine de chercher à mettre à jour/modifier un txt.
Et finalement, un code comme ci-dessous est n'est finalement pas trop moche?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
fichier = open(r"C:\Users\clement\Desktop\test_csv\data_test.txt", "w")
fichier.write("ligne1\n")
fichier.write("ligne2\n")
fichier.write("ligne3\n")
fichier.close()
 
fichier = open(r"C:\Users\clement\Desktop\test_csv\data_test.txt", "r")
liste_lignes = fichier.readlines()
fichier.close()
 
liste_lignes[1]="newline2\n"
 
fichier = open(r"C:\Users\clement\Desktop\test_csv\data_test.txt", "w")
for i in range(0, len(liste_lignes), 1):
    fichier.write(liste_lignes[i])
fichier.close()

A la base je voulais éviter d'ouvrir plusieurs fois successivement le fichier que je souhaitais traiter.
Si je comprend bien, les lignes ci dessus correspondent à:
lignes 1-5 => creation du fichier (si il n'existe pas) et remplissage ligne par ligne puis fermeture du fichier
lignes 7-9 => ouverture du fichier en mode lecture et enregistrement du contenu dans une liste puis fermeture du fichier
ligne 11 => mise à jour de la liste
lignes 13-16 => réouverture du fichier en mode écriture (il existe déjà donc ça le réinitialise en effaçant le contenu tout seul) puis écriture ligne par ligne en fonction du contenu de la liste et enfin, fermeture

[wiztricks]

Salut,

Et finalement, un code comme ci-dessous est n'est finalement pas trop moche?

Vous pourriez améliorer le côté Python en utilisant la construction with open(...) as f (un context manager).
Après côté algorithme, lire tout le fichier, modifier quelques lignes et écrire le tout va bien pour de petits fichiers.
Lorsqu'ils sont plus gros, on a peut être intérêt à traiter par paquets de lignes (voir le paramètre de .readlines).
Côté écriture fabriquer un tampon en mémoire et l'écrire d'un seul coup pourra être plus efficace (fichier.write(''.join(liste_lignes)).

- W

[clement_74]

ok, merci
j'ai donc tout rebasculé avec des with open,
je vais regarder de plus près les paramètres du readlines au cas ou un jour ce type de manip s'applique sur de gros fichiers (là ce n'était pas le cas (10 lignes max)).

[Sve@r]

Bonjour

mais les possibilités d'écriture/ajout/lecture ne me paraissent pas si compatibles que ça!

Sisi, ça fonctionne très bien pour peu qu'on sache comment ça se passe.
Le mode "r" permet de lire, le mode "r+" permet de lire et aussi d'écrire
Le mode "w" permet d'écrire (si le fichier existe déjà il est alors vidé au préalable), le mode "w+" fait comme "w" tout en offrant aussi la possibilité de lire ce qui a été écrit
Le mode "a" permet d'écrire à la fin. Toute écriture se fera toujours à la fin (même si le pointeur n'est pas à la fin, au moment d'écrire il se place d'abord à la fin). Le mode "a+" fait comme "a" tout en offrant aussi la possibilité de lire
Ensuite la seconde chose qu'il faut comprendre, c'est que même si on peut lire et écrire, il n'y a qu'un seul pointeur. Donc si on lit un truc et qu'on veut le remplacer, il faut alors revenir en arrière (file.seek) pour pouvoir écrire par dessus.
La 3° chose c'est que justement quand on écrit, on ne fait que remplacer ce qui existe, il n'y a pas d'insertion. Si par exemple un fichier contient deux lignes "toto" et "tutu" (donc en réalité "toto\ntutu\n"), si tu reviens au début et que tu écris "abc" ça donnera alors "abco\ntutu\n", et si tu écris "abcde" ça donnera alors "abcdetutu\n" et tu n'as alors plus qu'une seule ligne.

donc en gros, c'est pas la peine de chercher à mettre à jour/modifier un txt.

Ben tout dépend de ce qu'on veut faire. Remplacer un "a" par un "x" (ou tous les "a" par des "x") ça va, remplacer "hello" par "Salut la Terre ici Mars" ça ira moins bien...

mais j'ai beau tourner les possibilités dans tous les sens...

Oui ben déjà faire du remove sur un fichier ouvert...
Et (accessoirement), quand tu écris...

Code python :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
if truc:
	actionA
	copymode(file_path, abs_path)
	remove(file_path)
	move(abs_path, file_path)
else:
	actionB
	copymode(file_path, abs_path)
	remove(file_path)
	move(abs_path, file_path)

...tu ne sens pas confusément que ça pourrait s'écrire...

Code python :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
if truc:
	actionA
else:
	actionB
copymode(file_path, abs_path)
remove(file_path)
move(abs_path, file_path)

???

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
fichier = open(r"C:\Users\clement\Desktop\test_csv\data_test.txt", "w")
for i in range(0, len(liste_lignes), 1):
    fichier.write(liste_lignes[i])
fichier.close()

Dommage que readlines ne t'ai pas fait penser à writelines...

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
fichier = open(r"C:\Users\clement\Desktop\test_csv\data_test.txt", "w")
fichier.writelines(liste_lignes)
fichier.close()

je vais regarder de plus près les paramètres du readlines au cas ou un jour ce type de manip s'applique sur de gros fichiers (là ce n'était pas le cas (10 lignes max)).

Le problème ne vient pas du fichier petit ou gros (je viens de faire un test sur 15 millions de lignes et readlines a tout ingurgité) mais du traitement que tu fais ensuite. Parce que travailler sur 15 millions de lignes ça prendra 1 million de fois plus de temps que travailler sur 15 lignes.