Discussion :

[olivier1969]

Bonjour à tous ;

Je reprend du code Perl vers Python et je bute sur un bout de code qui me permet de 'découper' un chaîne de plusieurs dizaines de milliers de caractères en morceau de 160 caractères :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
        ### Decoupage du fichier en chaines de 160 caractères
        @t1 = $texte =~ m/(.{160})/g ;

Je désirerai ne pas utiliser de boucle pour arriver à ce résultat (ça je sais faire).

Est il possible de faire l’équivalent en python ?

Merci pour votre aide !!


PS : Ce bout de code n’étant pas optimal car il perd la dernière séquence si elle fait moins de 160 caractères.

[master4]

Bonjour,

C'est possible de le faire avec la compréhension de listes mais toutefois, il y a un petit "for" dedans.

[olivier1969]

Oui ça m’intéresse alors , merci

[master4]

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
 
chaine = "votre chaine de caractères"
n = 160 # nombre de caractères à découper
chaine_decoupee = [chaine[i:i+n] for i in range(0, len(chaine), n)]

[BufferBob]

salut,

attention que la méthode par slicing ne produit pas tout à fait le même résultat

par exemple si on considère la chaine ABCDEFGHIJKLMNOPQRSTUVWXYZ qu'on veut découper par blocs de 4 :

avec Perl :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
$ perl -e 'my $texte = "ABCDEFGHIJKLMNOPQRSTUVWXYZ"; my @t1 = $texte =~ m/(.{4})/g; print join(", ", @t1);'
ABCD, EFGH, IJKL, MNOP, QRST, UVWX

avec Python via slicing :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
$ python -c 'texte = "ABCDEFGHIJKLMNOPQRSTUVWXYZ"; print ", ".join([texte[i:i+4] for i in range(0, len(texte), 4)])'
ABCD, EFGH, IJKL, MNOP, QRST, UVWX, YZ

avec Python via regexp (findall(r'.{160}', texte)):

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
python -c "import re; texte = 'ABCDEFGHIJKLMNOPQRSTUVWXYZ'; print(', '.join(re.findall(r'.{4}', texte)))"
ABCD, EFGH, IJKL, MNOP, QRST, UVWX

[olivier1969]

Merci à tous les deux ;

La solution de master4 est celle que je vais conserver car justement je tiens à récupérer les caractères 'restants' ... Mais je dois tester sur un fichier de plusieurs dizaine de Mo voir le tps que ça met à être traité ( 17000 fichiers par jours de 30Mo en moyenne )

Bufferbob , pourquoi n'ai je pas pensé au findall (bientôt les vacances)??? c'est ce qui ressemble le plus au code d'origine .

[BufferBob]

justement je tiens à récupérer les caractères 'restants'

note qu'on pouvait aussi envisager findall('.{1,160}', texte) dans ce cas.

Mais je dois tester sur un fichier de plusieurs dizaine de Mo voir le tps que ça met à être traité ( 17000 fichiers par jours de 30Mo en moyenne )

hmmm... il y a bien une différence de rapidité, les regex sont un peu plus lentes, mais c'est pas non plus ça qui va mettre ta machine à genoux

sur un fichier unique de ~600M :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
test slicing :
8.76s
8.60s
8.61s
 
test regexp  :
9.04s
9.18s
8.97s

m'est avis que c'est plutôt tout le reste du code, notamment les 17000 ouvertures/lectures de fichiers qui vont prendre le plus de temps

un test de 1700 passes sur un même fichier de ~30M :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
test slicing :
total: 749.186s     average: 0.441s
 
test regexp  :
total: 754.923s     average: 0.444s

5s de différence sur un processus total de près de 12min, c'est finalement assez minime.

bientôt les vacances

🥳

[olivier1969]

Super , merci pour ces tests BufferBob ,

5s de différence sur un processus total de près de 12min, c'est finalement assez minime.

Effectivement la différence n'est pas significative ...

note qu'on pouvait aussi envisager findall('.{1,160}', texte) dans ce cas.

Et que du coup je vais corriger dans le script Perl en attendant la version python ; merci

[CosmoKnacki]

Tu peux aussi lire directement le fichier par paquets avec f.read(160), et aussi, si tu en as la possibilité, éviter de créer une liste géante et lui préférer un itérateur, exemple:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
from functools import partial
 
with open('fichier.txt', 'rb') as fh:
    result = iter(partial(fh.read, 160), b'')

Attention car dans ce cas l'itérateur n'est viable qu'au sein du with (car dés que tu en sors le fichier est fermé).
Si malheureusement tu dois absolument produire la liste, une simple modification suffit:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

    result = list(iter(partial(fh.read, 160), b''))