Addition et contrôle de temps

Version imprimable

18/04/2022, 00h52
pratick

Addition et contrôle de temps

Bonjour
J'ai une colonne qui contient plusieurs durées séparées par un point-virgule dans chaque cellule,
04:10;02:10;08:00....
Je désirerais contrôler sont temps si supérieurs à 240 alors j'enlève 60 minutes et additionné le résultat
J'arrive à le faire avec une boucle for
Mais je voudrais le faire avec une matrice pour augmenter la vitesse
Quelqu'un a une idée
Cordialement
18/04/2022, 06h35
Invité

Bonjour,
Va falloir être plus clair...
Pas sûr que numpy va te faire gagner en performance.
18/04/2022, 09h45
pratick

suite à un import CSV dans panda
j'ai une colonne et dans chaque cellule j'ai plusieurs durée le nombre est aleatoire

08:00;06:30;09:30;02:00... --->26h
06:30;09:30;02:00;02:00.... -->20
02:00;02:00;08:00;08:00.... -->20

j'ai besoin d'avoir la somme de chacune des cellules
par contre si une des valeurs est superieur à 04:00 alors je dois enlevé une heure

ce qui représenterais ça
07:00;05:30;08:30;02:00 -->23h
05:30;08:30;02:00;02:00 -->18h
02:00;02:00;07:00;07:00 -->18h
j'espere que cela est plus claire

amicalement

Je ne connais pour ainsi dire rien à pandas, une rapide recherche m'a permis d'obtenir un tableau en 2D (enfin je crois) :

Code:

1
2
3
4
5
tab = pd.read_csv(r'C:\Users\toto\Desktop\Scripts\TEST\pour_test.csv',sep=';',header=None)
       0      1      2      3
0  08:00  06:30  09:30  02:00
1  06:30  09:30  02:00  02:00
2  02:00  02:00  08:00  08:00

Je te propose un truc comme ça :

Code:

1
2
3
4
5
6
7
8
9
>>> for line in tab.values:
	for i, cell in enumerate(line):
		cell=cell.split(':')
		cell[0], cell[1] = int(cell[0])*60, int(cell[1])
		if sum(cell)>240:
			cell[0] -= 60
			cell[0] = int(cell[0]/60)
			cell = f"{cell[0]:02d}:{cell[1]:02d}"
			line[i] = cell

Les pros te conseilleront mieux ! =)
Wait & See

Pour moi, pratiquement la même chose, en tout cas même logique :oops: ... (problème d'indentation après cell[0] -= 60 et réserve sur le line[i] = cell puisque line est une variable interne à la boucle)

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
import random
 
maximum = 4*60
 
h = list(range(1,12))
m = list(range(0,46,15))
datas = []
for i in range(0,12):
    datas.append([f"{random.choice(h):02d}:{random.choice(m):02d}" for x in range(0,4)])
 
for item in datas:
    print(item, end =" -> ")
    totalmn = 0
    decrement = ""
    for heure in item:
        h,m = (int(x) for x in heure.split(":", 1))
        h *=60
        if h+m > maximum:
            h -= 60
            decrement += " -1 "
        totalmn += h+m
    heuret = int(totalmn/60)
    print(f"{heuret:2.0f}h {totalmn-(heuret*60):02d}mn", decrement)

Salut,

Si on regarde un peu ce qu'on peut faire avec pandas, déjà il faut convertir les durées en une unité gérable (des minutes ou des timedelta) à la lecture du CSV.
Ce qui peut se faire avec:
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 data = '''08:00;06:30;09:30;02:00 06:30;09:30;02:00;02:00 02:00;02:00;08:00;08:00 ''' from io import StringIO import pandas as pd import datetime as dt f = StringIO(data) def str_to_dt(s): h, m = [ int(z) for z in s.split(':') ] return dt.timedelta(hours=h, minutes=m) df = pd.read_csv(f, sep=';', header=None, converters={ i: str_to_dt for i in range(5)})
Après on peut faire la somme de chaque lignes:
Code:

1 2 3 4 5 6 >>> df.sum(axis=1) 0 1 days 02:00:00 1 0 days 20:00:00 2 0 days 20:00:00 dtype: timedelta64[ns] >>>
ou récupérer la matrice des durées > 02h:
Code:

1 2 3 4 5 6 >>> df.ge(dt.timedelta(hours=4), axis=1) 0 1 2 3 0 True True True False 1 True True False False 2 False False True True >>>
et faire la somme des lignes (les booléens sont des entiers):
Code:

1 2 3 4 5 >>> df.ge(dt.timedelta(hours=4), axis=1).sum(axis=1) 0 3 1 2 2 2 dtype: int64
finalement, on obtient:
Code:

1 2 3 4 5 >>> df.sum(axis=1) - df.ge(dt.timedelta(hours=4), axis=1).sum(axis=1)*dt.timedelta(hours=1) 0 0 days 23:00:00 1 0 days 18:00:00 2 0 days 18:00:00 dtype: timedelta64[ns]
Tout ça pour dire qu'on doit pouvoir faire ça avec un code Python "normal" (comme l'ont montré mes collègues) en plus de lignes certes mais si on ne s'est pas plongé dans l'apprentissage des bases, ça va être duraille de le faire avec pandas.

- W

Citation:

Envoyé par pratick

pour augmenter la vitesse

Dans même code mais avec calcul de la "vitesse"

Note: sans panda: on lit le fichier texte ligne par ligne donc moins de consommation mémoire

Pour un fichier de 10 000 lignes (sur ssd et pas un foudre de guerre: i3)

Code:

1
2
3
4
5
6
7
01:30;04:00;01:00;09:45 --> 15h 15mn  -1 
03:45;11:30;03:15;08:45 --> 25h 15mn  -1  -1 
07:00;09:45;10:15;02:15 --> 26h 15mn  -1  -1  -1 
06:30;11:15;09:15;04:30 --> 27h 30mn  -1  -1  -1  -1 
...
0.2206135419983184     # avec print
0.06474568500198075    # sans affichage

Donc, ici c'est l'affichage qui ralenti (et ne compte pas), mais dans tous les cas c'est bien en dessous de la seconde (reste à savoir ce que l'on désire comme temps max ...). Tu ne donnes pas une idée du nombre de lignes et colonnes :(
avec 10 000 lignes et 44 colonnes, rien de plus méchant:

Code:

1
2
3
4
...
07:30;07:15;06:45;09:45;05:00;03:30;03:00;04:30;08:30;04:00;11:00;03:00;07:15;04:00;11:30;05:45;04:00;01:15;11:30;08:00;01:00;11:45;03:30;02:15;02:00;07:00;02:15;01:30;05:00;07:45;03:15;08:15;08:45;02:45;06:30;09:00;06:15;02:45;08:00;09:00;08:30;05:00;08:00;05:15 --> 234h 15mn  -1  -1  -1  -1  -1  -1  -1  -1  -1  -1  -1  -1  -1  -1  -1  -1  -1  -1  -1  -1  -1  -1  -1  -1  -1  -1  -1  -1 
1.17615556400051
0.5425831639986427

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
 
import random
import timeit
 
maximum = 4*60
nombre = 10000  # nombre de lignes dans csv
display = True
 
h = list(range(1, 12))
m = list(range(0,46, 15))
 
with open("test.csv", "w") as csv:
    for i in range(0, nombre):
        items = [f"{random.choice(h):02d}:{random.choice(m):02d}" for x in range(0, 4)]
        csv.write(";".join(items) + "\n")
 
 
def decomposer(line: str):
    totalmn = 0
    decrement = ""
    for heure in line.split(";"):
        h, m = (int(x) for x in heure.split(":", 1))
        h *= 60
        if h+m > maximum:
            h -= 60
            decrement += " -1 "
        totalmn += h+m
    heuret = int(totalmn/60)
    return int(totalmn/60), totalmn-(heuret*60), decrement
 
def lire():    # devrait être un générateur
    with open("test.csv", "r") as csv:
        for line in csv:
            heure, minute, decrement = decomposer(line)
            # yield heure, minute
            msg = f"{line.strip()} --> {heure:2.0f}h {minute:02d}mn"
            if display:
                print(msg, decrement)
 
 
print(timeit.timeit(lire, number=1))
display = False
print(timeit.timeit(lire, number=1))

------------

Te reste à mesurer le même fichier avec panda (ou autres) pour pouvoir faire un choix ;) Si tu ne le fais pas, tu ne peux avoir de réponse.

bonjour,
tout d'abord merci
car j'ai déjà appris beaucoup de chose et des directions complètements différentes
et une fonction "{random.choice(h):02d}:{random.choice(m):02d}" en prime..

par contre je suis obligé de passé par un csv téléchargé car je fais de nombreux filtre pour limiter les lignes
et je me retrouve avec un csv de ce type
j'ai utilisé le code de papajoker ou lenarvalo, mais a chaque fois que j'essais de remplace la ligne par une list il refuse de me modifier car il ne comprend pas le premier caractère
je continue mais essais et je vous tien au courant de mon avancé.

Encore une immense merci pour toute cette immense entraide
Code:

1 2 3 4 5 6 7 df=pd.read_csv('C:\\Users\II1154\\Desktop\\essais_excel\\1.csv', sep=';', encoding="ISO-8859-1") CODE_REGION;BT_INTERNE;TEMPS_RESERVATION NO;OUI;"02:12 HEURES;02:12 HEURES" NO;OUI;"06:15 HEURES;06:15 HEURES;06:15 HEURES" NO;OUI;"04:45 HEURES;04:45 HEURES" NO;OUI;"06:15 HEURES;06:15 HEURES;06:15 HEURES;06:15 HEURES;06:15 HEURES"

19/04/2022, 18h23
papajoker
Si tu changes de format du jour au lendemain, normal que le code ne fonctionne plus :lol:

Tu dis faire un "filtre" avec panda, c'est donc toi qui choisi délibérément de resortir ces 2 colonnes :calim2: CODE_REGION;BT_INTERNE; ? Tu pouvais donc sortir avec pandas un tableau plus exploitable ?

Avec ton nouveau format, c'est adaptable de niveau débutant : A toi de faire un filtre sur la colonne, par exemple:
Code:

1 2 3 4 5 # decoupe line en colonnes si colonne ne se termine pas par "HEURE": continue colonne = on_supprime_le_mot_heure(colonne)
on_supprime_le_mot_heure()
- soit on supprime la fin
- soit on récupère que le début

Citation:

je fais de nombreux filtre pour limiter les lignes

pas clair, si je fais un filtre c'est pour avoir que les lignes pertinantes (par exemple sur une année), le nombre de ligne n'a rien à voir : dans mon exemple, 10 000 lignes c'est du pipi de chat pour python, puisque ton fichier vient d'excel, je suppose que tu n'as pas 1 million de lignes ?
Et il est extraimement simple de faire un filtre avec du python pur :
Code:

1 2 3 4 # decoupe line en colonnes si colonne1 != "NO" ou colonne2 != "OUI" : continue # ou telmot est dans ligne: continue

Bonjour papajoker
voila j'ai integré les modification prévu,
en essayant de diminué les vitesse, je suis passé d'un chargement en 12 minutes de mon XLSX d'origine à 2 minutes actuellement avec un script VBSCRIPT associé au python
et en effet j'ai filtré sur NO puis remplacé par vide le mots " HEURES"
et déclenché un split sur la colonne horaire pour créer une liste avec les heures
en ajoutant la partie, calcult de temps, j'ai ajouté 10 minutes sans print
par contre j'ai une petite erreur je n'arrive pas à enregistrer le résulta dans une colonne (temps_bt)

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
# -*- coding: utf-8 -*-
#write vbscript to file
import pandas as pd
import time
from io import StringIO
import pandas as pd
import datetime as dt
 
 
vbscript="""if WScript.Arguments.Count < 2 Then 
  WScript.Echo "Error! Please specify the source path and the destination. Usage: XlsToCsv SourcePath.xls Destination.csv" 
  Wscript.Quit 
End If 
Dim oExcel 
Set oExcel = CreateObject("Excel.Application") 
oExcel.DisplayAlerts = FALSE 'to avoid prompts
Dim oBook, local
Set oBook = oExcel.Workbooks.Open(Wscript.Arguments.Item(0))
local = true 
call oBook.SaveAs(WScript.Arguments.Item(1), 6, 0, 0, 0, 0, 0, 0, 0, 0, 0, local) 'this changed
oBook.Close False 
oExcel.Quit 
WScript.Echo "Done" 
""";
 
f = open('ExcelToCsv.vbs','wb')
f.write(vbscript.encode('utf-8'))
f.close()
 
 
# create a list with sheet numbers you want to process
sheets = map(str,range(1,2))
print(sheets)
time.sleep(1)
# convert each sheet to csv and then read it using read_csv
df={}
from subprocess import call
#excel='K:\\APPI\\crystal\BT\\liste_BT_202203.xlsx'
 
excel='C:\\Users\II1154\\Desktop\\essais_excel\\liste_BT_202203.xlsx'
for sheet in sheets:
    print(sheet)
    csv = 'C:\\Users\II1154\\Desktop\\essais_excel\\' + sheet + '.csv' 
 
##    csv = 'C:\\Users\II1154\\Desktop\\essais_excel\\' + sheet + '.csv' 
    call(['cscript.exe', 'C:\\Users\II1154\\Desktop\\essais_excel\\ExcelToCsv.vbs', excel, csv, sheet])
 
 
df=pd.read_csv('C:\\Users\II1154\\Desktop\\essais_excel\\1.csv', sep=';', encoding="ISO-8859-1")
 
print(df.columns)
print(df)
df =df [(df['CODE_REGION']=="NO")]
df =df [(df['AGENT_RESERVE'].notnull()) ]
df['TEMPS_RESERVATION'] = df['TEMPS_RESERVATION'].str.replace(' HEURES','')
 
 
 
df['TEMPS_RESERVATION'] = df['TEMPS_RESERVATION'].str.split(';')
df2 = pd.DataFrame(df)
print('df1',df['TEMPS_RESERVATION'])
 
h = list(range(1, 12))
m = list(range(0,46, 15))
maximum=270
I=0
df['temps_bt']=0
for horaire in df['TEMPS_RESERVATION']:
 
    totalBt=0
    for horaire1 in horaire:
        totalmn = 0
        decrement = ""
        h, m = (int(x) for x in horaire1.split(":", 1))
        h *= 60
 
        if h+m > maximum:
                h -= 75
                decrement += " -1 "
                totalmn += h+m
        totalmin=m+(h)
    totalBt=totalmin+totalBt
    df.at[I, 'temps_bt'] =totalBt
    print("totalBt",df.at[I, 'temps_bt'])
    I=I+1
df.to_csv('C:\\Users\II1154\\Desktop\\essais_excel\\2.csv',sep=';', encoding="ISO-8859-1",index=False)

2 pièce(s) jointe(s)

Hello,
Si je comprends bien tes données sources sont dans un fichier Excel, alors pourquoi t'embêter à passer par du python alors que tu peux tout faire dans Excel avec du VBA .
Données de test :

Citation:

CODE_REGION;BT_INTERNE;TEMPS_RESERVATION
NO;OUI;"02:12 HEURES;02:12 HEURES"
NO;OUI;"06:15 HEURES;06:15 HEURES;06:15 HEURES"
NO;OUI;"04:45 HEURES;04:45 HEURES"
NO;OUI;"06:15 HEURES;06:15 HEURES;06:15 HEURES;06:15 HEURES;06:15 HEURES"
NO;OUI;"08:00 HEURES;06:30 HEURES;09:30 HEURES;02:00 HEURES"
NO;OUI;"06:30 HEURES;09:30 HEURES;02:00 HEURES;02:00 HEURES"
NO;OUI;"02:00 HEURES;02:00 HEURES;08:00 HEURES;08:00 HEURES"

En utilisant une fonction personnalisée VBA :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 Function TempsReserv(Res) Dim arrTemps, elem Dim simpTps, cumulTps arrTemps = Split(Res, ";") For Each elem In arrTemps simpTps = TimeValue(Replace(elem, " HEURES", "") + ":00") If simpTps > TimeValue("04:00:00") Then simpTps = simpTps - TimeSerial(1, 0, 0) cumulTps = cumulTps + simpTps Next TempsReserv = Application.WorksheetFunction.Text(cumulTps, "[hh]:mm") End Function Sub TestTempsReserv() ' tester la fonction Debug.Print TempsReserv("04:12 HEURES;22:12 HEURES") End Sub
Pièce jointe 617634

Avec du code VBA (dans l'exemple ci-dessous pour plus de 200000 lignes) :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 Sub AllTempsReserv() Dim myRangeIn, myRangeOut As Range Dim myArrIn, myArrOut As Variant Set myRangeIn = Range("C2:C200082") Set myRangeOut = Range("D2:D200082") myArrIn = myRangeIn myArrOut = myRangeOut For i = 1 To UBound(myArrIn, 1) myArrOut(i, 1) = TempsReserv(myArrIn(i, 1)) Next i myRangeOut = myArrOut myRangeOut.NumberFormat = "[hh]:mm" End Sub
Pièce jointe 617635

Moins de 10 secondes pour 200000 lignes.

Je sais bien qu'ici c'est un forum Python mais il est bon de rappeler que parfois cela ne fait pas trop de mal d'utiliser un autre langage. Pour des questions concernant le code VBA, le faire dans le forum Excel Macros & VBA de Developpez.
Ami calmant, J.P

20/04/2022, 08h57
pratick

Bonjour
En en faite je ne suis jamais dans excel, c'est une application tierce qui m'exporte un fichiers XLSX

Cordialement
20/04/2022, 09h34
jurassic pork

Hello,

Citation:

Envoyé par pratick

en essayant de diminué les vitesse, je suis passé d'un chargement en 12 minutes de mon XLSX d'origine à 2 minutes actuellement avec un script VBSCRIPT associé au python

pourquoi passes-tu par du csv alors que tu peux lire directement du xlsx dans pandas. Exemple :

Code:

dfs = pd.read_excel(file_name, sheet_name=None)

Ami calmant, J.P
20/04/2022, 10h30
pratick

Salut jurassic pork
quand j'importe un XLSX dans panda (400000 lignes) il me faut quasiment 20 minutes pour l'importer
le meme en csv 1 minutes
le soucis est que j'ai que le fichiers XLSX, donc je le transforme en csv grace à un VBscript qui me prend 1 minutes

au final cela me prend moins de 2 voir 3 minutes pour tous avoir au lieu de 20 minutes

par contre il faut que je trouve un moyen de modifié ma requetes sur les calcules de temps car cette partis là me prend 15 minutes
cordialement
20/04/2022, 18h43
jurassic pork

Hello,

Citation:

Envoyé par pratick

quand j'importe un XLSX dans panda (400000 lignes) il me faut quasiment 20 minutes pour l'importer
le meme en csv 1 minutes
le soucis est que j'ai que le fichiers XLSX, donc je le transforme en csv grace à un VBscript qui me prend 1 minutes

au final cela me prend moins de 2 voir 3 minutes pour tous avoir au lieu de 20 minutes

par contre il faut que je trouve un moyen de modifié ma requetes sur les calcules de temps car cette partis là me prend 15 minutes
cordialement

Que fais-tu des données ensuite ? Parce qu'en passant par Excel et le VBA le traitement sera plus rapide qu'avec du Python. Pour 200000 lignes il ne faut que 10 secondes pour faire le traitement.

Hello,
si tu as Excel installé sur ton ordinateur, tu peux utiliser xlwings :

Citation:

Xlwings est une bibliothèque Python qui permet d’appeler facilement Python à partir d’Excel et vice versa. Il crée facilement la lecture et l’écriture vers et depuis Excel en utilisant Python. Il peut également être modifié pour agir comme un serveur Python pour Excel afin d’échanger des données de manière synchrone entre Python et Excel. Xlwings facilite l’automatisation d’Excel avec Python. xlwings (Open Source) est distribué sous licence BSD-3 en version free.

bibliothèques à charger depuis pypi : xlwings (dépendance: pywin32 sous windows) et python-csv (pour écrire un fichier csv)
Voici un code qui l'utilise :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 import xlwings as xw import csv import time from datetime import datetime, timedelta def tempsReserv(res,deltamax): arrTemps = res.split(';') cumuldelta = timedelta() for temps in arrTemps: t = datetime.strptime(temps,'%H:%M HEURES').time() delta = timedelta(hours=t.hour, minutes=t.minute) if delta >= deltamax: delta = delta - timedelta(hours=1) cumuldelta = cumuldelta + delta return cumuldelta start_time = time.time() excel_app = xw.App(visible=False) excel_books = excel_app.books wbk = excel_books.open('d:/dev/office/excel/timecontrol.xlsm') interm_time = time.time() print ("t1 : ",interm_time - start_time ) ws = wbk.sheets[0] nb_row = ws.range('A1').end('down').row datain = ws.range('C2:C' + str(nb_row)).value interm_time = time.time() print ("t2 : ",interm_time - start_time ) deltamax = timedelta(hours=4,minutes=0) tpslist = [] for x in datain: tps = tempsReserv(x, deltamax) hours, remainder = divmod(tps.seconds, 3600) minutes = remainder//60 tpslist.append('{:02}:{:02}'.format(tps.days*24 + hours,minutes)) interm_time = time.time() print ("t3 : ",interm_time - start_time ) ws.range('D2:D' + str(nb_row)).number_format = '@' ws.range('D2').options(transpose=True).value = tpslist with open('d:/temp/data.csv', 'w', newline='') as csvfile: writer = csv.writer(csvfile, delimiter=';') writer.writerows(ws.range('A1:D' + str(nb_row)).value) #wbk.save('d:/dev/office/excel/ClasseurN.xlsx') interm_time = time.time() print ("t4 : ",interm_time - start_time ) wbk.close() excel_app.quit()
Voici les différents temps relevés sur mon ordinateur pour un fichier source de plus de 400000 lignes :

Citation:

t1 : 1.770869255065918
t2 : 2.600065231323242
t3 : 14.207674503326416
t4 : 18.521145343780518

Donc moins de 20 secondes pour charger le fichier excel xlsm , le traiter et écrire le fichier csv de sortie.

Voici le début du fichier csv de sortie généré :

Citation:

CODE_REGION;BT_INTERNE;TEMPS_RESERVATION;
NO;OUI;"02:12 HEURES;02:12 HEURES";04:24
NO;OUI;"06:15 HEURES;06:15 HEURES;06:15 HEURES";15:45
NO;OUI;"04:45 HEURES;04:45 HEURES";07:30
NO;OUI;"06:15 HEURES;06:15 HEURES;06:15 HEURES;06:15 HEURES;06:15 HEURES";26:15
NO;OUI;"08:00 HEURES;06:30 HEURES;09:30 HEURES;02:00 HEURES";23:00
NO;OUI;"06:30 HEURES;09:30 HEURES;02:00 HEURES;02:00 HEURES";18:00
NO;OUI;"02:00 HEURES;02:00 HEURES;08:00 HEURES;08:00 HEURES";18:00

Ami calmant, J.P

27/04/2022, 00h33
pratick

Bonsoir jurassic pork
merci pour ton aide
en effet cela répond carrément à ma demande
par contre imagine avant de lancer le calcule, je veux faire un filtre sur la colonne 1 et conserver que les ligne que celle en "NO"
j'ai tenté ça mais sans succès

Code:

ws.Columns("A:I").AutoFilter(1,"NO")

Hello,
finalement ce n'est pas si simple que cela car l'autofiltre masque en fait des lignes et si il y a alors des lignes non contiguës, on ne peut pas récupérer les valeurs en une seule fois sauf en passant par le presse-papier. Voici une solution peut-être pas la plus simple. Principe :
1 - On applique le filtre.
2 - On copie les cellules alors visibles dans le presse-papier.
3 - On crée une feuille temporaire.
4 - On colle dedans le presse-papier, on efface le presse-papier et on lance le calcul sur la plage collée.
5 - On écrit l'ensemble des données de la feuille temporaire dans un fichier csv.
6 - On efface la feuille temporaire et on ferme le classeur.

le code :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
import xlwings as xw
import csv
import time
from datetime import datetime, timedelta
def tempsReserv(res,deltamax):
    arrTemps =  res.split(';')
    cumuldelta = timedelta()
    for temps in arrTemps:
        t =  datetime.strptime(temps,'%H:%M HEURES').time()
        delta = timedelta(hours=t.hour, minutes=t.minute)
        if delta >= deltamax:
            delta = delta - timedelta(hours=1)
        cumuldelta = cumuldelta + delta
    return cumuldelta
 
 
start_time = time.time()
excel_app = xw.App(visible=True)
excel_books = excel_app.books
wbk = excel_books.open('d:/dev/office/excel/timecontrol.xlsm')
interm_time = time.time()
print ("t1 : ",interm_time - start_time )
ws = wbk.sheets[0]
nb_row = ws.range('A1').end('down').row
ws.range("A1:C1").api.AutoFilter(1,"NO")
# copie des cellules visibles dans le presse-papier
ws.range('A1:C' + str(nb_row)).api.SpecialCells(12).copy   # xlCellTypeVisible = 12
ws.api.AutoFilterMode = False # effacer filtre
wbk.sheets.add('temp') # créer feuille temporaire
wst = wbk.sheets('temp')
wst.range('A1').select()
wst.api.paste # copie de la plage filtrée dans la feuille temporaire
wbk.app.api.CutCopyMode=False # effacer presse-papier
nb_row = wst.range('A1').end('down').row # dernière ligne
datain = wst.range('C2:C' + str(nb_row)).value
interm_time = time.time()
print ("t2 : ",interm_time - start_time )
deltamax = timedelta(hours=4,minutes=0)
tpslist = []
for x in datain:
    tps = tempsReserv(x, deltamax)
    hours, remainder = divmod(tps.seconds, 3600)
    minutes = remainder//60
    tpslist.append('{:02}:{:02}'.format(tps.days*24 + hours,minutes))
interm_time = time.time()
print ("t3 : ",interm_time - start_time )
wst.range('D2:D' + str(nb_row)).number_format = '@'
wst.range('D2').options(transpose=True).value = tpslist
with open('d:/temp/data2.csv', 'w', newline='') as csvfile:
    writer = csv.writer(csvfile, delimiter=';')
    writer.writerows(wst.range('A1:D' + str(nb_row)).value)
#wbk.save('d:/dev/office/excel/ClasseurN.xlsx')
wst.delete # effacer feuille temporaire
interm_time = time.time()
print ("t4 : ",interm_time - start_time )
wbk.close()
excel_app.quit()

Il y a peut-être une autre possibilité en récupérant ce qui est dans le presse-papier et le mettre dans un tableau python.

Ami calmant, J.P

27/04/2022, 12h05
pratick

Bonjour jurassic pork
et merci pour le temps que tu prends pour moi
je viens de faire un essais, et ça bloque

Code:

ws.range('A1:C' + str(nb_row)).api.SpecialCells(12).copy

et je ne comprends pas pourquoi
27/04/2022, 12h21
jurassic pork

il y a un message d'erreur ? si oui lequel ? Quelle est la version d'Excel, de python et de xlwings ?
27/04/2022, 17h49
pratick

pas de message d'erreur
elle tourne ce matin 3h toujours rien
XLWING0.20.8
PYTHON 3.9
Office 365 E5
27/04/2022, 18h08
jurassic pork

1 - Il faudrait vérifier dans le gestionnaire de tâche qu'il n' y a pas plein de sessions Excel qui tournent et les tuer.
2 - Rendre Excel Visible pendant le traitement
3 - faire un try finally pour fermer excel en cas de plantage
27/04/2022, 23h59
pratick

Bonjour
Je n'ai pas de message d'erreur
Il y que une session excel ouvert.
Il ouvre le fichier exécute son filtre.par contre il n'arrive pas à copier la selection
Il bloque durant des heures, sans possibilité d'aller au bout
28/04/2022, 10h08
jurassic pork

Hello,

Citation:

Envoyé par pratick

Bonjour
Je n'ai pas de message d'erreur
Il y que une session excel ouvert.
Il ouvre le fichier exécute son filtre.par contre il n'arrive pas à copier la selection
Il bloque durant des heures, sans possibilité d'aller au bout

est-ce qu'il y a des choses qui sont écrites dans la console (par ex les temps d'exécution) ?
Si tu débogues ton programme pas à pas, à partir de quelle ligne on ne passe plus à la ligne suivante ?
Ami calmant, J.P
05/05/2022, 13h10
pratick

Bonjour
excuse moi pour le long delais
tous passe bien jusque cette ligne
la console reste en rouge et rien ne ce passe durant des heures

j'ai la sensation que c'est l'API qui bloque certaine action

Code:

ws.range('A1:C' + str(nb_row)).api.SpecialCells(12).copy

Bonjour jurassic
j'ai trouver l'erreur et corriger en temps que telle merci pour tout

je mets là solution fonctionnelle chez moi
Cordialement

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
import xlwings as xw
from datetime import datetime, timedelta
def tempsReserv(res,deltamax):
    print("res",res)
    arrTemps =  res.split(';')
    cumuldelta = timedelta()
    for temps in arrTemps:
        t =  datetime.strptime(temps,'%H:%M HEURES').time()
        delta = timedelta(hours=t.hour, minutes=t.minute)
        if delta >= deltamax:
            delta = delta - timedelta(hours=1)
        cumuldelta = cumuldelta + delta
    return cumuldelta
 
 
 
 
 
 
wb_from = xw.Book(r"C:/Users/II1154/Downloads/BT/export_BT_20220425.xlsx")
wb_to = xw.Book(r"C:/Users/II1154/Downloads/BT/classeur.xlsx")
 
ws_from = wb_from.sheets['BT']
ws_to = wb_to.sheets['BT2']
 
# Copy the sheet BEFORE the sheet of another book.
#ws_from.api.Copy(Before=ws_to.api)
 
 
ws_from.range("A1:C1").api.AutoFilter(field:=1, Criteria1:="NO")
ws_from.range("A1:C1").api.AutoFilter(field:=31, Criteria1:="<>")
ws_from.range("A1:C1").api.AutoFilter(field:=7, Criteria1:="OUI")
 
 
 
ws_from.range('A1').expand('table').api.Copy()
wb_to.sheets['BT2'].select
wb_to.sheets['BT2'].range('A1').paste()
 
nb_row = wb_to.sheets['BT2'].range('A1').end('down').row # dernière ligne
datain = wb_to.sheets['BT2'].range('AG2:AG' + str(nb_row)).value
 
deltamax = timedelta(hours=4,minutes=0)
tpslist = []
for x in datain:
    tps = tempsReserv(x, deltamax)
    hours, remainder = divmod(tps.seconds, 3600)
    minutes = remainder//60
    tpslist.append('{:02}:{:02}'.format(tps.days*24 + hours,minutes))
wb_to.sheets['BT2'].range('BL2:BL' + str(nb_row)).number_format = '@'
wb_to.sheets['BT2'].range('BL2').options(transpose=True).value = tpslist
 
 
 
 
print(nb_row)
#wb_to.sheets['BT2'].select
print(tpslist)
#"ws_to.range('A1').api.select
print("3")
print("4")
# Copy the sheet AFTER the sheet of another book.
ws_from.range('B8').api.Copy()

re-bonjour

Pas obligatoirement d'accord, car utiliser datetime est à priori plus lent qu'une fonction "maison". Ici c'est ton calcul lourd dans ta boucle donc il faut impérativement tester

Un rapide test (sans doute à affiner) donne la fonction avec datetime() 10 fois plus lente :oops:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
import timeit
from datetime import datetime, timedelta
 
def tempsReserv(res,deltamax):
    #print("res",res)
    arrTemps =  res.split(';')
    cumuldelta = timedelta()
    for temps in arrTemps:
        t =  datetime.strptime(temps,'%H:%M HEURES').time()
        delta = timedelta(hours=t.hour, minutes=t.minute)
        if delta >= deltamax:
            delta = delta - timedelta(hours=1)
        cumuldelta = cumuldelta + delta
    return cumuldelta
 
def tempsReserv2(res,deltamax):
    arrTemps =  res.split(';')
    cumuldelta = 0
    for temps in arrTemps:
        h,m = (int(x) for x in temps[:-7].split(":", 1))   # A voir si cela passe toujours ...
        hm = h * 60
        if hm + m > deltamax:
            hm -= 60
        cumuldelta += hm+m
    # plus simple/rapide de retourner directement au bon format texte ?
    # h = cumuldelta//60
    # return f"{h:02d}:{cumuldelta-(h*60):02d}")
    return cumuldelta
 
test = "04:31 HEURES;02:31 HEURES;" *10  # 7-1 == 6 heures (60 heures et 20 minutes)
test = test[:-1]
print(test)
 
deltamax = timedelta(hours=4,minutes=0)
ret = tempsReserv(test, deltamax)
hours, remainder = divmod(ret.seconds, 3600)
minutes = remainder//60
t = timeit.timeit(lambda: tempsReserv(test, deltamax), number=100000)
print("tempsReserv", t, ret, f" ==> {ret.days*24+hours}:{minutes}")
print()
 
deltamax = 4*60
ret = tempsReserv2(test, deltamax)   # juste pour voir si les 2 fonctions retournes bien la même valeur
hours, remainder = divmod(ret*60, 3600)
minutes = remainder//60
t = timeit.timeit(lambda: tempsReserv2(test, deltamax), number=100000)
print("tempsReserv2", t, ret, f" ==> {hours}:{minutes}")

ps: je n'ai aucune idée si cette fonction tempsReserv() est le goulot d'étranglement, une fonction 10 fois plus rapide peut n'avoir qu'un faible impact au final