Script Python, traitement fichier csv

Bonjour,

Je suis novice en Python, je connais juste les bases mais j'aurai besoin de créer un script qui traite un fichier csv avec séparateur "," pour le transformer en xls ou google sheet comportant les 2 colonnes initiales du csv puis qu'il retire dans la 2e colonne "kW" et qui calcule dans une 3e colonne dans la cellule 2 la moyenne des chiffres de la 2e colonne.

Fichier de base (exemple):

"Date", "Puissance"

2024-01-12 10:00:00,93.3 kW

2024-01-12 13:00:00,92.8 kW

2024-01-12 16:00:00,92.2 kW

2024-01-12 19:00:00,90.4 kW

2024-01-12 22:00:00,89.6 kW

2024-01-13 01:00:00,89.7 kW

Peut-on m'aider?

Complément: Peut-on passer au script un paramètre (le nom du fichier) exemple sub1.csv, sub2.csv?

Merci beaucoup

Bonjour.

Pour générer votre csv, regardez la doc de csv.DictWriter.
Oups, j'avions mal lu :aie:

Pour lire votre csv, regardez la doc de csv.DictReader.

Supprimer " kW", si vous avez les bases en Python, absolument rien de sorcier.

Idem pour générer votre 3ème valeur.

Pour passer des arguments à votre script Python, voir https://python.developpez.com/cours/..._arguments.php. Là encore, rien de méchant.

Et enfin, pour faire un fichier Excel par exemple, vous pouvez utiliser openpyxl.

Bonjour

Citation:

---

Envoyé par Dingobec

et qui calcule dans une 3e colonne dans la cellule 2 la moyenne des chiffres de la 2e colonne.

---

Tout lire (les lignes ayant une valeur) en additionnant les valeurs puis ensuite écrire la ligne de titre en rajoutant en 2° colonne la moyenne ainsi calculée.

Citation:

---

Envoyé par Dingobec

Complément: Peut-on passer au script un paramètre (le nom du fichier) exemple sub1.csv, sub2.csv?

---

Tout à fait. C'est ce qu'on nomme les "arguments d'un programme".
Il n'y a rien à faire, c'est automatique. Dès qu'on met des paramètres à un script, celui-ci les reçoit automatiquement. Tout ce qui reste à faire est de savoir où ils sont pour pouvoir aller les chercher et les récupérer.
Ils sont dans la liste sys.argv. Donc il est nécessaire d'importer le module "sys" pour cela (import sys) puis une fois cette instruction posée, les arguments sont récupérables via sys.argv[1] (le premier nom passé à l'appel), sys.argv[2] (le second nom passé à l'appel), etc. Et sys.argv[0] contient le nom du programme tel qu'il a été appelé.

Citation:

---

Envoyé par Arioch

Pour lire votre csv, regardez la doc de csv.DictReader

---

(goûts et couleurs) j'aurais plutôt parlé de csv.reader peut-être plus simple pour un débutant (est-il à l'aise avec les dictionnaires ? un dictionnaire est-il vraiment utile ici ? etc).

Bonjour,

Citation:

---

Envoyé par Dingobec

qui calcule dans une 3e colonne dans la cellule 2 la moyenne des chiffres de la 2e colonne.

---

EDIT: Précisé dans les messages suivants

C'est quoi cette moyenne ? Une moyenne cumulative ?

Avec pandas c'est rapide, mais pas pour les débutants, donc je le place juste pour la curiosité

EDIT: Code modifié selon précision du PO.

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

import pandas as pd   chemin_csv = 'src/test.txt' chemin_xls = 'src/test.xlsx'   df = pd.read_csv(chemin_csv, sep=',')   df['Puissance'] = df['Puissance'].str.replace(' kW', '').astype(float)   moyenne_puissance = df['Puissance'].mean()   df['Moyenne'] = pd.NA   df.loc[0, 'Moyenne'] = moyenne_puissance   df.to_excel(chemin_xls, index=False, engine='openpyxl')

---

Pièce jointe 653232

Citation:

---

Envoyé par fred1599

C'est quoi cette moyenne ? Une moyenne cumulative ?

---

Moi aussi j'ai pensé un peu à un truc dans le genre... puis j'ai révisé cette opinion en considérant plutôt qu'il voulait parler de la 3° colonne de la ligne de titre. Bon bref il nous dira mieux ce qu'il en est.

Comme je ne suis pas du tout du domaine et plutôt un vieux routard de l'électromécanique avec peu de connaissance en développement, les exemples vont m'aider.
En fait dans la 3e colonne que j'ajoute au fichier j'aurai juste une case qui contiendrait la moyenne de tous les éléments de la 2e colonne

Merci de votre super aide,

Citation:

---

Envoyé par Sve@r

(goûts et couleurs) j'aurais plutôt parlé de csv.reader peut-être plus simple pour un débutant (est-il à l'aise avec les dictionnaires ? un dictionnaire est-il vraiment utile ici ? etc).

---

Partant du principe que le PO a connaissance des bases en Python, je pars du principe que les listes, dictionnaires, tuples et leurs amis sont des notions connues. Et du coup, gérer dans un dictionnaire les données contenues dans le fichier csv fourni en entrée, moi ça me parle bien :D

Mais oui, csv.reader peut tout aussi bien faire l'affaire.

Heu... comme dit je suis vraiment à mes premiers balbutiements en python que je découvre, par contre, je peux vous designer, concevoir et mettre en exploitation un datacenter Tiers 3 ou 4 les yeux fermés :)

Donc au vue de tous vos commentaires, si je veux maintenant consolider, si on reprend mon exemple, sub1 + sub 2 dans un troisième fichier avec le même format, j'ouvre en lecture les 2 fichiers et en écriture un 3e fichier puis j'additionne ligne par ligne les éléments des 2 fichiers pour les envoyer dans le 3e? Est-ce que csv.reader fonctionne aussi pour ça ou il y a une meilleure méthode....On ne rigole pas svp :D

Merci

Citation:

---

Envoyé par Dingobec

On ne rigole pas svp :D

---

Non, on ne se moque jamais d'un débutant qui a bien compris que c'est à lui de bosser. Mais là en revanche il y a un souci soit de compréhension, soit de version.
Dans ta première demande, j'avais compris (et à mon avis les autres aussi) que tu voulais prendre UN csv et le traiter, rajouter la moyenne, etc. Puis ensuite passer au suivant, le traiter etc.

Maintenant il est question de prendre DEUX fichiers, les additionner (ce qui n'est alors plus du tout une moyenne) et créer un 3° fichier contenant la somme des deux.

Fatalement les deux problèmes ne sont pas équivalents et ne se solutionneront pas de la même façon...

Sinon pour répondre à ta question, csv.reader a juste pour but de lire un csv, rien de plus. Ce que tu fais de ce qu'il lit, c'est ton problème. Il n'ira jamais additionner, comparer, moyenner quoi que ce soit. Lui il lit et te donne ensuite la ligne lue découpée bien proprement. Et accessoirement si tu veux ensuite écrire ton résultat dans un csv (le même ou un autre) il te faut alors là passer par csv.writer (ou csv.DictWriter pour faire plaisir à Arioch :chin:). Oui c'est logique, read(er) c'est pour read (lire) donc pour écrire (write) c'est (write)r

Merci pour la réponse précise et les infos.

En fait concernant le premier point c'est OK, ça fonctionne bien et j'ai mes 2 premiers fichiers sub1 et sub2 de format identique
Donc j'ai sub1 (une armoire électrique) et sub2 (une autre armoire électrique). La puissance totale de ma, disons sous station, devient donc sub1 et sub2 en un fichier sub1_sub2.xls
Au final j'aurai bien 3 fichiers sub1, sub2 et sub1_sub2.
Sous excel ils appellent ça "consolider", quelle serait donc la meilleure méthode dans un script python?

Merci,

Citation:

---

Envoyé par Dingobec

quelle serait donc la meilleure méthode dans un script python?

---

Moi j'aurais foutu sub1 dans un onglet excel, sub2 dans un autre et dans le 3° positionné des formules de calcul. C'est souple et évolutif (on change sub1 ou sub2 le calcul est refait immédiatement et on peut facilement rajouter des lignes).
Python est un magnifique langage mais tout excellent qu'il soit, il ne sera jamais meilleur, pour manipuler du xls, que excel.

Mais si tes raisons te font préférer Python (oui ça permet d'automatiser la création) alors

Code:

---

1 2 3 4

with open("sub1.csv", "r", encoding="utf-8") as f1, open("sub2.csv", "r", encoding="utf-8") as f2: csv1=csv.reader(f1, delimiters=",") csv2=csv.reader(f2, delimiters=",") for (lig1, lig2) in zip(csv1, csv2): print(lig1, lig2)

---

Voilà un petit ersatz de début. zip() associe 2 tableaux (les contenus de csv1 et csv2) qui sont alors lus en parallèles et stockés dans lig1 et lig2. Là ils sont ici affichés mais rien n'interdit de traiter lig1 et/ou lig2 (tous deux des tableaux) pour additionner les éléments qui t'intéressent.

Merci bien, en effet le but est d'automatiser cela à des fins de reporting mensuel et/ou annuel dans looker studio.

sinon Looker Studio ne pourrait pas gérer directement tes fichiers csv?

Je pense que la solution évoquée plus haut de passer par pandas est la plus efficace et au final, peut-être la plus simple.
Sinon, il va falloir traiter des listes issues de plusieurs fichiers : bof à mon avis.

Bonjour,

Reprenant l'aide au script que vous m'avez aidé à mettre en place, je ne comprends pas comment je peux passer le nom du fichier csv en paramètre. Pouvez vous encore m'aider s'il vous plait.
Voici donc le code inspiré par vos réponse:

import pandas as pd

chemin_csv = '/test/TGHQ2.csv'
chemin_xls = '/test/TGHQ2.xlsx'

df = pd.read_csv(chemin_csv, sep=',')

df['Puissance'] = df['Puissance'].str.replace(' kW', '').astype(float)

moyenne = df['Puissance'].mean()

df['Moyenne'] = pd.NA

df.loc[0, 'Moyenne'] = moyenne

df.to_excel(chemin_xls, index=False, engine='openpyxl')

Merci de votre grande aide. :lol:

Mon script se nomme TGHQ et donc je pense que je dois le lancer avec TGHQ(TGHQ2.csv)(par exemple) et ajouter l'import sys dans le script.
J'ai essayé plusieurs manip avec sys.argv dans le script mais ça ne fonctionne pas, j'ai toujours une erreur:roll:

quelle erreur et quel est ton nouveau script avec argv ?

import pandas as pd
import sys

chemin_csv = '/test/',sys.argv[1],'.csv'
chemin_xls = '/test/',sys.argv[1],'.xlsx'

df = pd.read_csv(chemin_csv, sep=',')

df['Puissance'] = df['Puissance'].str.replace(' kW', '').astype(float)

moyenne = df['Puissance'].mean()

df['Moyenne'] = pd.NA

df.loc[0, 'Moyenne'] = float("%.2f" % moyenne)

df.to_excel(chemin_xls, index=False, engine='openpyxl')

Je pensais que l'on pouvais faire ça mais je suis néophyte et je ne connais pas assez.

si, c'est faisable, mais là tu ne donnes pas ton script qui est censé utilisé argv (je ne le vois pas dans ton code).
et pas l'erreur rencontrée.

c:\Test>python csv.py test
Traceback (most recent call last):
File "c:\Test\csv.py", line 1, in <module>
import pandas as pd
File "C:\Users\20008135\AppData\Local\Programs\Python\Python312\Lib\site-packages\pandas\__init__.py", line 62, in <module>
from pandas.core.api import (
File "C:\Users\20008135\AppData\Local\Programs\Python\Python312\Lib\site-packages\pandas\core\api.py", line 28, in <module>
from pandas.core.arrays import Categorical
File "C:\Users\20008135\AppData\Local\Programs\Python\Python312\Lib\site-packages\pandas\core\arrays\__init__.py", line 8, in <module>
from pandas.core.arrays.categorical import Categorical
File "C:\Users\20008135\AppData\Local\Programs\Python\Python312\Lib\site-packages\pandas\core\arrays\categorical.py", line 3, in <module>
from csv import QUOTE_NONNUMERIC
File "c:\Test\csv.py", line 7, in <module>
df = pd.read_csv(chemin_csv, sep=',')
^^^^^^^^^^^
AttributeError: partially initialized module 'pandas' has no attribute 'read_csv' (most likely due to a circular import)

Dans le script j'ai mis sys.argv[1].... je ne sais pas si c'est comme ça...
et je lance en mode commande python csv.py TGHQ2 (par exemple)

Je découvre la programmation et python et j'avoue que j'ai encore énormément de chose à découvrir. Mais là je bloque malgré mes recherches. Par contre si je ne passe pas d'argument et que je code en dure le nom du fichier ça fonctionne.:
import pandas as pd

chemin_csv = '/test/TGHQ2.csv'
chemin_xls = '/test/TGHQ2.xlsx'

df = pd.read_csv(chemin_csv, sep=',')

df['Puissance'] = df['Puissance'].str.replace(' kW', '').astype(float)

moyenne = df['Puissance'].mean()

df['Moyenne'] = pd.NA

df.loc[0, 'Moyenne'] = moyenne

df.to_excel(chemin_xls, index=False, engine='openpyxl')

Renomme ton fichier de script, s'appelant csv, il rentre en conflit avec le module python csv, que pandas essaie d'importer (ce qui est la source de l'erreur)

et j'ai beau regardé, je ne vois pas sys.argv[1] dans le code que tu nous montres (regarde le lien que j'ai donné qui explique le fonctionnement)

J'ai vu a posteriori son utilisation dans le post précédent (mais pas dans ton dernier, au moment où j'écris)

Citation:

---

Code:

---

1 2	chemin_csv = '/test/',sys.argv[1],'.csv' chemin_xls = '/test/',sys.argv[1],'.xlsx'

---

---

ce code fait de chemin_csv et chemin_xls des tuples ('/test/', 'THQ2', '.csv') et ('/test/', 'THQ2', '.xlsx'), pas une simple chaine.

Code:

---

1 2	chemin_csv = '/test/'+sys.argv[1]+'.csv' chemin_xls = '/test/'+sys.argv[1]+'.xlsx'

---

devrait mieux fonctionner.

PS: utilise la balise de code (bouton # de l'interface) pour publier ton code, ça conserve la mise en forme dont les tabulations, essentielles en python)

Hello, j'ai remplacer le nom du fichier script par toto au lieu de csv mais cela fait la même erreur que précédemment.
J'ai aussi modifié selon tes conseils le script:

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17

import pandas as pd import sys   chemin_csv = '/test/'+sys.argv[1]+'.csv' chemin_xls = '/test/'+sys.argv[1]+'.xlsx'   df = pd.read_csv(chemin_csv, sep=',')   df['Puissance'] = df['Puissance'].str.replace(' kW', '').astype(float)   moyenne = df['Puissance'].mean()   df['Moyenne'] = pd.NA   df.loc[0, 'Moyenne'] = float("%.2f" % moyenne)   df.to_excel(chemin_xls, index=False, engine='openpyxl')

---

tu peux mettre le nouveau message d'erreur

Citation:

---

Envoyé par Dingobec

j'ai remplacer le nom du fichier script par toto au lieu de csv mais cela fait la même erreur que précédemment.

---

Tu ne peux pas avoir le même message d'erreur si tu as modifié le nom de ton module csv.py

Bonjour,

Voici l'erreur reçue:
c:\Test>python toto.py test
Traceback (most recent call last):
File "c:\Test\toto.py", line 1, in <module>
import pandas as pd
File "C:\Users\20008135\AppData\Local\Programs\Python\Python312\Lib\site-packages\pandas\__init__.py", line 62, in <module>
from pandas.core.api import (
File "C:\Users\20008135\AppData\Local\Programs\Python\Python312\Lib\site-packages\pandas\core\api.py", line 28, in <module>
from pandas.core.arrays import Categorical
File "C:\Users\20008135\AppData\Local\Programs\Python\Python312\Lib\site-packages\pandas\core\arrays\__init__.py", line 8, in <module>
from pandas.core.arrays.categorical import Categorical
File "C:\Users\20008135\AppData\Local\Programs\Python\Python312\Lib\site-packages\pandas\core\arrays\categorical.py", line 3, in <module>
from csv import QUOTE_NONNUMERIC
File "c:\Test\csv.py", line 7, in <module>
df = pd.read_csv(chemin_csv, sep=',')
^^^^^^^^^^^
AttributeError: partially initialized module 'pandas' has no attribute 'read_csv' (most likely due to a circular import)

Elle est tout à fait identique à la précédente. :?

Citation:

---

Envoyé par Dingobec

Elle est tout à fait identique à la précédente.

---

Non,

Citation:

---

Envoyé par traceback

File "c:\Test\toto.py", line 1, in <module>

---

Ce qui permet de vérifier que le changement de fichier a bien été fait.

Tu as d'autres fichiers python dans ton projet ou c'est le seul ?

Si c'est le seul, tu devrais peut-être réinstaller pandas...

J'en ai un autre: titi.py qui est comme toto.py si ce n'est que le chemin est écrit en dur dans le script

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

import pandas as pd   chemin_csv = '/test/TGHQ2.csv' chemin_xls = '/test/TGHQ2.xlsx'   df = pd.read_csv(chemin_csv, sep=',')   df['Puissance'] = df['Puissance'].str.replace(' kW', '').astype(float)   moyenne = df['Puissance'].mean()   df['Moyenne'] = pd.NA   df.loc[0, 'Moyenne'] = moyenne   df.to_excel(chemin_xls, index=False, engine='openpyxl')

---

et j'ai cette erreur là:

c:\Test>python titi.py
Traceback (most recent call last):
File "c:\Test\titi.py", line 16, in <module>
df.to_excel(chemin_xls, index=False, engine='openpyxl')
File "C:\Users\20008135\AppData\Local\Programs\Python\Python312\Lib\site-packages\pandas\util\_decorators.py", line 333, in wrapper
return func(*args, **kwargs)
^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\20008135\AppData\Local\Programs\Python\Python312\Lib\site-packages\pandas\core\generic.py", line 2417, in to_excel
formatter.write(
File "C:\Users\20008135\AppData\Local\Programs\Python\Python312\Lib\site-packages\pandas\io\formats\excel.py", line 943, in write
writer = ExcelWriter(
^^^^^^^^^^^^
File "C:\Users\20008135\AppData\Local\Programs\Python\Python312\Lib\site-packages\pandas\io\excel\_openpyxl.py", line 57, in __init__
from openpyxl.workbook import Workbook
ModuleNotFoundError: No module named 'openpyxl'

ceci avec la console de commande par contre avec spyder ça marche...:roll:

j'ai désinstallé et réinstallé pandas pour info

Citation:

---

Envoyé par Dingobec

ModuleNotFoundError: No module named 'openpyxl'

---

Le message est clair, faut l'installer, car manquant

Super, ça fonctionne. Merci pour votre aide :D

N'est-ce pas résolu ?

Hello, oui cela a été résolu, merci encore à tous :)