Discussion :

[Nico_projet]

Bonjour à tous,
Pour un projet perso, je cherche à utiliser Python pour travailler sur des fichiers csv avec des formats et des données complément hétérogènes, je m'explique :
- plusieurs fichier csv en input, tous différents dans leur format, leur taille, l'ordre des colonnes, comportant tous les mêmes données mais avec des formats très différents. Par exemple la colonne des dates (sans toujours un titre de colonne) en "2021/03/01" ou "01-03-2021" , les colonnes dans des ordres différents etc...
- Je voudrais utiliser Python pour analyser ces fichiers, "détecter " ces dates et les sortir en output sur un format tableau commun. Les formats sont différents, sans titre de colonne et sans ordre commun donc difficilement identifiable pour du parsing classique.
Est-ce que Python est le bon outil ?
Merci pour votre aide et vos avis et bonne journée
Nico

[wiztricks]

Salut,

Est-ce que Python est le bon outil ?

Python est un langage de programmation, donc un bon outil pour programmer çà ou autre chose...

Mais programmer, c'est d'abord un travail de conception (à quoi va bien pouvoir ressembler le truc que j'ai besoin et comment le construire)... puis une fois qu'on a un plan qui tient la route, on peut partir à coder (en Python ou dans n'importe quel autre langage).

- W

[charliemtx]

Hello,

Le langage Python est un couteau suisse... vraiment... et pour répondre à votre question, oui, il existe des moyens simples et rapides de faire ce que vous dîtes ; néanmoins, si vous posez la question, vous êtes certainement "novice" en la matière et je vous conseille de commencer par les bases (cours Open Classroom par exemple).

Enfin, renseignez vous sur le module "pandas" qui sera crucial dans votre projet ; il est muni (entre autres) des fonctions "pandas.read_csv()" et "pandas.read_excel" qui vous permettent de "lire et charger" une version "pythonisée" de vos fichiers en quelques lignes.

Pour l'anecdote, je travaille en banque (côte salle de marché), et j'ai un avantage indéniable à tout faire en python par rapport à mes collègues qui bossent en VBA, voire directement sur les feuilles Excel...

Bon courage !

[Nico_projet]

Merci a tous les deux pour vos réponses.
Quelle serait d'après vous la démarche à suivre pour correctement préparer le projet, avant de démarrer l'écriture du code, donc les réflexions et l'archi techniques ?
Nico

[charliemtx]

Quelle serait d'après vous la démarche à suivre pour correctement préparer le projet, avant de démarrer l'écriture du code, donc les réflexions et l'archi techniques ?

Je n'ai pas de formation académique, ma réponse ne sera peut-être pas la meilleure, ne la prenez pas pour vérité absolue : je suis plutôt d'avis de me lancer directement dans l'écriture du code, par petit bout, comme indiqué dans mon message précédent.

Premier exercice : téléchargez un fichier .csv (ou créez le), et essayer de "lire" le fichier via le module "pandas". ça devrait donner quelque chose comme ça :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
import pandas as pd
 
filename = 'myFile.csv'
df = pd.read_csv(filename)
print(df)

Si cela vous semble abstrait, on part d'assez loin et je vous invite à regarder les tutos sur Internet (que vous pouvez suivre step by step)

[Nico_projet]

Merci Charlie, je vais essayer cet exemple.
Bonne soirée. Nico

[wiztricks]

Salut,

Quelle serait d'après vous la démarche à suivre pour correctement préparer le projet, avant de démarrer l'écriture du code, donc les réflexions et l'archi techniques ?

Partez d'exemples de vos fichiers CSV.

Essayez d'imaginer les traitements à faire pour deviner la présence d'une entête (ou pas), le délimiteur, le type des différentes colonnes et le format des dates.
Çà va vous donner une idée du problème à résoudre et de l'appétit pour aller chercher un peu sur Internet ce qui a déjà été fait dans ce domaine.

note: vous pouvez aller regarder l'état de l'art directement mais sans avoir étudié un peu le problème par vous même, vous n'aurez pas encore assez de recul pour jauger les différentes solutions proposées.

pandas ne devine pas le type de données qu'il y a dans les fichiers (et encore moins le format des dates).... Et si vous voulez juste lire un fichier CSV, le module csv suffit et sait deviner quelques unes des informations intéressantes.

- W

[Sve@r]

Bonjour

Ici un bon résumé des diverses problématiques d'un CSV...