Discussion :

[Nico_projet]

Bonjour à tous,
Pour un projet perso, je cherche à utiliser Python pour travailler sur des fichiers csv avec des formats et des données complément hétérogènes, je m'explique :
- plusieurs fichier csv en input, tous différents dans leur format, leur taille, l'ordre des colonnes, comportant tous les mêmes données mais avec des formats très différents. Par exemple la colonne des dates (sans toujours un titre de colonne) en "2021/03/01" ou "01-03-2021" , les colonnes dans des ordres différents etc...
- Je voudrais utiliser Python pour analyser ces fichiers, "détecter " ces dates et les sortir en output sur un format tableau commun. Les formats sont différents, sans titre de colonne et sans ordre commun donc difficilement identifiable pour du parsing classique.
Est-ce que Python est le bon outil ?
Merci pour votre aide et vos avis et bonne journée
Nico

[wiztricks]

Salut,

Est-ce que Python est le bon outil ?

Python est un langage de programmation, donc un bon outil pour programmer çà ou autre chose...

Mais programmer, c'est d'abord un travail de conception (à quoi va bien pouvoir ressembler le truc que j'ai besoin et comment le construire)... puis une fois qu'on a un plan qui tient la route, on peut partir à coder (en Python ou dans n'importe quel autre langage).

- W

[charliemtx]

Hello,

Le langage Python est un couteau suisse... vraiment... et pour répondre à votre question, oui, il existe des moyens simples et rapides de faire ce que vous dîtes ; néanmoins, si vous posez la question, vous êtes certainement "novice" en la matière et je vous conseille de commencer par les bases (cours Open Classroom par exemple).

Enfin, renseignez vous sur le module "pandas" qui sera crucial dans votre projet ; il est muni (entre autres) des fonctions "pandas.read_csv()" et "pandas.read_excel" qui vous permettent de "lire et charger" une version "pythonisée" de vos fichiers en quelques lignes.

Pour l'anecdote, je travaille en banque (côte salle de marché), et j'ai un avantage indéniable à tout faire en python par rapport à mes collègues qui bossent en VBA, voire directement sur les feuilles Excel...

Bon courage !

[Nico_projet]

Merci a tous les deux pour vos réponses.
Quelle serait d'après vous la démarche à suivre pour correctement préparer le projet, avant de démarrer l'écriture du code, donc les réflexions et l'archi techniques ?
Nico

[charliemtx]

Quelle serait d'après vous la démarche à suivre pour correctement préparer le projet, avant de démarrer l'écriture du code, donc les réflexions et l'archi techniques ?

Je n'ai pas de formation académique, ma réponse ne sera peut-être pas la meilleure, ne la prenez pas pour vérité absolue : je suis plutôt d'avis de me lancer directement dans l'écriture du code, par petit bout, comme indiqué dans mon message précédent.

Premier exercice : téléchargez un fichier .csv (ou créez le), et essayer de "lire" le fichier via le module "pandas". ça devrait donner quelque chose comme ça :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
import pandas as pd
 
filename = 'myFile.csv'
df = pd.read_csv(filename)
print(df)

Si cela vous semble abstrait, on part d'assez loin et je vous invite à regarder les tutos sur Internet (que vous pouvez suivre step by step)

[Nico_projet]

Merci Charlie, je vais essayer cet exemple.
Bonne soirée. Nico

[wiztricks]

Salut,

Quelle serait d'après vous la démarche à suivre pour correctement préparer le projet, avant de démarrer l'écriture du code, donc les réflexions et l'archi techniques ?

Partez d'exemples de vos fichiers CSV.

Essayez d'imaginer les traitements à faire pour deviner la présence d'une entête (ou pas), le délimiteur, le type des différentes colonnes et le format des dates.
Çà va vous donner une idée du problème à résoudre et de l'appétit pour aller chercher un peu sur Internet ce qui a déjà été fait dans ce domaine.

note: vous pouvez aller regarder l'état de l'art directement mais sans avoir étudié un peu le problème par vous même, vous n'aurez pas encore assez de recul pour jauger les différentes solutions proposées.

pandas ne devine pas le type de données qu'il y a dans les fichiers (et encore moins le format des dates).... Et si vous voulez juste lire un fichier CSV, le module csv suffit et sait deviner quelques unes des informations intéressantes.

- W

[Sve@r]

Bonjour

Ici un bon résumé des diverses problématiques d'un CSV...

[Nico_projet]

Bonsoir et merci pour vos réponses.
- Wiztricks: j'ai fouillé un peu et comme tu l'indiques, Panda ne permet pas de trouver par exemple des dates sous différents formats, mais plutôt à travailler sur des formats classiques et les sortir en output différemment ou appliquer des règles, du parsing en fait ?
Quelle serait a t'on avis la solution ? Un algo qui pourrait faire le job et plus "intelligent" ? Toujours sous Python ?
Merci
NT

[wiztricks]

Salut,

Quelle serait a t'on avis la solution ? Un algo qui pourrait faire le job et plus "intelligent" ? Toujours sous Python ?

La solution, c'est du travail pour la construire voire s'inspirer (ou recopier) de ce qui a déjà été fait (mais je ne vais pas chercher à votre place).

- W

[Nico_projet]

Merci Wiztricks, je vais bosser dessus !

[charliemtx]

Bonsoir et merci pour vos réponses.
- Wiztricks: j'ai fouillé un peu et comme tu l'indiques, Panda ne permet pas de trouver par exemple des dates sous différents formats, mais plutôt à travailler sur des formats classiques et les sortir en output différemment ou appliquer des règles, du parsing en fait ?
Quelle serait a t'on avis la solution ? Un algo qui pourrait faire le job et plus "intelligent" ? Toujours sous Python ?
Merci
NT

Je ne comprends pas, vous souhaitez travailler avec un dataframe contenant des dates sous différents formats !? Genre JJMMYYYY et JJ-MM-YY (par exemple) ? Le méthode read_excel permet de "parser" les colonnes que l'on sait être des dates mais si vraiment c'est hyper compliqué (du genre "2020, semaine 38, mardi") vous pouvez créer une fonction qui crée une nouvelle colonne avec le "bon" format puis remplacer l'ancienne par la nouvelle.

[wiztricks]

vous pouvez créer une fonction qui crée une nouvelle colonne avec le "bon" format puis remplacer l'ancienne par la nouvelle.

Çà on sait faire...
Mais le sujet de cette discussion est de deviner le format pour appliquer la bonne fonction...

- W

[Nico_projet]

Les fichiers comporteront des colonnes diverses dont une avec des dates, toutes ces colonnes seront présentées différemment avec pas toujours des titres de colonnes donc difficilement identifiables, et des formats de dates différents. L'outil développé devra identifier la seule colonne qui comprend ces dates et l'extraire, sans que je puisse lui indiquer laquelle donc "tout seul". L'objectif est donc d'avoir ce traitement en automatique, en allant chercher ce fichier, le traiter, et me fournir le résultat, toujours le même mais sur des fichiers différents.

[charliemtx]

J’en doute mais je pose la question au cas où : est ce que les colonnes sont des «*floats*» à l’exception de la colonne à identifier qui contiendrait des «*strings*» ?
Ce serait chouette que vous donniez un exemple de dataframe

[Bktero]

En général, quand on a des fichiers variés, on a quelques formats qui reviennent. Ce n'est pas aléatoire. On a donc un algo pour lire chaque type de fichier, et pour chaque type de fichier, on connait le format de chaque colonne car on sait quelle colonne représente quelle donnée.

Il y a quelque chose de plus important qui me chagrine : si on ne sait pas quelle colonne est la date, comment sait-on ce que sont les autres colonnes ? Si on ne sait pas ce que sont les autres colonnes, que va-t-on faire des données ?

Je rejoins charliemtx : avoir quelques exemples permettrait de mieux comprendre la situation.

[Nico_projet]

Bonsoir,
En fait je pense que j'ai été trop loin : même si les fichiers seront différents, il y aura toujours un titre de colonne en "Date" ou "Date-Time" , ce qui devrait être reconnu par Panda je pense ? Je vais également essayer d'avoir le format du fichier avant le traitement pour gagner encore du temps, quand cela sera possible
Je ne dois pas identifier que les colonnes avec "Date", mais également d'autres colonnes avec d'autres titres et cela devrait être possible je pense toujours avec Panda, pour les sortir dans un format bien précis avec lequel je pourrais alors allez plus loin dans mes traitements