Création de dataframes avec fichiers CSV non homogènes

Bonjour,

J'ai besoin de faire des calculs de corrélation sur des données (plusieurs centaines de lignes, 15 colonnes). Ces fichiers sont au format CSV mais comportent 2 types de données :

* Les 50 premières lignes comportent un tableau de 50 lignes et 2 colonnes.
* Les autres lignes comportent plusieurs centaines de lignes et 15 colonnes.

Comment mettre en œuvre ces données "disparates" dans un même métaframe pour lancer un maximum de calcul de corrélation. En effet, les calculs se feront entre les données des 2 tableaux eux-mêmes et entre les tableaux.

J'aurais besoin de vos expériences sur ce sujet.

Ci-joint un exemple de fichier CSV.

Pièce jointe 225832

Merci d'avance.

rmarion37

Salut,

Pourquoi ne pas créer 2 tableaux i.e. un tableau pour chaque "type" de données?

- W

Salut,

Je vais en fait devoir créer un datapanel avec plusieurs centaines de dataframes. Les calculs de corrélation se feront dans les dataframes eux-mêmes et entre les dataframes (à travers le datapanel donc). Donc pour être sûr de retrouver mes données, il me semblait plus évident de retrouver toutes les données d'un même fichier dans un seul dataframe.

La question que je me pose est : est-ce qu'il ne faudrait pas créer une 16° colonne vide à mon dataframe principal (créé à partir des données à partir de la 50° lignes). Et remplir cette 16° colonne avec les données des 50 premières lignes du fichier CSV.

Ou si je crée effectivement 2 dataframes par fichier, quelle est la meilleure méthode programmation pour lier ces 2 tableaux entre eux dans le datapanel ?

Merci d'avance.

rmarion37

Salut,

Citation:

---

Envoyé par rmarion37

Ou si je crée effectivement 2 dataframes par fichier, quelle est la meilleure méthode programmation pour lier ces 2 tableaux entre eux dans le datapanel ?

---

De nos jours, la méthode est standardisée: on fait une "class" qui contiendra ces deux tableaux et le tas de méthodes réalisant ce qu'on en attend et on peut faire en sorte que l'appelant/client "datapanel" n'ait pas à savoir d'où viennent et comment sont organisée les données "internes".

- W

Bonjour wiztricks,

Finalement c'est toi qui est en train de me former en Python !!!

Je comprends ce que tu écris : une class qui va "mixer" les 2 dataframes. Charge à moi de programmer des méthodes pour accéder aux bonnes données sans connaitre (de l’extérieur de la class) les dataframes.

Par contre, je n'ai aucune espèce d'idée pour faire cette class et pour l'utiliser. Comment dois-je m'y prendre ? Connais des tutos ou des bouts de programmes qui pourraient me mettre sur le bon chemin ?

Merci d'avance.

rmarion37

Citation:

---

Envoyé par rmarion37

Par contre, je n'ai aucune espèce d'idée pour faire cette class et pour l'utiliser. Comment dois-je m'y prendre ? Connais des tutos ou des bouts de programmes qui pourraient me mettre sur le bon chemin ?

---

Il faut commencer par apprendre comment çà se fabrique avec Python.
Vous avez le Swinnen et/ou le Python tutorial qui sont un bon début.

- W

Merci pour les liens. J'ai aussi acheté des bouquins qui m'aident pas mal.

Par contre, je ne comprend pas la méthode pour lier ces 2 tableaux dans une "class". Tu parles d'une méthode "standardisée". As-tu un exemple plus précis ? Je ne trouve rien sur le net.

rmarion37

Citation:

---

Envoyé par rmarion37

Par contre, je ne comprend pas la méthode pour lier ces 2 tableaux dans une "class". Tu parles d'une méthode "standardisée". As-tu un exemple plus précis ? Je ne trouve rien sur le net.

---

Les "class" sont la méthode "standard" pour fabriquer un objet composé de 2 tableaux (et de plein d'autres objets).

- W

Bonjour tout le monde,

Je galère à créer une classe pour associer 2 dataframes. Je n'arrive à rien. Et pour tout dire, je ne sais pas clairement comment m'y prendre. Avez-vous un bout de code qui me permettrait de comprendre cette façon de lier 2 dataframes ? Càd créer ce lien et après pouvoir lire les informations comme si cette "class" n'était qu'un seul tableau.

rmarion37

Salut,

Citation:

---

Envoyé par rmarion37

Càd créer ce lien et après pouvoir lire les informations comme si cette "class" n'était qu'un seul tableau.

---

Si vous avez encore des souvenirs de Pascal, vous avez certainement vu les "records". Si vous voulez mettre deux tableaux dans un record vous allez avoir des "fields" qui permettront d'accéder à chacun d'entre eux tout en gardant la relation "dans le même record".

En Python, ces "fields" sont des attributs de l'objet (classe ou instance de...) auquel on va ajouter des fonctions/méthodes qui réalisent les services attendus par l'utilisateur de la classe.

Quels sont les services que vous en attendez? Ce sont eux qui vont (éventuellement) masquer l'organisation des données à l'intérieur de la classe.

- W