Extraire les colonnes de type float

Bonjour,

J'ai un souci.
J'ai un gros fichier de données (avec 400 plusieurs colonnes et 10 000 000 lignes). Et je voudrai faire un programme en python qui parcours les colonnes puis détermine leur type (des colonnes). et ensuite sépare les float et les string dans dans 2 fichiers différents.

Je vous remercie d'avance

Salut,

Ok, mais quelle est la question/problème?

J

Salut Julien

je voudrai extraire toutes les colonnes de types numériques de ma base mais je ne trouve pas de fonction qui permet d'extraire des numérique ou de chaines de caractères

Salut,

Si le fichier était assez petit et bien rangé, je le lirais avec NumPy. J'obtiendrais un tableau (array) et je vérifierais que les valeurs de chaque ligne d'une colonne est d'un certain type, et cela pour une liste prédéfini de type. Le faire efficacement me semble compliqué.

J

Bonjour,

Peux-tu nous dire si une colonne donnée contient toujours le même type quelque soit la ligne ?
Et si la réponse est négative, peux-tu exprimer ton problème correctement ?

PS:Quand je parle de type, je suis général: par exemple un entier sera prit comme un float.

J'ai essayé avec la possibilité de récupérer le numéro des colonnes par ce code, mais cà n'a pas marché :

import numpy as np
import pandas as pd
#type de chaque colonne de données df
type1 = df.dtypes
type11 = pd.DataFrame(data=type1)
aa=type11.T

a=np.where(aa=='float64')

Citation:

---

Envoyé par disedorgue

Bonjour,

Peux-tu nous dire si une colonne donnée contient toujours le même type quelque soit la ligne ?
Et si la réponse est négative, peux-tu exprimer ton problème correctement ?

PS:Quand je parle de type, je suis général: par exemple un entier sera prit comme un float.

---

Bonjour,

Oui, une colonne contient toujours le meme type (float / object pour chacune des colonnes).
Mon problème est que je voudrai partager mon fichier de base en 2. Un fichier qui prend toutes les colonnes de type "float" et le 2ieme pour les colonnes de type "object".

Voici un bout de code qui considère que chacune de tes colonnes on un seul format spécifique.
Ici, j'utilise le fichier csv suivant (je suis sous linux) :

Code:

---

1 2 3 4 5

$ cat i_ftnft.csv 1234,abc123,123.4,12.3.4,1234 1134,aac123,113.4,11.3.4,1134 1244,abe123,124.4,12.4.4,1244 1235,0bc124,123.6,12.3.8,1239

---

le bout de code:

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14

with open("i_ftnft.csv") as ff_inft: lli = ff_inft.readline().rstrip('\n').split(",") i_ft=list([i for i,y in enumerate(lli) if y.replace('.','',1).isdigit()]) i_nft=list([i for i,y in enumerate(lli) if not y.replace('.','',1).isdigit()]) ff_outft=open("i_ft.csv",mode='wt', encoding='utf-8') ff_outnft=open("i_nft.csv",mode='wt', encoding='utf-8') ff_outft.write(",".join([lli[x] for x in i_ft])+"\n") ff_outnft.write(",".join([lli[x] for x in i_nft])+"\n") for line in ff_inft: lli = line.rstrip('\n').split(",") ff_outft.write(",".join([lli[x] for x in i_ft])+"\n") ff_outnft.write(",".join([lli[x] for x in i_nft])+"\n") ff_outft.close() ff_outnft.close()

---

Ce qu'il donne:

Code:

---

1 2 3 4 5

$ cat i_ft.csv 1234,123.4,1234 1134,113.4,1134 1244,124.4,1244 1235,123.6,1239

---

Code:

---

1 2 3 4 5

$ cat i_nft.csv abc123,12.3.4 aac123,11.3.4 abe123,12.4.4 0bc124,12.3.8

---

Le principe du script:
-lit la première ligne du fichier csv
-crée une liste d'index pour les colonne de type float
-crée une liste d'index pour les colonne de type non float

Et ensuite, il lit le fichier csv ligne par ligne et ecrit dans un fichier csv les colonne float et dans un autre fichier les colonne non float.

Après, je n'ai aucune idée sur le fait qu'il soit rapide ou pas.

Et ce n'est qu'un code exemple, il ne gère pas les erreurs éventuelles d'ouverture de fichier, il ne prend pas en compte s'il y a des ligne vides (surtout au début du fichier), s'il y a une première ligne d'entête, ...

Bonjour,

Merci pour votre message.

J'ai trouvé une fonction (select_dtypes) qui m'a permi de selectionner mes variables qui m'a permis de selection les colonnes selon leurs types. :

Code:

---

1 2 3 4

import numpy as np quanti1 = df.loc[:, df.dtypes == np.float64] quanti2 = df.select_dtypes(include=[np.number])

---