Discussion :

[damoko]

Bonjour,

J'ai un souci.
J'ai un gros fichier de données (avec 400 plusieurs colonnes et 10 000 000 lignes). Et je voudrai faire un programme en python qui parcours les colonnes puis détermine leur type (des colonnes). et ensuite sépare les float et les string dans dans 2 fichiers différents.

Je vous remercie d'avance

[Julien N]

Salut,

Ok, mais quelle est la question/problème?

J

[damoko]

Salut Julien

je voudrai extraire toutes les colonnes de types numériques de ma base mais je ne trouve pas de fonction qui permet d'extraire des numérique ou de chaines de caractères

[Julien N]

Salut,

Si le fichier était assez petit et bien rangé, je le lirais avec NumPy. J'obtiendrais un tableau (array) et je vérifierais que les valeurs de chaque ligne d'une colonne est d'un certain type, et cela pour une liste prédéfini de type. Le faire efficacement me semble compliqué.

J

[disedorgue]

Bonjour,

Peux-tu nous dire si une colonne donnée contient toujours le même type quelque soit la ligne ?
Et si la réponse est négative, peux-tu exprimer ton problème correctement ?

PS:Quand je parle de type, je suis général: par exemple un entier sera prit comme un float.

[damoko]

J'ai essayé avec la possibilité de récupérer le numéro des colonnes par ce code, mais cà n'a pas marché :

import numpy as np
import pandas as pd
#type de chaque colonne de données df
type1 = df.dtypes
type11 = pd.DataFrame(data=type1)
aa=type11.T

a=np.where(aa=='float64')

[damoko]

Bonjour,

Peux-tu nous dire si une colonne donnée contient toujours le même type quelque soit la ligne ?
Et si la réponse est négative, peux-tu exprimer ton problème correctement ?

PS:Quand je parle de type, je suis général: par exemple un entier sera prit comme un float.

Bonjour,

Oui, une colonne contient toujours le meme type (float / object pour chacune des colonnes).
Mon problème est que je voudrai partager mon fichier de base en 2. Un fichier qui prend toutes les colonnes de type "float" et le 2ieme pour les colonnes de type "object".

[disedorgue]

Voici un bout de code qui considère que chacune de tes colonnes on un seul format spécifique.
Ici, j'utilise le fichier csv suivant (je suis sous linux) :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
$ cat i_ftnft.csv
1234,abc123,123.4,12.3.4,1234
1134,aac123,113.4,11.3.4,1134
1244,abe123,124.4,12.4.4,1244
1235,0bc124,123.6,12.3.8,1239

le bout de code:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
with open("i_ftnft.csv") as ff_inft:
    lli = ff_inft.readline().rstrip('\n').split(",")
    i_ft=list([i for i,y in enumerate(lli) if y.replace('.','',1).isdigit()])
    i_nft=list([i for i,y in enumerate(lli) if not y.replace('.','',1).isdigit()])
    ff_outft=open("i_ft.csv",mode='wt', encoding='utf-8')
    ff_outnft=open("i_nft.csv",mode='wt', encoding='utf-8')
    ff_outft.write(",".join([lli[x] for x in i_ft])+"\n")
    ff_outnft.write(",".join([lli[x] for x in i_nft])+"\n")
    for line in ff_inft:
        lli = line.rstrip('\n').split(",")
        ff_outft.write(",".join([lli[x] for x in i_ft])+"\n")
        ff_outnft.write(",".join([lli[x] for x in i_nft])+"\n")
ff_outft.close()
ff_outnft.close()

Ce qu'il donne:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
$ cat i_ft.csv
1234,123.4,1234
1134,113.4,1134
1244,124.4,1244
1235,123.6,1239

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
$ cat i_nft.csv
abc123,12.3.4
aac123,11.3.4
abe123,12.4.4
0bc124,12.3.8

Le principe du script:
-lit la première ligne du fichier csv
-crée une liste d'index pour les colonne de type float
-crée une liste d'index pour les colonne de type non float

Et ensuite, il lit le fichier csv ligne par ligne et ecrit dans un fichier csv les colonne float et dans un autre fichier les colonne non float.

Après, je n'ai aucune idée sur le fait qu'il soit rapide ou pas.

Et ce n'est qu'un code exemple, il ne gère pas les erreurs éventuelles d'ouverture de fichier, il ne prend pas en compte s'il y a des ligne vides (surtout au début du fichier), s'il y a une première ligne d'entête, ...

[damoko]

Bonjour,

Merci pour votre message.

J'ai trouvé une fonction (select_dtypes) qui m'a permi de selectionner mes variables qui m'a permis de selection les colonnes selon leurs types. :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
 
import numpy as np
quanti1 = df.loc[:, df.dtypes == np.float64]
quanti2 = df.select_dtypes(include=[np.number])