Discussion :

[damoko]

Bonjour,

J'ai un souci.
J'ai un gros fichier de données (avec 400 plusieurs colonnes et 10 000 000 lignes). Et je voudrai faire un programme en python qui parcours les colonnes puis détermine leur type (des colonnes). et ensuite sépare les float et les string dans dans 2 fichiers différents.

Je vous remercie d'avance

[Julien N]

Salut,

Ok, mais quelle est la question/problème?

J

[damoko]

Salut Julien

je voudrai extraire toutes les colonnes de types numériques de ma base mais je ne trouve pas de fonction qui permet d'extraire des numérique ou de chaines de caractères

[Julien N]

Salut,

Si le fichier était assez petit et bien rangé, je le lirais avec NumPy. J'obtiendrais un tableau (array) et je vérifierais que les valeurs de chaque ligne d'une colonne est d'un certain type, et cela pour une liste prédéfini de type. Le faire efficacement me semble compliqué.

J

[disedorgue]

Bonjour,

Peux-tu nous dire si une colonne donnée contient toujours le même type quelque soit la ligne ?
Et si la réponse est négative, peux-tu exprimer ton problème correctement ?

PS:Quand je parle de type, je suis général: par exemple un entier sera prit comme un float.

[damoko]

Bonjour,

Peux-tu nous dire si une colonne donnée contient toujours le même type quelque soit la ligne ?
Et si la réponse est négative, peux-tu exprimer ton problème correctement ?

PS:Quand je parle de type, je suis général: par exemple un entier sera prit comme un float.

Bonjour,

Oui, une colonne contient toujours le meme type (float / object pour chacune des colonnes).
Mon problème est que je voudrai partager mon fichier de base en 2. Un fichier qui prend toutes les colonnes de type "float" et le 2ieme pour les colonnes de type "object".

[damoko]

J'ai essayé avec la possibilité de récupérer le numéro des colonnes par ce code, mais cà n'a pas marché :

import numpy as np
import pandas as pd
#type de chaque colonne de données df
type1 = df.dtypes
type11 = pd.DataFrame(data=type1)
aa=type11.T

a=np.where(aa=='float64')