[pandas] probléme de conversion string à date

Version imprimable

23/05/2016, 15h25
fafa isfan

[pandas] probléme de conversion string à date
Bonjour

Je dois faire une analyse par saison et par mois et j'ai la variable date string , et pour chaque observation j'ai beaucoup de dates qui lui correspondent j'ai fais un petit code mais ça ne marche pas
Code:

1 2 3 4 5 df = pd.read_csv(infile,header=None ,sep='\t') df.columns = ['lat','lon','avg','nbr','dt'] for i in range(len(df['lat'])): df['dt'][i] = pd.to_datetime(df['dt'][i], format='%Y%m%d')
23/05/2016, 15h40
wiztricks
Salut,
Citation:
Envoyé par fafa isfan

Je dois faire une analyse par saison et par mois et j'ai la variable date string , et pour chaque observation j'ai beaucoup de dates qui lui correspondent j'ai fais un petit code mais ça ne marche pas

Code:

1 2 3 4 5 df = pd.read_csv(infile,header=None ,sep='\t') df.columns = ['lat','lon','avg','nbr','dt'] for i in range(len(df['lat'])): df['dt'][i] = pd.to_datetime(df['dt'][i], format='%Y%m%d')
Ca ne marche pas <=> un message d'erreur ou obtenir des données différentes de celles attendues.
Ce qui suppose poster aussi le message d'erreur et/ou le contenu de "df['dt'][i]".

- W
23/05/2016, 15h44
fafa isfan

le contenue de df['dt'][1] est le suivant

{(20150430),(20150430),(20150430),(20150430),(20150430),(20150430),(20150430),(20150430),(20150430),(20150430),(20150430),(20150430),(20150430),(20150430),(20150430),(20150430),(20150430),(20150430),(20150430),(20150430),(20150430),(20150430),(20150430),(20150430),(20150430),(20150812),(20150812),(20150812),(20150812),(20150812),(20150812),(20150812),(20150812),(20150812),(20150812),(20150812),(20150812),(20150812),(20150812),(20150812),(20150812),(20150812),(20140531),(20140531),(20140531),(20140531),(20140531),(20150414),(20150414),(20150414),(20150414),(20150414),(20150414),(20150414),(20150414),(20150414),(20150414),(20150414),(20150414),(20150414),(20150414),(20150414),(20150414),(20150414),(20150414),(20150414),(20150414),(20150414),(20150414),(20150414),(20150122),(20150122),(20150122),(20150122),(20150122),(20150122),(20150122),(20150122),(20150122),(20150122),(20150122),(20150122),(20150122),(20150122),(20150122),(20150122),(20150122),(20150122),(20150122),(20150122),(20150122),(20150122),(20150122),(20150122),(20160119),(20141130),(20141130),(20141130),(20141130),(20141130),(20141130),(20141130),(20151005),(20151005),(20151005),(20151005),(20151005),(20151005),(20151005),(20151005),(20151005),(20151005),(20151005),(20151005),(20151005),(20151005),(20151005),(20151005),(20151005),(20151005),(20151005),(20151005),(20151005)}

pour le message d'erreur affiché :

does not match format '%Y%m%d'
23/05/2016, 15h45
fafa isfan

mais quand je fais df['dt'][1][1]

il m'affiche (

et la je ne sais pas comment résoudre ce problème merci pour votre aide
23/05/2016, 16h32
wiztricks

Citation:

Envoyé par fafa isfan

le contenue de df['dt'][1] est le suivant

{(20150430),(20150430),(20150430),(20150430),(20150430),(20150430),(20150430),(20150430),(20150430),(20150430),(20150430),(20150430),(20150430),(20150430),(20150430),(20150430),(20150430),(20150430),(20150430),(20150430),(20150430),(20150430),(20150430),(20150430),(20150430),(20150812),(20150812),(20150812),(20150812),(20150812),(20150812),(20150812),(20150812),(20150812),(20150812),(20150812),(20150812),(20150812),(20150812),(20150812),(20150812),(20150812),(20140531),(20140531),(20140531),(20140531),(20140531),(20150414),(20150414),(20150414),(20150414),(20150414),(20150414),(20150414),(20150414),(20150414),(20150414),(20150414),(20150414),(20150414),(20150414),(20150414),(20150414),(20150414),(20150414),(20150414),(20150414),(20150414),(20150414),(20150414),(20150122),(20150122),(20150122),(20150122),(20150122),(20150122),(20150122),(20150122),(20150122),(20150122),(20150122),(20150122),(20150122),(20150122),(20150122),(20150122),(20150122),(20150122),(20150122),(20150122),(20150122),(20150122),(20150122),(20150122),(20160119),(20141130),(20141130),(20141130),(20141130),(20141130),(20141130),(20141130),(20151005),(20151005),(20151005),(20151005),(20151005),(20151005),(20151005),(20151005),(20151005),(20151005),(20151005),(20151005),(20151005),(20151005),(20151005),(20151005),(20151005),(20151005),(20151005),(20151005),(20151005)}

pour le message d'erreur affiché :

does not match format '%Y%m%d'

Le contenu de df['dt'][1] n'est visiblement pas une date au format '%Y%m%d'... Donc, techniquement, çà ne peut pas fonctionner.

Si ce sont toutes les dates qui correspondent à une observation, la question pourrait être de savoir comment extraire chacune d'entre elles(*) pour leur appliquer une conversion en date pour autant que cela ait un sens par rapport à ce que vous voulez faire (la question étant: un fois cette chose convertie en dates, çà va vous avancer à quoi?).
(*) faire une boucle for qui segmente la chaine de caractères en sous chaines de 11 pour en extraire 8 caractères est quelque chose que vous devez savoir faire: c'est ce qu'on apprend au tout début de n'importe quel tuto.

- W
23/05/2016, 16h36
fafa isfan

j'ai fais ça mais ça me demande beaucoup de temps car j'ai une double boucle donc j'essayais de refaire ça en évitant d'utiliser une double boucle
23/05/2016, 16h54
wiztricks

Citation:

Envoyé par fafa isfan

j'ai fais ça mais ça me demande beaucoup de temps car j'ai une double boucle donc j'essayais de refaire ça en évitant d'utiliser une double boucle

ah ben il faut ce qu'il faut... quitte à chercher à optimiser ensuite.

- W
23/05/2016, 16h56
fafa isfan

merci pour votre réponse

Salut,

Pour mieux se figurer le contenu du dataframe, que retourne la commande:

Code:

df.head(5)

Normalement vous ne devriez pas avoir à faire appel à une boucle pour transformer les données d'une colonne. Pandas gère merveilleusement cela. Exemple:
Code:

1 2 3 4 5 6 7 8 9 10 11 import pandas as pd # Generate some data data = { 'Date': ['20050101', '20060101', '20070101'], 'value': [10, 20, 30] } df = pd.DataFrame(data) # Transform column 'Date' into pandas Datetime object df['Date'] = pd.to_datetime(df['Date'], format='%Y%m%d')
J

24/05/2016, 09h22
fafa isfan

le soucis que pour moi , pour chaque valeurs j'ai beaucoup de date c'est pour ça que je suis obligé de faire une boucle ,y a t il une autre solution ?
24/05/2016, 09h25
fafa isfan

voici ce qu'il m'affiche quand je fais df.head(5)

lat lon
0 0 135
1 0 -200
2 0 20
3 0 -55
4 0 -39

date
0 {(20150324),(20150324),(20150324),(20150324),(...
1 {(20150430),(20150430),(20150430),(20150430),(...
2 {(20150110),(20150110),(20150110),(20150110),(...
3 {(20150824),(20150824),(20150824),(20150824),(...
4 {(20141116),(20141116),(20141116),(20141116),(...

Tu peux réaliser cette conversion de la façon suivante :

1°) Transformer la liste de date en array pour chaque ligne (En utilisant les expressions régulières) :
Code:

1 2 3 4 5 6 # Création de la table DF import pandas as pd df=pd.DataFrame({'lat':[46.1,47.2], 'dt':['{(20120312),(20130415)}','{(20130510),(20150815)}']}) # Transofrmation de la colonne date en array de date df['dt']=df['dt'].str.findall('([0-9]{8})')
2°) On va ensuite utiliser apply + lambda pour appliquer sur chaque élement de l'array la fonction to_datetime :
Code:

1 2 # Pour chaque élement appliquer la fonction to_datetime df['dt']=df['dt'].apply(lambda x: pd.to_datetime(x,format='%Y%m%d'))

24/05/2016, 10h40
Julien N

Citation:

Envoyé par fafa isfan

0 {(20150324),(20150324),(20150324),(20150324)

Marrant, c'est toujours la même date. Est-ce parce que c'est juste un fragment?
24/05/2016, 10h44
fafa isfan

non c'est beaucoup de mesures dans la même date y'a d'autres dates mais c'est pas afficher car j'ai pris les 5 premiers
24/05/2016, 10h45
fafa isfan

j'ai essayé ce que m'as proposé datasteo et ça marche merci énormément