appliquer un filtre/critère à un fichier de 2GO

Bonjour le forum,

j'ai un fichier : detection_mtrg_2017.txt de 2GO et j'aimerais lui appliquer un filtre sur les colonnes 4 et 5 correspondant au lat et long pour n'avoir que les données encadrant la france et qu'à la fin j'obtienne un nouveau fichier txt déjà plus léger et avec mes filtres.

data_foudre : (data,data[,4]<52)
data_foudre : (data,data[,4]>41)
data_foudre : (data,data[,5]>-5)
data_foudre : (data,data[,5]<10)

voilà ce que j'aimerais bien.

MERCI d'avance pour votre aide

Cordialement

Salut,

Citation:

---

Envoyé par koeglerjojo

voilà ce que j'aimerais bien.

MERCI d'avance pour votre aide

---

Il faut commencer à travailler avec un fichier bien plus petit avec un minimum de données qui permettront de tester le "filtre".
Puis si vous savez traiter un fichier de 8Ko, traiter un fichier de 2Go c'est une itération qui va lire le fichier par blocks de 8/16/32/64/128 Ko, filtrer, écrire les données qui restent, et boucler.
Et si par hasard vous devez effectuer le même traitement plusieurs fois, alors, vous pouvez penser à paralléliser soit en traitant plusieurs blocs à la fois via des threads.

- W

Pouvez vous donner les premières lignes de votre fichier que l'on voit la tête qu'il a ?

2Go, si c'est juste des tableaux de nombres, avec numpy on charge tout d'un coup, ca tient dans le cache.

Citation:

---

Envoyé par lg_53

Pouvez vous donner les premières lignes de votre fichier que l'on voit la tête qu'il a ?

2Go, si c'est juste des tableaux de nombres, avec numpy on charge tout d'un coup, ca tient dans le cache.

---

Bonjour, j'ai 10 colonnes : date YYYY/MM/DD
nano
num
lat
lon
nbloc
numloc
icloud
amplitude
maxis

ce sont toutes des colonnes de nombres.

Cordialement

Re bonjour,

que pensez vous de cela ?

Code:

---

1 2 3 4 5 6

import csv import numpy as np fichier = open("/D:/3A/PROJET TUTEURE S9/detection_mtrg_2017.txt") maselection=(([:,4]<=52) &([:,4]>41) & ([:,5]<=10) & ([:,5]>-5)) fichier.write(maselection) fichier.close()

---

ou

Code:

---

df.query([:,4]<=52)

---

merci d'avance pour vos réponses

Salut,

Citation:

---

Envoyé par koeglerjojo

que pensez vous de cela ?

---

Et Python, il en pense quoi?

Il vous faut d'abord choisir avec quoi vous allez lire votre fichier: CSV, numpy, pandas ou "open": c'est vous qui programmez donc c'est à vous de choisir et de justifier ou être convaincu que vous avez fait un bon choix.

Puis plutôt que de tester si çà fonctionne directement sur le gros fichier de 2Go, vous fabriquez un fichier représentatif (une dizaine de lignes devrait suffire) qui pourra vous servir à tester votre code.

A la fin, soit çà fonctionne et vous essayez sur le gros fichier, soit çà ne fonctionne pas et vous avez un code, un fichier de test à poster ainsi qu'expliquer ce que çà ne fait pas.

- W

Citation:

---

Envoyé par koeglerjojo

Bonjour, j'ai 10 colonnes : date YYYY/MM/DD
nano
num
lat
lon
nbloc
numloc
icloud
amplitude
maxis

ce sont toutes des colonnes de nombres.

Cordialement

---

Ok 10 colonnes, mais cela ne nous renseigne pas sur la nature de ces colonnes (types de données ?). Poster les 10 premières lignes que l'on voit. Vous pouvez d'ailleurs même créer un fichier qui ne contient que les 10 premières lignes du gros, et faites vos tests sur ce petit fichier comme le suggère wiztricks.

Citation:

---

Envoyé par lg_53

Ok 10 colonnes, mais cela ne nous renseigne pas sur la nature de ces colonnes (types de données ?). Poster les 10 premières lignes que l'on voit. Vous pouvez d'ailleurs même créer un fichier qui ne contient que les 10 premières lignes du gros, et faites vos tests sur ce petit fichier comme le suggère wiztricks.

---

Bonjour, voici les premières lignes :

2017-11-13 00:00:03+00 137374208 19118686 44.0103 7.859 3 1 t 4.14 1.322
2017-11-13 00:00:03+00 138557952 19118686 43.9...
2017-11-13 00:00:03+00 355469568 19118686 43.9...
2017-11-13 00:00:40+00 251053056 19118690 45.7...
2017-11-13 00:00:40+00 439703296 19118690 45.7...
2017-11-13 00:12:16+00 508960256 19118786 43.8...
2017-08-26 00:00:01+00 844836608 16780761 49.9...
2017-08-26 00:00:02+00 498824704 16780762 49.9...
2017-08-26 00:00:02+00 672281600 16780762 49.9...
2017-08-26 00:00:03+00 810752000 16780763 49.9...
2017-08-26 00:00:04+00 787404800 16780764 50.0...
2017-08-26 00:00:05+00 311755776 16780765 49.9...

De plus après avoir fais le filtrage, comment peut on séparer la colonne 1 en 2 colonnes pour avoir 2017-11-13 & 00:00:03+00 séparé.

En fait j'ai un soucis c'est que pour lui c'est une seule colonne [25919302 rows x 1 columns]

MERCI d'avance pour votre aide

Citation:

---

Envoyé par koeglerjojo

Bonjour, voici les premières lignes

---

Et dans le programme de test que vous avez essayé (mais omis de poster) comment avez vous traité les lignes qui se terminent par "..." ?

- W

Citation:

---

Envoyé par wiztricks

Et dans le programme de test que vous avez essayé (mais omis de poster) comment avez vous traité les lignes qui se terminent par "..." ?

- W

---

les ... c'est l'affichage python sinon dans le fichier de données, elles sont complètes comme la première ligne.

Cordialement

Citation:

---

Envoyé par koeglerjojo

les ... c'est l'affichage python sinon dans le fichier de données, elles sont complètes comme la première ligne.

---

Postez le code qui fait cet affichage là, car c'est pas du Python standard mais plutôt du numpy ou du panda (et çà on ne va pas l'inventer). Postez aussi le fichier de données car ceux qui voudront s'amuser avec pour vous donner une solution ne vont pas se le taper à la main.

- W