Spliter la collone d'une table hive en plusieurs colonne en python

Bonjour,

Je souhaiterai spliter la colonne d'une table hive en plusieurs colonnes en fonction d'une regex.
Je débute en python, j'aimerai savoir quel objet python est le plus adapté pour avoir de bonnes performance car la table en question a quelques dizainne de milliard de lignes (list, dictionaire, dataframe, autre...)

Merci d'avance
F69

salut,

Citation:

---

Envoyé par Frite69

Je souhaiterai spliter la colonne d'une table hive en plusieurs colonnes en fonction d'une regex.

---

dans quel sens ? tu peux donner un exemple de table et le résultat attendu ?

Citation:

---

Envoyé par Frite69

j'aimerai savoir quel objet python est le plus adapté pour avoir de bonnes performance car la table en question a quelques dizainne de milliard de lignes (list, dictionaire, dataframe, autre...)

---

à mon avis il va au minimum falloir travailler avec des dataframes Pandas si on parle de "quelques milliards" d'enregistrements

Merci pour ta réponse.

J'ai exactement 27194019081 records (27 milliards)

J'ai une colonne comme ceci :
/G1=DUPOND/G2=MARTIN/G3=197345785/G4=9999/
et je voudrai que G1 G2 G3 et G4 deviennent des colonnes

Je pensais utiliser un DF spark, c'est différent de Pandas ?

Citation:

---

Envoyé par Frite69

J'ai exactement 27194019081 records (27 milliards)

---

pas mal 8-)

Citation:

---

Envoyé par Frite69

J'ai une colonne comme ceci :
/G1=DUPOND/G2=MARTIN/G3=197345785/G4=9999/
et je voudrai que G1 G2 G3 et G4 deviennent des colonnes

---

si on part du principe que les enregistrements ont un formatage fixe, à savoir qu'on a toujours G1 puis G2, G3 et G4, sans partie manquante et avec des noms G* qui sont toujours les mêmes, avec Pandas on pourrait faire quelque chose du genre :

Code:

---

1 2 3 4 5 6 7 8 9

import pandas as pd   df = pd.DataFrame([ '/G1=DUPOND/G2=MARTIN/G3=197345785/G4=9999/', '/G1=MOLDU/G2=GUSTAVE/G3=168753122/G4=1234/', '/G1=DUGENOU/G2=ROBERT/G3=189535476/G4=5678/', ], columns=['pouet'])   df[['G1', 'G2', 'G3', 'G4']] = df['pouet'].str.slice(4,-1).str.split(r'/G\d=', expand=True)

---

et le résultat :

Code:

---

1 2 3 4

pouet G1 G2 G3 G4 0 /G1=DUPOND/G2=MARTIN/G3=197345785/G4=9999/ DUPOND MARTIN 197345785 9999 1 /G1=MOLDU/G2=GUSTAVE/G3=168753122/G4=1234/ MOLDU GUSTAVE 168753122 1234 2 /G1=DUGENOU/G2=ROBERT/G3=189535476/G4=5678/ DUGENOU ROBERT 189535476 5678

---

Citation:

---

Envoyé par Frite69

Je pensais utiliser un DF spark, c'est différent de Pandas ?

---

bonne question, j'imagine que les deux se recoupent au moins en partie, je verrais plus Spark comme un backend de stockage et de calcul distribué qu'on peut éventuellement coupler aux possibilités de traitements qu'offre Pandas, mais peut-être que je me trompe

pour ce que j'en sais Spark est une grosse usine à gaz professionnelle prévue pour traiter du bigdata, donc avec tes 27 milliards d'enregistrements c'est probablement une bonne idée

Merci BufferBob pour ces informations. Je vais faire quelques tests :P