Discussion :

[Frite69]

Bonjour,

Je souhaiterai spliter la colonne d'une table hive en plusieurs colonnes en fonction d'une regex.
Je débute en python, j'aimerai savoir quel objet python est le plus adapté pour avoir de bonnes performance car la table en question a quelques dizainne de milliard de lignes (list, dictionaire, dataframe, autre...)

Merci d'avance
F69

[BufferBob]

salut,

Je souhaiterai spliter la colonne d'une table hive en plusieurs colonnes en fonction d'une regex.

dans quel sens ? tu peux donner un exemple de table et le résultat attendu ?

j'aimerai savoir quel objet python est le plus adapté pour avoir de bonnes performance car la table en question a quelques dizainne de milliard de lignes (list, dictionaire, dataframe, autre...)

à mon avis il va au minimum falloir travailler avec des dataframes Pandas si on parle de "quelques milliards" d'enregistrements

[Frite69]

Merci pour ta réponse.

J'ai exactement 27194019081 records (27 milliards)

J'ai une colonne comme ceci :
/G1=DUPOND/G2=MARTIN/G3=197345785/G4=9999/
et je voudrai que G1 G2 G3 et G4 deviennent des colonnes

Je pensais utiliser un DF spark, c'est différent de Pandas ?

[BufferBob]

J'ai exactement 27194019081 records (27 milliards)

pas mal

J'ai une colonne comme ceci :
/G1=DUPOND/G2=MARTIN/G3=197345785/G4=9999/
et je voudrai que G1 G2 G3 et G4 deviennent des colonnes

si on part du principe que les enregistrements ont un formatage fixe, à savoir qu'on a toujours G1 puis G2, G3 et G4, sans partie manquante et avec des noms G* qui sont toujours les mêmes, avec Pandas on pourrait faire quelque chose du genre :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
import pandas as pd
 
df = pd.DataFrame([
    '/G1=DUPOND/G2=MARTIN/G3=197345785/G4=9999/',
    '/G1=MOLDU/G2=GUSTAVE/G3=168753122/G4=1234/',
    '/G1=DUGENOU/G2=ROBERT/G3=189535476/G4=5678/',
], columns=['pouet'])
 
df[['G1', 'G2', 'G3', 'G4']] = df['pouet'].str.slice(4,-1).str.split(r'/G\d=', expand=True)

et le résultat :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
                                         pouet       G1       G2         G3       G4
0   /G1=DUPOND/G2=MARTIN/G3=197345785/G4=9999/   DUPOND   MARTIN  197345785     9999
1   /G1=MOLDU/G2=GUSTAVE/G3=168753122/G4=1234/    MOLDU  GUSTAVE  168753122     1234
2  /G1=DUGENOU/G2=ROBERT/G3=189535476/G4=5678/  DUGENOU   ROBERT  189535476     5678

Je pensais utiliser un DF spark, c'est différent de Pandas ?

bonne question, j'imagine que les deux se recoupent au moins en partie, je verrais plus Spark comme un backend de stockage et de calcul distribué qu'on peut éventuellement coupler aux possibilités de traitements qu'offre Pandas, mais peut-être que je me trompe

pour ce que j'en sais Spark est une grosse usine à gaz professionnelle prévue pour traiter du bigdata, donc avec tes 27 milliards d'enregistrements c'est probablement une bonne idée

[Frite69]

Merci BufferBob pour ces informations. Je vais faire quelques tests