Discussion :

[étoile de mer]

Bonjour,
Dans le cadre d'une analyse de comportement des utilisateur d'un application de musique en ligne , je dispose d'une ensemble de fichier de la forme:

id-utilisateur | pays | id-artiste | id-track

J'aimerai representer chaque utilisateur par son profil musical.
Pouvez vous m'aider de decrire le schema global de la procedure d'analyse de donnée (pig/hdfs..)

Merci

[bordi]

première proposition, au vu de ce que j'ai compris, un truc dans le genre,

exemple fichier de sortie

on regroupe les users par artist

hadoop fs -cat /user/hduser/userbyartist/part-r-00000

Jarre {(r199999,uk,Jarre,Calypso),(c182939,it,Jarre,Equinoxe),(a120939,fr,Jarre,Oxygene)}
Vangelis {(f182939,fr,Vangelis,1492)}
MikeOldField {(at83939,gr,MikeOldField,crisis)}
TangerineDream {(c182939,it,TangerineDream,Melrose)}

script:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
users = LOAD '/user/hduser/user.csv'  using PigStorage(':') AS (userId:chararray, country:chararray,  artist:chararray, track:chararray);
userByArtist =  GROUP users BY artist ;
dump  userByArtist;
store userByArtist into '/user/hduser/userbyartist';

input fichier bidon, genre csv

hduser@stargate:~$ hadoop fs -cat /user/hduser/user.csv
a120939:fr:Jarre:Oxygene
f182939:fr:Vangelis:1492
c182939:it:Jarre:Equinoxe
at83939:gr:MikeOldField:crisis
c182939:it:TangerineDream:Melrose
r199999:uk:Jarre:Calypso


https://pig.apache.org/docs/r0.7.0/p...ef2.html#ORDER

[bordi]

Autre proposition, si on aime pas la forme tupple

fichier de sortie classique trie par artiste/user après traitement, en imaginant qu'on soit en append sur un fichier user activités selon ses selections, qu'il faudra ensuite trier en pig

/user/hduser/userbyartistSorted/part-r-00000
hduser@stargate:~$ hadoop fs -cat /user/hduser/userbyartistSorted/part-r-00000
Jarre:r199999:uk:Calypso
Jarre:c182939:it:Equinoxe
Jarre:a120939:fr:Oxygene
MikeOldField:at83939:gr:crisis
TangerineDream:c182939:it:Melrose
Vangelis:f182939:fr:1492

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
users = LOAD '/user/hduser/user.csv'  using PigStorage(':') AS (userId:chararray, country:chararray,  artist:chararray, track:chararray);
usersByArtist =  ORDER users BY artist ;
result = FOREACH usersByArtist  GENERATE artist,userId,country,track;
dump result;
store result into '/user/hduser/userbyartistSorted' USING PigStorage(':');

input fichier bidon, genre csv

hduser@stargate:~$ hadoop fs -cat /user/hduser/user.csv
a120939:fr:Jarre:Oxygene
f182939:fr:Vangelis:1492
c182939:it:Jarre:Equinoxe
at83939:gr:MikeOldField:crisis
c182939:it:TangerineDream:Melrose
r199999:uk:Jarre:Calypso

[étoile de mer]

Merci beacoup super énormément Bordi
En fait dans le fichier d origine lzs champs sont separes par "|".
Je change comment le code?

[bordi]

lors qu'on lit un fichier csv, on peut preciser le caractere de separation des champs dans le fichier

dans le fichier input
a120939|fr|Jarre|Oxygene
f182939|fr|Vangelis|1492
c182939|it|Jarre|Equinoxe
at83939|gr|MikeOldField|crisis
c182939|it|TangerineDream|Melrose
r199999|uk|Jarre|Calypso


au lieu de ':' remplacer par '|' sur le load ou le store

using PigStorage('|')

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
users = LOAD '/user/hduser/user.csv'  using PigStorage('|') AS (userId:chararray, country:chararray,  artist:chararray, track:chararray);
usersByArtist =  ORDER users BY artist ;
result = FOREACH usersByArtist  GENERATE artist,userId,country,track;
dump result;
store result into '/user/hduser/userbyartistSorted' USING PigStorage('|');

edit: test fichier output

hadoop fs -ls /user/hduser/userbyartistSorted

Found 2 items
-rw-r--r-- 1 hduser supergroup 0 2015-10-01 23:33 /user/hduser/userbyartistSorted/_SUCCESS
-rw-r--r-- 1 hduser supergroup 166 2015-10-01 23:33 /user/hduser/userbyartistSorted/part-r-00000

hduser@stargate:~$ hadoop fs -cat /user/hduser/userbyartistSorted/part-r-00000
Jarre|r199999|uk|Calypso
Jarre|c182939|it|Equinoxe
Jarre|a120939|fr|Oxygene
MikeOldField|at83939|gr|crisis
TangerineDream|c182939|it|Melrose
Vangelis|f182939|fr|1492