Discussion :

[joan_27]

Bonjour tout le monde,

Je voudrais importer des commentaires, des tweets (en format json) pour les intéger dans une base mongoDB. Je ne sais pas du tout comment m'y prendre ni quels outils utiliser. Quelqu'un aurait une idée ???

Merci par avance,

[PixelJuice]

Importer des tweets ou des commentaires d'un compte particulier ? C'est facile avec les APIs de Facebook / Twitter.

Après si c'est des tweets sur un Hashtag particulier je pense que c'est aussi possible , vu que je vois des bots le faire.

Si c'est pas le cas, il nous faudrait plus de détails.

[Oussapik]

Tu peux utiliser une solution d'ETL pour importer ce genre de données.

Par exemple avec Talend :

• Tu utilises un connecteur Twitter (basé sur Twitter4j) qui te servirait de source
• Tu as à disposition composant
• Tu utiliserais mongo en cible.

PS : désolé de remonter un post qui date de plus d'un mois, mais puisqu'il n'est pas résolu

[joan_27]

Merci de le remonter ...
c'est à ce genre de truc que je pensais sauf que je ne savais pas du tout comment faire.
J'ai téléchargé talend data integration. là j'essaie de voir comment ça se passe (je ne l'ai jamais utilisé).
Vous pourriez me donnez des indications plus détaillées ?

[Oussapik]

Pour vulgariser l'utilisation que tu aurais de l'outil ici, tu utilises l'outil pour construire un flux d'intégration de tes données. Le flux est composé de composant reliés les uns aux autres. un composant peut avoir N entrées et M sorties (potentiellement 0).

Tu as par exemple le composant ttwitterinput qui ne prendra pas d'entrée, mais plutôt de la configuration pour se connecter à twitter, et crachera en sortie des lignes correspondant à des nouveaux twitt.
Tu enchaînerais ensuite avec une série de composant pour traiter tes données (dans un premier temps, tu peux utiliser le tlogrow pour afficher la sortie de ton composant twitter sur la console).
Enfin, tu terminerais le flux par un composant tMongoDBOutput qui alimenterais ta base de données.

[bgdnpn]

Bonjour,

Si tu vas sur https://twitter.com/settings/account tu pourras exporter tes donnees Twitter, qui incluent un fichier .csv avec tous tes tweets. Sinon, comme le disaient les autres, tu peux toujours utiliser leur API.

[Moctezuma]

Salut,

Avec Flume tu récupères les tweets au format JSON (ils serotn stockés sur HDFS), et ensuite avec Talend tu traites les données récupérées pour les insérer dans MongoDB.