Discussion :

[Hypnocrate]

Bonjour,

Je suis développeur java freelance depuis bientôt 10 ans et j'aimerais suivre une formation pour "rajouter une corde à mon arc".

Quand je vois les offres de missions pour Hadoop / big data, et les TJM qui peuvent dépasser les 500€ / jour , ça me donne envie de me lancer dans ce domaine.

Mais je n'ai qu'une vague idée de ce qu'est le big data. Je vois à quoi ça sert mais je ne connais pas la journée type d'un spécialiste Hadoop:
Est-ce qu'il programme? Est-ce qu'il configure? Est-ce qu'il conçoit?

Qui est le mieux armé pour suivre une formation hadoop? Un développeur java? Un ingé business intelligence? Un administrateur de bdd?

Je crains un peu que passer d'ingénieur études & dev à ingénieur big data s'apparente à un virage à 90°.

J'aimerais quand même rester dans le monde du développement.

Vos avis?

[rouardg]

Bonsoir,

L'écosystème Big Data est vaste, très vaste, et s'adresse à tout type de profils.

S'orienter sur du Big Data, c'est effectivement prendre un virage et acquérir des "tonnes" de nouvelles connaissances, pour travailler sur des nouvelles infrastructures en cluster et à la scalabilité horizontale, où le développement utilise le parallélisme, où les systèmes sont distribués et le volume de données important.

Tous types de profil travaillent sur le Big Data : architectes, développeurs, exploitants, Datascientists..., comme cela se fait sur les autres technos plus anciennes.

Ne vous inquiétez pas, en Big Data et en tant que développeur Java, vous continuerez à concevoir des programmes et à les développer.

Si vous travaillez sur Hadoop, il vous faudra impérativement comprendre ce qu'est l'HDFS (le File System distribué d'Hadoop), ainsi que les 2 Frameworks de calcul distribué que sont MapReduce et/ou Spark. Ça c'est la base.

Ensuite vous devrez acquérir des connaissances annexes, comme les bases de données Hive par exemple, et tout ce qui concerne la sécurité : authentification Kerberos et surtout la Gateway Apache Knox qui permet de se connecter de l’extérieur à un cluster Hadoop, ainsi que les polices Ranger qui permettent de donner des autorisations.

Ensuite si vous sortez de l'Hadoop, mais que vous restez dans le Big Data, il y a de nombreux sujets comme les bases de données NoSQL (d'ailleurs il n'est pas rare que les applications Web développées en Java soient connectées à des bases NoSQL comme Redis ou MongoDB ou autre), et puis il y a des sujets comme le Streaming (avec Kafka par exemple) et les moteurs d'indexation et de recherche (comme Elasticsearch par exemple).

[jvc35]

Bonjour,

J'ai travaillé extensivement sur ce sujet. En fait, il existe 6 métiers dans le Big Data :
- Developpeur
- Data Enginer
- Data Scientist
- Architecte
- Administrateur
- et Growth Hacker

Je te recommande les articles suivant pour savoir comment t'orienter : https://juvenal-chokogoue.developpez.com

Cordialement,

Juvenal