Open source et architecture logicielle

Salut,

de ma faible expérience sur le sujet du BIG data, il m'étonne beaucoup ce titre. Ou alors dans ce cas, je dirais plutôt "un" des langages, et non pas "le". Ce qui est très différent.

Pour traiter les données, je pense plutôt à R, python, et pourquoi pas java. Mais les deux premiers, malgré qu'ils soient de l'interprété (donc inconvénients de rapidité d'exécution), sont probablement plus simples à utiliser dans le cadre du traitement des données.

C'est pas parcequ'Hadoop est fait avec du Java que javascript est "le" langage à utiliser.

Non en effet, JavaScript et Java n'ont rien en commun à part le nom.

Code javascript :

Sélectionner tout - Visualiser dans une fenêtre à part

Java = "JavaScript".substr (0,4);

Ce que je dis pour faire court c'est que le Big Data existe parce que les données explosent sur le web et à travers la mobilité et que JavaScript est nativement au cœur des 2. Ça fait de lui le langage idoine pour cette technologie émergente.

Même avec du PHP l'on peut faire du traitement BigData mais il est vrais que ce n'est pas le plus adapté vus que faire du traitement continus avec est loin d'être satisfaisant.
Mais il n'empêche que j'ai un site d'on le front est en PHP sur plusieurs VM Azure exploitant les données d'une grosse base de donnée distribuée (dans les 12Go pour le moment) le tout avec des temps de chargement hyper courts, puis j'ai une Websocket Python(3.4)

Mouais... Peu de gens font du javascript par choix, la plupart le font car c'est c'est le seul langage supporté sur les navigateurs.

Je travail avec du "big data" et nous utilisons Apache Spark qui permet de coder à choix avec Scala, Java, Python et R. Pour les domaines "big data" et "machine learning", j'ai une préférence pour Python.

Ca serait bien d'arrêter de relayer systématiquement les posts d'autran en page d'accueil.
Ceux-ci sont généralement assez mal rédigé, courts et balançant des opinions de manière péremptoire sans développer d'arguments soutenant cette opinion.

@sodium
Je constate que tu développes pour ta part une argumentation très soutenue.
Mais surtout, tu poses bien les bases d'un débat constructif.
Tu dois être un expert omniscient du développement et du Big Data bien sûr.
C'est intéressant de dialoguer avec toi.
Merci

Il ne s'agit que d'un avis de profane.
Avec l'arrivee du web assembly, je ferai plus coder en Python ou C++ pour ensuite le passer a la moulinette emscripten asm.js dans un premier temps.

Pourquoi :
web assembly presente l'avantage de la reactivite qui fera toute la difference pour les traitements haute performance qui ne sera rien d'autre que la premiere qualite demandee au big data en dehors d'une reponse coherente evidemment.
Ensuite, cela evitera de tout recoder une seconde fois. D'abord en JS et a peine fini tout recommencer.

Je dispose de connaissances superficielles dans le domaine du machine learning, mais je conduirai mon projet ainsi.

Comme[B] client web[/B] oui, javascript est le meilleur langage (car le seul...), pour visionner des graphiques/tableau depuis son navigateur.

Comme langage serveur qui traiteras les données, j'ai des doutes quand même.
Pour moi big data rime avec gros besoin en puissance de calcule, faut utilisé des langages performants, tous ce que n'est pas javascript.

Pour ma part, je réalise un programme qui traites de grosses quantités de données, pour moi js n'est pas le bon plan.
Je code mon programme en python, avec des bibliothèques scientifique (numpy+scipy) conçue justement pour sa.

On peut faire un teste simple, calculer la moyenne d'un tableau de 10 millions de float.
Je suis persuader que JS vas mouliner , tandis que numpy le fait en même pas 2 secondes.

@sazearte, numpy est une implémentation en C, c'est pas du Python pure. En JS tu peux aussi intégrer des libs écrits en C/C++.

[QUOTE]@sazearte, numpy est une implémentation en C, c'est pas du Python pure.[/QUOTE]

oui je sais c'est pour cela que c'est performant, comme la grande majorité des libraires en python d'ailleurs, il y'a en beaucoup de codé en C. Mais pour le développeur python c'est transparent, il code en python.

[QUOTE]En JS tu peux aussi intégrer des libs écrits en C/C++.[/QUOTE]
Je savais pas sa par contre. Tu parle de quels javascript ?, celui exécuter dans un navigateur ou celui qui est intégré a une application native ou les 2 ?

J'ai regardé sur google, j'ai pas trouvé grand chose la dessus, je doute qu'il y'ait quand même des librairies aussi puissantes et riches que sur java ou python.

Envoyé par autran

@sodium
Je constate que tu développes pour ta part une argumentation très soutenue.
Mais surtout, tu poses bien les bases d'un débat constructif.
Tu dois être un expert omniscient du développement et du Big Data bien sûr.
C'est intéressant de dialoguer avec toi.
Merci

Il l'a très mal présenté, et surement au mauvais endroit, mais je le rejoins un peu sur le fond. Sur tes 10 dernières news, le coté PRO-Javascript est très présent, parfois au détriment d'une certaine neutralité attendue d'un rédacteur. C'est d'autant plus dommageable que ce n'est pas équilibré (News pro PHP, Java, etc sont quasiment inexistantes. Il y a des sujets, mais plus neutres). Au final, un lecteur non avertit pourrait avoir l'impression que le Javascript est en plein essor en défaveur des autres langages, en déclin. Dommage quand on sait que ca bouge beaucoup partout .

Quelques extraits de titres pour illustrer (5 avec un titre explicite, et un contenu équivalent dans les 5 restants. Même si ce sont parfois des questions, le titre est réellement orienté, comme la réponse dans la news).
-Pourquoi JavaScript est-il le langage idéal pour le Big Data ?
-Les applications Node.js semblent moins voraces en ressources que celles basées sur JEE ou PHP
-Faut-il encore adopter Java pour un client lourd ?
-Google Web Toolkit (GWT) n'a-t-il plus d'avenir ? Va-t-il être remplacé par des frameworks JavaScript comme AngularJS ?
-Comment convaincre votre DSI d'adopter Node.js et AngularJS pour remplacer JEE

Au final, j'aime savoir ce qui se passe du coté du JS et tes articles sont un bon moyen pour avoir des infos. Je regrette juste le partit pris que l'on y trouve parfois

Pour la news en elle même, par contre, je n'ai pas la connaissance pour alimenter davantage la discussion

@sezaerte,
Oui on est dans dialogue et sois le bienvenu sur ce fil.
Tu as des arguments tu ne t'en prends pas à moi gratuitement et tu me propose une mesure de célérité d’exécution. Certains devraient s'en inspirer.
Donc je te répondrai dans le même esprit. On va parler entre développeurs avec honnêteté intellectuelle

Du point de vue de l'architecture, je dirai que les traitements lourds peuvent être exécutés sur un "serveur" JavaScript. J'ajouterai que si un calcul met 11ms au lieu de 9 ça n'est pas très important.
Aujourd'hui les performances du hard et la chute des couts CPU et RAM sur le cloud relèguent au second plan les exigences de célérité et de consommation mémoire des compilateurs.

Mais là je ne parle que d'architecture voire de stratégie commerciale. Quant à une mesure de célérité sur un cloud avec 0,5 CPU et 1 Go de RAM ou même à la maison sur le PC des enfants je suis prêt à parier qu'en 2s, je peux remplir un tableau de 10 millions de float (les floats pouvant être des nombres avec 8 chiffres avant la virgule et 8 chiffres après), en faire la moyenne arithmétique et dessiner une tasse de café dans l'IHM. Le tout en JavaScript classique à grand-père. Car je n'irai même pas utiliser l'une des bibliothèques Node.js que j'évoque dans certains de mes billets.

Si tu veux des résultats de tests fais moi signe on pourrait vraiment s’amuser. En revanche, je ne photocopierai pas de benchmarking pris dans science et vie junior. Je n’échangerai que du code source exécutable et mesurable. Je peux produire du pur JavaScript ou du pur Java.

à très bientôt j'espère,

Marc,

Je trouve aussi que l'argumentaire déployé dans l'article est très faible et par moment partial. Tout ce que j'ai pu apprendre c'est que Microsoft utilise du js pour du big data accessible au client. C'est ce que j'ai compris. Le reste relève surtout de l'avis personnel. Je ne dis pas ça pour blesser mais surtout parce que la problématique est intéressante et que je trouve dommage de l'expédier aussi rapidement.

@SaynRauliee
Non je ne suis pas partial. Je ne suis pas contre Java, ni C++, ni PHP. Pour preuves, j'ai publié 6 sources en Java et un tutoriel sur GWT durant les 12 derniers mois.
Dans le même temps, j'ai également produit une dizaine de billets java et C++
Mais surtout j'ai produit cette actualité PHP serait il le seul langage vraiment libre. Alors la même logique devrait conduire à m'accuser d'être parti pris pour PHP.

La réalité de mes publications est un peu différente et s'explique avec une autre approche. J'illustrerai mon propos en m'appuyant sur mon dernier blog orienté Big Data qui se focalise sur l'algorithme MapReduce. J'implémente cet algorithme en JavaScript et non en Java car le chef de rubrique Java l'a déjà fait bien plus brillamment que je n'en serais capable. Et c'est souvent le cas sur DVP où les développeurs de talent sont nombreux en Java JEE mais également en C# .Net ou PHP, pour ne citer que les langages portés par un écosystème web. En revanche peu de développeurs anciens sont présents sur DVP pour écrire sur les serveurs JavaScript.

@autran : le souci soulevé par Sodium, de manière un peu brute, est que l'on ressent toujours la même chose dans tes posts : un avis de fanboy de Js qui explique en gros que Js c'est génial, faut tout faire en Js et tout.
Je ne doute pas de la qualité des technos Js, mais ton avis semble un peu trop bilatéral... Par exemple, "JS le langage idéal" plutôt que "JS langage intéressant" à propos du Big Data

Envoyé par JackJnr

Je ne dis pas ça pour blesser mais...

Heureusement que tu as pris cette précaution oratoire, sinon on aurait pu se méprendre sur tes intentions.

@sazearte, Pour le JS utilisé par le navigateur tu peux écrire un programme en C puis utiliser asm.js (lien), pour le JS exécuté coté serveur avec Node.js tu peux créer des modules en C ou C++ (lien1, lien2), ce dernier est plus similaire à ce que tu fais en Python, tu appelles une méthode native.

@autran : le souci soulevé par Sodium, de manière un peu brute, est que l'on ressent toujours la même chose dans tes posts : un avis de fanboy de Js qui explique en gros que Js c'est génial, faut tout faire en Js et tout.
Je ne doute pas de la qualité des technos Js, mais ton avis semble un peu trop bilatéral... Par exemple, "JS le langage idéal" plutôt que "JS langage intéressant" à propos du Big Data

Mon problème n'est pas tant dans le fait de privilégier telle ou telle technologie mais plutôt de poster des articles pour poster des articles.
Ce n'est pas la première fois que je le signale et je peux deviner qu'un post a été rédigé par autran sans même avoir besoin de vérifier le nom de l'auteur. Ils sont pratiquement toujours sous la même forme :
- Une affirmation péremptoire
- Deux-trois lignes d'arguments peu convaincants, mal détaillés et pas nécessairement objectifs

Aborder ce genre de sujet en moins de 500 mots ne me semble avoir aucun intérêt. Un post de blog, surtout sur une technologie, ça se prépare : Une intro présentant le sujet, une introduction de la thèse défendue puis ses arguments avec éventuellement quelques contre-arguments pour faire preuve d'objectivité et d'exhaustivité.

Ici on dirait plutôt une course à qui aura le plus de sujets en page d'accueil.

@Mouke

un avis de fanboy de Js

Non je ne suis pas un fan qui attend une nuit pour voir son idole (une star du rock) monter sur scène. J'essaie simplement d'utiliser le meilleur des langages et technologies pour faire le job.
Évidemment, on ne parle bien que de ce que l'on aime. Par exemple, je n'aime pas le bœuf en daube donc je ne ferai pas de blog dessus.

mais ton avis semble un peu trop bilatéral...

oui je suis 50% Java 50% JavaScript et 100% développeur

@sodium
Bon je laisse de coté la limite arbitraire des 500 mots qui font d'un billet un bon ou un mauvais article. C'est vraiment trop affligeant.

Mais comme tu donnes des conseils et distribue les bons et les mauvais points, je me suis amusé à regarder la qualité des articles que tu as produits. Alors quelle ne fut pas ma surprise de constater que tu n'avais rien produit. Même pas une petite source.

Mais ôtes moi d'un doute, tu ne serais pas de ceux qui ne font rien, sans doute faute de compétence ou en raison d'une hypertrichose palmaire et ne vivent que dans la critique systématique de ce qu'entreprennent les autres?