Discussion :

[Stéphane le calme]

Une plateforme de recrutement s'intéresse aux tendances des ingénieurs en matière d'outils de développement,
et note la montée en puissance de Visual Studio Code

Triplebyte est une plateforme de recrutement basée à San Francisco dont la mission principale est de rendre plus efficace la sélection et le recrutement technique pour des entreprises de technologie.

L’entreprise explique que l’un des facteurs qui marquent le plus la différence avec la concurrence est que son processus est « background blind », c’est-à-dire que Triplebyte est manifestement capable de placer des ingénieurs devant des entreprises qui ne seraient peut-être pas intéressées par ceux-là par exemple à cause de leurs anciens employeurs ou de leur formation. Comment ? En opérant comme une société de recherche appliquée, insiste Harj Taggar, cofondateur et PDG.

Les premières étapes de Triplebyte ont consisté à interroger de manière approfondie les ingénieurs du réseau des anciens élèves de YC, en capturant tous les points de données possibles avant de recourir à l’apprentissage automatique afin de mieux comprendre les tests d’évaluation automatisés et les examens techniques humains (impliquant l’entretien d’un ingénieur par un ingénieur).

Triplebyte assure avoir des entretiens avec des centaines d’ingénieurs toutes les semaines. Et c’est durant cette phase que les tendances en utilisation d’EDI ont été noté. « Ce sont des données fascinantes ! Cela nous donne un aperçu des outils préférés par différentes cohortes d'ingénieurs et de la manière dont ces préférences changent au fil du temps. Cela nous permet également d'identifier les corrélations entre les outils choisis par les ingénieurs et leurs performances lors des entretiens de programmation », a indiqué Ammon Bartram de Triplebyte.

Taux d'utilisation des EDI

Pour permettre aux lecteurs de pouvoir mettre les choses en perspective, il a commencé par publier les données sur les éditeurs utilisés lors de tous les entretiens menés au cours de la dernière année.

« La première chose qui ressort de ce graphique est la visibilité de Visual Studio Code. VS Code était l’éditeur utilisé par la pluralité de candidats Triplebyte l’an dernier. Ce fut une surprise pour moi pour deux raisons. Premièrement, VS Code est un produit relativement nouveau de Microsoft et, deuxièmement, il n’apparaissait même pas dans nos charts l’année dernière », commente-t-il.

Pour permettre de mieux visualiser cela, il a affiché les courbes évolutives en fonction du temps en commençant par le mois de mars 2017.

Il en ressort que VS Code gagne progressivement du terrain ; au cours de l’année écoulée, l’utilisation de VS Code est passée de 5% à 22%. Dans le même temps, l’utilisation de Sublime Text est passée de 17% à 11% et celle d’Atom de 11% à 6%. Même Eclipse a perdu des parts de marché et le pourcentage d’utilisation de VS Code n’a de cesse d’augmenter au fil des mois. D’ailleurs, un petit passage par Google Trends montre la même chose

« VS Code est à la hausse et est en passe de devenir l'éditeur le plus dominant que nous ayons jamais vu. Peut-être que je devrais essayer ! », a-t-il déclaré.

Taux de réussite des entretiens

« L'utilisation de l'éditeur n'est cependant qu'une partie de l'histoire. Tous les usages ne sont pas égaux. Je voulais voir quels éditeurs sont utilisés par les meilleurs programmeurs. Pour examiner cela, j'ai recueilli des données sur les performances des candidats Triplebyte lors de notre entretien, regroupées par l'éditeur qu'elles ont utilisé », a expliqué Ammon.

Ce graphique montre les taux auxquels les utilisateurs de chaque éditeur passent l’entretien Triplebyte par rapport au taux de réussite moyen de tous les candidats. Tout d'abord, nous pouvons noter la prééminence d'Emacs et de Vim ! Les ingénieurs qui utilisent ces éditeurs passent l’entretien de Triplebyte à un taux nettement supérieur à celui des autres ingénieurs.

Et Ammon de partir dans une série d’hypothèses explicatives.

Les utilisateurs d’Emacs passent notre entretien à un taux 50% plus élevé que celui des autres ingénieurs. Qu'est-ce qui pourrait expliquer ce phénomène? Une explication possible est que Vim et Emacs sont de la vieille école. Vous pouvez vous attendre à ce que leurs utilisateurs aient plus d'expérience et, par conséquent, font mieux. Cependant, notez que VS Code est le troisième meilleur éditeur et qu'il est tout nouveau. Cela minimise un peu cette hypothèse.

Les utilisateurs d’Emacs et de Vim ont-ils une autre caractéristique qui les rend plus susceptibles de réussir pendant les entretiens ? Peut-être ont-ils tendance à être plus disposés à investir du temps et des efforts en personnalisant un éditeur complexe à court terme afin de tirer les bénéfices d'un outil plus puissant à long terme ?

Sur le plan négatif, les ingénieurs qui utilisent Eclipse, intelliJ et Visual Studio passent notre entretien à un taux inférieur. Qu'ont en commun Eclipse, IntelliJ et Visual Studio ? Eh bien, ils sont tous des IDE. Cependant, PyCharm est également un IDE complet, qui affiche un taux de réussite élevé. Quoi d'autre pourrait se passer ? Une autre caractéristique distinctive d’Eclipe, IntelliJ et Visual Studio est leur association étroite avec Java et C #. Pouvons-nous simplement voir le résultat d’une corrélation entre des éditeurs spécifiques et des langages spécifiques ?

Pour étudier cela, Ammon a également examiné les taux de réussite aux entretiens par langage

« Java et C # ont des taux de réussite relativement faibles, mais notons qu'Eclipse a un taux de réussite inférieur à celui de Java (-21,4% contre -16,7). Nous ne pouvons donc pas tirer de conclusion sur ses mauvaises performances étant donné par un Java qui le tirerait vers le bas », commente Ammon.

Il s’est également intéressé à l'utilisation des éditeurs par langage

Les pourcentages sur ce graphique sont par éditeur. Ainsi, nous pouvons voir, par exemple, que 97% des ingénieurs utilisant PyCharm développent en Python. Eclipse est dominé par les développeurs Java (94%) et Visual Studio principalement par les développeurs C # et C ++ (88%).

« Je ne peux pas vraiment dire dans quel sens va la causalité, mais il semble que les langages (Java, C #) et les IDE (Eclipse, Visual Studio) sont associés à des taux de réussite plus bas dans les entretiens. Ces données proviennent de nos entretiens internes, mais le même résultat est valable pour les entretiens menés par des sociétés externes qui utilisent notre plateforme », indique Ammon.

Il assure que Triplebyte ne prend pas en compte le langage ou la sélection de l'éditeur lors de la prise de décision. « Et il y a des tonnes d'excellents développeurs C # et Java (et nous avons aidé beaucoup d'entre eux à obtenir des emplois auprès de sociétés sur notre plateforme). Cependant, il semble que l’ingénieur C # ou Java moyen qui suit notre processus réussisse moins bien que l’ingénieur Ruby ou Go moyen. Je ne sais pas pourquoi ».

Une autre conclusion de ce tableau est la différence entre VS Code et Sublime. VS Code est principalement utilisé pour le développement JavaScript (61%) mais moins fréquemment pour le développement Python (22%). Avec Sublime, les chiffres sont fondamentalement inversés (51% Python et 30% JavaScript). « Il est intéressant de noter que les utilisateurs de VS Code passent les interviews à un taux plus élevé que les ingénieurs de Sublime, même s'ils utilisent principalement un langage avec un taux de réussite inférieur (JavaSript) ».

Niveau d’expérience

Ici vous pouvez voir l'utilisation du langage par niveau d'expérience

Le graphique montre le pourcentage de personnes ayant un niveau d'expérience donné qui utilisent chaque langage. Le plus remarquable ici est la popularité de Python et de Java parmi les candidats n'ayant que des stages ou une expérience à temps partiel. « Voyons-nous des personnes récemment diplômées qui utilisent les langages qu’ils ont appris durant leur parcours scolaire ? »

Ensuite, il y a l'utilisation de l'éditeur par niveau d'expérience:

Tout d'abord, vous pouvez voir l'utilisation de VS Code diminuer à mesure que le niveau d'expérience augmente. Pour Ammon, il est donc probablement plus populaire parmi les ingénieurs débutants. Vous pouvez également voir que Vim et Emacs sont plus populaires parmi les ingénieurs plus expérimentés. « Il semble plausible que ce soit effectivement la principale raison pour laquelle les utilisateurs de Vim et Emacs ont un taux de réussite aussi élevé dans nos entretiens ».

Bien entendu, Ammon recommande de prendre tout cela avec des pincettes : « Je voudrais clôturer en disant que nous pensons que rien de tout cela n’est causatif. Autrement dit, je ne vous recommande pas de commencer à utiliser Emacs et Go (ou d'arrêter d'utiliser Eclipse et Java) sur la base de ces données. Il y a des développeurs aguerris qui utilisent tous les outils. La chose la plus importante dans toute entrevue est d'utiliser l'outil avec lequel vous êtes le plus à l'aise ».

Source : Triplebyte

Voir aussi :

Quels EDI utilisez-vous en 2018 dans le cadre de vos activités de développement Web ? Pourquoi ce choix ? Partagez vos avis
Quels sont les EDI C/C++ les plus utilisés en 2018 ? Un développeur nous livre les résultats de son étude
Quel est votre EDI préféré pour Qt en 2017 ? Exprimez votre avis !
Visual Studio de Microsoft et Eclipse sont les EDI les plus populaires d'après le classement du mois d'août de PYPL

[Steinvikel]

Tryplebyte semble chercher LA cause, mais elle est peut-être multi-factorielle comme bien souvent ...un facteur ayant une légère prédominance sur d'autres, ou encore une forte synergie avec un autre spécifique (ex: ancienneté de l'outil + cumul d'expérience).

Suis-je le seul à trouver étrange cette optique de recherche vers LA causalité, plutôt que LES principales ?

edit : impossible de pas repenser à la scène du mérovingien dans Matrix. x)

[Invité]

Je suis d'accord sur le fait que chercher UNE cause ne soit pas forcément la bonne démarche. N'empêche que ces données sont intéressantes et que, recoupées avec d'autres jeux, elles pourraient en effet déterminer d'autres causes.
Personnellement, je suis encore trop novice pour avoir un avis tranché. Cependant, après avoir bidouillé plusieurs IDE, je n'ai jamais réussi à quitter Vim.

Avec lui, je n'ai jamais l'impression d'utiliser des outils dont j'ignore pratiquement toute l'utilité. Certes, j'utilise des outils externes, mais le fait de chercher ce que je dois faire et comment je dois le faire me donne l'impression de mieux comprendre.
Après, sur certains projets, ou dans certaines entreprises, je pense que nous n'avons pas tout-à-fait le choix, mais dès que je peux, je reprends ce bon vieux Vim.

Je pense tout de même que mon manque d'expérience sur de "gros projets" fausse un petit peu mon jugement.

[Steinvikel]

Ces données sont intéressantes qu'elle que soit la démarche, je suis entièrement d'accord. Ça aurait sûrement été plus pertinent avec la démarche adapté.