Quelle est la meilleure façon d’évaluer les compétences d’un développeur ?

Quelle est la meilleure façon d’évaluer les compétences d’un développeur ?
Triplebyte livre les résultats d’une analyse de données de recrutement

Quand on arrive à la question d’évaluer les compétences réelles d’un développeur au cours d’un recrutement, plusieurs facteurs entrent en jeu. Les compétences du recruteur lui-même, sa connaissance et sa pratique du métier, ainsi que les méthodes utilisées dans le processus de recrutement peuvent permettre d’embaucher l’oiseau rare ou à l’opposé, se retrouver avec un développeur dont les compétences réelles ne reflètent pas celles qu’on a supposées pendant le processus d’embauche. De manière générale, l’évaluation des compétences peut dépendre fortement de la méthode utilisée.

Plusieurs méthodes existent à ce jour. Les entreprises embauchent les développeurs en se basant sur diverses variables comme l'éducation et le niveau d’étude, l'expérience professionnelle, et la capacité à résoudre des problèmes de codage sur un tableau blanc. Mais selon Triplebyte, une société spécialisée dans le recrutement de professionnels de l’IT, aucune de ces méthodes ne marchent vraiment dans la plupart des cas. Triplebyte a donc opté pour un processus de recrutement qui permet d’identifier les capacités de programmation générale d’un développeur grâce à un système de notation que la société a mis en place.

Dans un billet de blog, Ammon Bartram de Triplebyte écrit que « ce dont l'industrie a besoin est une façon de sélectionner les candidats en regardant leurs capacités réelles », et non en se basant sur l’école où ils sont allés ou les entreprises dans lesquelles ils ont travaillé dans le passé.

La société a donc mis en place un processus qui lui permet d’atteindre cet objectif. Il s’agit d’un processus en 4 étapes qui débute par un test technique en ligne, suivi par un entretien téléphonique de 15 minutes pour discuter d’un projet technique réalisé par le candidat dans le passé. Le test technique en ligne comprend un exercice de programmation du style FizzBuzz et un quiz de programmation à choix multiples qui nécessite de comprendre du code réel, en analysant par exemple une fonction, et en choisissant lesquels parmi plusieurs bugs proposés sont présents dans le code.

La 3è étape est une interview de 45 minutes par écran partagé où le candidat écrit du code, et la dernière est une autre interview par écran partagé de 2h où le développeur travaille sur un projet technique plus vaste qu’il choisit dans un ensemble réduit de projets.

Pour permettre au candidat d’être à l’aise pendant le codage, ce dernier a le choix de son environnement de développement et du langage de programmation. Il travaille également avec son ordinateur personnel.

Après avoir évalué 300 candidats en 30 jours, la société livre les résultats de l’analyse des données issues de son processus de recrutement.

L’analyse révèle que le quiz de programmation à choix multiples est un fort prédicteur de la réussite dans les entretiens de codage. « Près de la moitié de la performance de l’interview (48%) peut être expliquée par le score obtenu dans le quiz », explique Bartram en ajoutant que « 39% peut être expliqué par le temps d'achèvement du quiz ». Les candidats ayant terminé le plus vite le QCM sont donc susceptibles d’être de meilleurs programmeurs.

En ce qui concerne le test de style FizzBuzz, il ne permet pas réellement d’expliquer la performance des candidats au test de programmation. L’analyse révèle en fait qu’il n’y a pas de corrélation entre la bonne résolution du test de FizzBuzz et l'obtention d'un bon score dans l'interview de codage.

Un autre résultat qui est ressorti de l’analyse de Triplebyte montre que les candidats qui ont été impressionnants quand il fallait parler des expériences passées ont été dans certains cas très décevants quand il s’agissait d’accomplir des tâches de programmation relativement simples. A l’opposé, les candidats qui ont eu du mal à être convaincants lorsqu’il s’agissait de parler des expériences passées, ont été les meilleurs dans les exercices de codage.

Les résultats de l’analyse sont toutefois à prendre avec un peu de réserve. Contacté par un média pour plus de détails, le PDG et co-fondateur de Triplebyte Harj Taggar précise qu’ils ne testent pas de connaissances de langages spécifiques, mais « juste la capacité de programmation générale ».

Source : Triplebyte

Et vous ?

:fleche: Que pensez-vous des résultats de l’analyse de Triplebyte ?

:fleche: Quelle est la meilleure façon d’évaluer les compétences d’un développeur ?

La fin de l'article révèle le fameux dilemme entre le hard codeur qui crache du bon code mais qui reste dans son coin et a du mal à communiquer ou à prendre des initiatives et le codeur moyen qui code pas tjrs de manière rigoureuse mais qui communique relativement bien, à partir du moment où une personne n'impose pas ses choix et n'en fait pas qu'à sa tête tout le temps et est capable d'admettre ses erreurs, je pense que cette personne sera plus adaptée à travailler en équipe, à l'inverse le hard codeur est souvent plutot prétentieux et/ou réservé et plutot tétu, ce sont 2 tendances très clichés mais à mon avis le candidat idéal est entre ses extrêmes, pour avoir connu les 2, que ce soit l'un ou l'autre dans les 2 cas c'est pas agréable du tout de bosser avec ! L'un est incapable d'être autonome et l'autre n'en fait qu'a sa tête et ne communique pas ...

Il présente surtout les programmeurs bullshit qui savent te vendent du rêve alors qu'ils ont fait du vent en réalité. Et qui s'approprient le travail de l'équipe en leur nom-propre sans les capacités d'y parvenir :/

Bon par contre vu la quantité de trucs pour repérer les candidats.. pfiou faut être motivé pour postuler !

Il faudrait que les candidats soient rémunérés à partir d'une certaine quantité de tests ^_^

Citation:

---

Envoyé par yahiko

Il faudrait que les candidats soient rémunérés à partir d'une certaine quantité de tests ^_^

---

Surtout généralement si quand tu passes en SS2I, que tu sois bon ou pas , ils essayent toujours d'avoir le salaire le plus bas possible..

Étant avant tout un utilisateur final devenu développeur autodidacte, et en "évaluant" les développeurs en partant du produit fini, il me semble que personne ne pense à vérifier l'empathie des développeurs. Si on admet que la "définition de base" de l'empathie, c'est la capacité de se mettre à la place de l'autre, cela me semble être quelque chose qui manque à trop d'informaticiens, et pas juste des développeurs.

C'est une tendance naturelle chez tous les êtres humains de penser que la personne en face de nous connaît le sujet autant que nous, alors que la réalité est souvent différente. Pour différentes raisons, l'informatique est enveloppée d'une aura de machin ésotérique impossible à comprendre si on n'est pas un génie; si bien que même des cadres dirigeants de sociétés, laissent l'informatique à des "experts" lesquels experts ayant souvent le chic de pratiquer un langage hermétique connu des seuls initiés. Notons que ce comportement se retrouve également dans toutes les professions.

Donc les développeurs en général, sont en général en relation privilégiée avec des gens liés au même domaine qu'eux et on dirait qu'à force de communiquer ou de travailler "en circuit fermé", la capacité des développeurs de faire abstraction de leurs connaissances et d'évaluer ce que serait la réaction d'une personne craintive et/ou ignorante de l'informatique face à leurs produits est finalement un handicap. Ce n'est pas de leur faute, c'est juste une conséquence de l'obligation de se conformer à un modèle et un effet de mimétisme.

L'arrivée du "ruban" est un peu dépendante de cela. On raconte qu'un jour Microsoft a eu l'idée de demander à leurs clients ce qui manquait dans leur suite Office. Apparemment, la très grande majorité des demandes concernait des fonctionnalités déjà présentes que les utilisateurs n'avaient pas, disons, découvertes. En voyant cela, Microsoft aurait lancé une grande recherche sur l'ergonomie de ses produits, et le ruban en serait une manifestation visible.

Je me rappelle une autre histoire de "vieux". À une certaine époque le traitement de texte le plus répandu était Word Perfect et la compagnie était renommée pour son service à la clientèle; lequel travaillait presque exclusivement avec des secrétaires et du personnel de bureau; donc très peu d'informaticiens. Pour WordPerfect, le client c'était l'utilisateur final et pas le Service de Dictature Informatique.

Novell, entreprise spécialisée dans les réseaux locaux, dont les clients étaient les informaticiens acheta WordPerfect et se cassa la gueule, incapable de "travailler" avec la nouvelle clientèle.

Faisant en quelque sorte partie de la "minorité assise entre deux chaises", je constate que c'est la même chose que pour les anglais et les français du Canada : deux solitudes.

Bientôt on va se retrouver dans la situation des graphistes : faire des maquettes non rémunérées "pour voir"n. 3 jours après la boîte sort un site avec le graphisme... :aie:

Le bon développeur,il regarde le cahier des charges il code alors que le mauvais développeur il regarde le cahier des charges il code mais c'est pas pareil c'est un mauvais développeur.... :ptdr::ptdr::ptdr::ptdr:

Citation:

---

Envoyé par codeur_83

Le bon développeur,il regarde le cahier des charges il code alors que le mauvais développeur il regarde le cahier des charges il code mais c'est pas pareil c'est un mauvais développeur.... :ptdr::ptdr::ptdr::ptdr:

---

J'en discutais récemment avec des amis chasseurs. Ils étaient d'accord... :mrgreen:

Citation:

---

Envoyé par vinmar

Bientôt on va se retrouver dans la situation des graphistes : faire des maquettes non rémunérées "pour voir"n. 3 jours après la boîte sort un site avec le graphisme... :aie:

---

C'est ça !

Citation:

---

Après avoir évalué 300 candidats en 30 jours, la société livre les résultats de l’analyse des données issues de son processus de recrutement a bien avancé dans ses projets en cours.

---

:aie:

Citation:

---

Envoyé par Traroth2

J'en discutais récemment avec des amis chasseurs. Ils étaient d'accord... :mrgreen:

---

Ca fait plaisir de voir des gens cultivés :).

Sinon plus sérieusement, même si leur procédé donne (j'imagine) de bon résultat, je trouve ça vraiment exagéré. Si le candidat est sans emploi, pourquoi pas. Mais si le candidat à un job, faire autant d'entretien devient très compliqué. Pas question de faire ça au boulot. Faut donc prendre congé pour ça. Perso, non merci.

Par contre, puisque c'est le sujet, on démarre une procédure de recrutement chez nous pour quelqu'un qui devra être mon backup (dev vb.net + dev/admin sql server) et ça va être moi le référant technique lors de l'entretien.

C'est une première pour moi. Quelqu'un aurait quelques pistes sur comment préparer les questions à lui poser lors de l'entretien ? Le terme entretien est important. Il ne s'agit pas de filer un QCM au candidat et de le laisser en plan pendant 2h. L'idée est donc de l'évaluer sur un plan technique mais aussi social mais pour la partie sociale, c'est déjà au point (surtout qu'il n'y a pas vraiment de question à poser mais plutôt des réactions à observer et un feeling à avoir).

Finalement, ça donne l'impression qu'il y a une bonne partie de la procédure qui ne sert à rien. Apparemment, le QCM donne les résultats qui sont déterminants, surtout à partir de la vitesse de complétion. A quoi sert le reste, alors ?

Merci pour cet article intéressant. La conclusion bien que non-évidente est finalement logique : un codeur est le plus efficacement évalué par sa capacité à analyser correctement et rapidement un code qu'on lui présente. Puis par la façon dont il écrit un code (ce qui est malheureusement lent). C'est une leçon que je retiendrai.

Citation:

---

Envoyé par Kropernic

Sinon plus sérieusement, même si leur procédé donne (j'imagine) de bon résultat, je trouve ça vraiment exagéré. Si le candidat est sans emploi, pourquoi pas. Mais si le candidat à un job, faire autant d'entretien devient très compliqué. Pas question de faire ça au boulot. Faut donc prendre congé pour ça. Perso, non merci.

---

N'exagérons pas : ça se déroule en fait en deux sessions, une de 15-60 minutes chez soi et une de 2h45 chez eux.

C'est long mais ce n'est pas la mort si le job en vaut le coup et sachant que si on te fait passer le dernier test c'est qu'ils estiment que tu en vaux la peine. D'ailleurs c'est long pour le candidat mais c'est aussi long pour l'entreprise qui rémunère des personnes pour t'évaluer.

Citation:

---

Quelqu'un aurait quelques pistes sur comment préparer les questions à lui poser lors de l'entretien ? Le terme entretien est important. Il ne s'agit pas de filer un QCM au candidat et de le laisser en plan pendant 2h.

---

D'un autre côté l'article en question montre qu'un entretien permet rarement de se décider. Beaucoup moins que la capacité d'un candidat à trouver rapidement les trois bogues dans le code que tu lui montres. Et moins que l'observation du candidat écrivant du code en situation réelle.

Je ne pense pas que tailler la bavette avec lui pendant deux heures ou lui demander de t'écrire un arbre rouge-noir sur tableau blanc sera tellement efficace.

Citation:

---

Envoyé par DonQuiche

N'exagérons pas : ça se déroule en fait en deux sessions, une de 15-60 minutes chez soi et une de 2h45 chez eux.
C'est long mais ce n'est pas la mort si le job en vaut le coup et sachant que si on te fait passer le dernier test c'est qu'ils estiment que tu en vaux la peine. D'ailleurs c'est long pour le candidat mais c'est aussi long pour l'entreprise qui rémunère des personnes pour t'évaluer.

---

Résumé comme ça, ça a l'air acceptable. Cela m'avait l'air beaucoup plus long lors de ma lecture...

Citation:

---

Envoyé par DonQuiche

D'un autre côté l'article en question montre qu'un entretien permet rarement de se décider. Beaucoup moins que la capacité d'un candidat à trouver rapidement les trois bogues dans le code que tu lui montres. Et moins que l'observation du candidat écrivant du code en situation réelle.

Je ne pense pas que tailler la bavette avec lui pendant deux heures ou lui demander de t'écrire un arbre rouge-noir sur tableau blanc sera tellement efficace.

---

Je suis conscient que ce je veux faire n'est pas forcément optimal. Ce que j'avais en tête était de lui poser quelques questions clefs du genre.
question

Citation:

---

(pour la partie sql server) Si une modification doit être faite dans la définition d'une table (suppression d'une colonne par exemple), comment récupérer la liste des procédures stockées/fonctions impactées par cette modification ?

---

réponse

En faisant une requête sur INFORMATION_SCHEMA.ROUTINES et en filtrant les lignes qui contiennent la colonne dans ROUTINE_DEFINITION.

Je n'ai pas besoin qu'il m'écrive un code fonctionnel de tête mais j'ai besoin qu'il sache comment le faire.

En plus, lors de l'entretien, si je me réfère à celui que j'avais passé en 2007 lors de mon embauche, il y avait pas mal de personnes et pas que des techniques et je n'avais eu à passer aucun test.

*petite pause lors de la rédaction*

Entre temps, mon chef est revenu et j'me suis renseigné sur le déroulement de l'entretien. Apparemment, il y aura bien un entretien RH et un entretien technique séparés. Je serai donc plus à l'aise pour poser quelques questions en rapport avec le profil que nous avons diffusé. J'en ai parlé avec mon boss et lui aussi n'est pas trop pour les tests avec questionnaire à compléter. Quand on code, on a un EDI qui nous aide pour tout un tas de truc. Alors écrire du code au crayon sur du papier, bin ce n'est pas du tout la même chose je trouve.

Je m'arrête ici car j'ai du taff à faire et que j'ai tellement trainé entre le début de la rédaction de ce message et la fin que j'ai un perdu le fil de mes pensées :aie:.

Il me semble que la chose la plus importante est la mise en confiance.
Une personne en confiance parlera plus facilement de lui même et de son expérience.
Si on attaque d'emblée avec des questions pièges celui qui aura de l'expérience en entretien saura contourner la question et deviendra méfiant.
L'inquiet se bloquera et on en tirera plus rien.
Ensuite montrer de la modestie permet de mieux détecter les prétentieux et de permettre à l'expérimenté de s'exprimer librement et de faire connaitre son savoir faire.

Je pense qu'un entretien professionnel demande d'abord du doigté et beaucoup d'expérience (pas seulement technique).

Citation:

---

Envoyé par Traroth2

Finalement, ça donne l'impression qu'il y a une bonne partie de la procédure qui ne sert à rien. Apparemment, le QCM donne les résultats qui sont déterminants, surtout à partir de la vitesse de complétion. A quoi sert le reste, alors ?

---

En fait l'article n'est pas clair sur un point : est-ce qu'ils ont fait la corrélation avec le taux de succès à la première formule de leur entretien (dont ils disent "Almost everyone was passing"), la deuxième formule ("the pass rate remained too high") ou avec le taux de succès à l'issue de la session de code de 2h ?

On ne sait pas, donc potentiellement le QCM donne des résultats qui sont déterminants... par rapport à une sélection finale de candidats où tout le monde ou presque est passé :)

Un indicateur un peu plus intéressant aurait été de ne prendre que les candidats finalement retenus, ou imaginer un barême en fonction de l'avancement de chaque candidat dans le process de recrutement.

Bonjour à tous.
Quand je fait des entretiens, je commence par le laisse se présenter, et surtout présenter ce qu'il a fait en rapport à son CV. Après le lui pose des questions techniques (moi c'est java) du style les lib utilisées pour voir si c'est cohérent avec ce qu'il a écrit. Pour finir, je lui pose un petit problème technique, je veux jsute voir comment il l'aborde.

A+

Je pense pour ma part que rien ne vaut une mise en situation professionnelle.
Le facteur stress est trop important lors d'un entretien pour connaître les réelles compétences techniques et relationnelles d'un candidat.
Un excellent développeur ne va peut-être se révéler qu'au bout de quelques semaines et même devenir indispensable à une équipe (du vécu).
Que dire d'un test sur une techno, qui va mettre en avant un candidat qui connait déjà celle-ci, au détriment de celui qui sait s'adapter et évoluer.
Laissons le temps au gens de s'exprimer dans le boulot qu'ils ont choisi.

Si j'ai bien saisi une des subtilités de l'article, je suis mauvais codeur ou programmeur ou développeur et je ne conteste pas, mes performances sont très en deçà des kilos-lignes sources imposés par le génie logiciel. Pourtant vue tous les bogues et autres failles de sécurités cités en se monde, je m'en sors plutôt bien.

Citation:

---

Envoyé par fox47

Je pense pour ma part que rien ne vaut une mise en situation professionnelle.
Le facteur stress est trop important lors d'un entretien pour connaître les réelles compétences techniques et relationnelles d'un candidat.
Un excellent développeur ne va peut-être se révéler qu'au bout de quelques semaines et même devenir indispensable à une équipe (du vécu).
Que dire d'un test sur une techno, qui va mettre en avant un candidat qui connait déjà celle-ci, au détriment de celui qui sait s'adapter et évoluer.
Laissons le temps au gens de s'exprimer dans le boulot qu'ils ont choisi.

---

Dans l'absolu, je suis tout à fait d'accord. Sauf que dans la réalité, quand t'es du côté du recruteur, ce n'est pas possible. Tu ne peux pas te permettre de choisir un gars et d'attendre 2 mois pour voir comment il s'en sort. Il faut tomber sur le bon du premier coup car le recrutement, ça coute cher (en temps et en argent) ! Après, ce n'est pas une science exacte (du moins pas que je sache)...