Présentation du LLM open-source pour les développeurs : Phind-70B

Présentation du LLM open-source pour les développeurs : Phind-70B, il comble l'écart de qualité du code avec GPT-4 Turbo tout en fonctionnant 4 fois plus vite, disponible à l'essai gratuitement.

Voici la présentation de Phind-70B, le modèle le plus grand et le plus performant à ce jour de l'équipe Phind. Fonctionnant jusqu'à 80 tokens par seconde, Phind-70B donne des réponses de haute qualité sur des sujets techniques en peu de temps. Selon l'équipe Phind, Phind-70B offre la meilleure expérience utilisateur globale pour les développeurs parmi les modèles de pointe.

Phind-70B est basé sur le modèle CodeLlama-70B et a été affiné sur 50 milliards de jetons supplémentaires, ce qui a permis d'apporter des améliorations significatives. Il prend également en charge une fenêtre contextuelle de 32 000 jetons.

Phind-70B obtient un score de 82,3 % sur HumanEval, battant le dernier score de GPT-4 Turbo (gpt-4-0125-preview) de 81,1 %. Sur l'ensemble de données CRUXEval de Meta, Phind-70B obtient un score de 59 % contre 62 % pour GPT-4 sur le benchmark de prédiction de sortie. Cependant, aucun de ces jeux de données publics ne reflète pleinement la manière dont les utilisateurs se servent de Phind pour des charges de travail réelles. On peut constater que Phind-70B se situe dans le même domaine de qualité que GPT-4 Turbo pour la génération de code et le dépasse pour certaines tâches. Phind-70B est également moins "paresseux" que GPT-4 Turbo et n'hésite pas à générer des exemples de code détaillés.

Phind-70B est nettement plus rapide que GPT-4 Turbo, avec plus de 80 tokens par seconde contre ~20 tokens par seconde pour GPT-4 Turbo. Selon l'équipe Phind, ils y sont parvenus en faisant tourner la bibliothèque TensorRT-LLM de NVIDIA sur les GPU H100, et ils ont travaillé sur des optimisations pour augmenter encore la vitesse d'inférence de Phind-70B.

Pièce jointe 651264

Phind-70B est disponible dès aujourd'hui pour un essai gratuit et sans connexion. Vous pouvez obtenir des limites plus élevées en vous abonnant à Phind Pro.

Voici une déclaration de l'équipe Phind sur cette annonce de Phind-70B:

Citation:

---

Nous aimons la communauté open-source et nous publierons les poids pour le dernier modèle Phind-34B dans les semaines à venir. Nous avons l'intention de publier les poids pour Phind-70B en temps voulu.

Nous tenons à remercier nos partenaires "cloud", SF Compute et AWS, qui nous ont aidés à mettre en place l'infrastructure nécessaire à l'entraînement et au service de Phind-70B. Nous tenons également à remercier nos partenaires Meta et NVIDIA pour leur soutien.

Fait amusant : nous avons fait fondre un H100 pendant la formation de Phind-70B !

---

https://youtu.be/v0ZN_MKYfhw

Source : Phind

Et vous ?

:fleche: Quel est votre avis sur le sujet ?
:fleche: Pensez-vous que Phind-70B soit réellement meilleur que GPT-4 Turbo ?

Voir aussi :

:fleche: Un nouveau modèle CodeLlama affiné appelé Phind battrait GPT-4 en termes de codage, il serait 5 fois plus rapide et avec une taille de contexte de 16 Ko

:fleche: GPT-4 Turbo est-il vraiment plus puissant et plus performant ? Les résultats des benchmarks et les avis sont partagés sur l'édition de code et les autres usages

:fleche: LLM par taux d'hallucinations : GPT-4 est le modèle de langage IA qui hallucine le moins, d'après une évaluation de Vectara qui suggère que les LLM de Google sont les moins fiables

Mon avis? Je pense que le terme intelligence artificielle pour ce qui reste un modèle mathématique est trompeur. Sur un test tout simple de jouer une partie de morpion (un jeu devant se terminer par match nul normalement), j’ai battu tous les modèles d’ia les plus performants en jouant systématiquement la même séquence de coups. Et ils ont été absolument incapables d’adapter leur stratégie même en leur donnant la stratégie que j’appliquais.

Sur un deuxième test basé sur les mots censés être leur point fort, ils ont été incapables de vérifier l’application de deux règles simples d’un jeu de suite de mots : le mot donné doit voir sa première lettre être identique à la dernière lettre du mot précédent et le mot donné ne doit pas avoir été donné avant.

Donc à moins de prévoir tous les cas possibles et de les entraîner dessus des que cela sort de leur dataset c’est foutu. Et vu qu’il est impossible de donner tous les cas possibles du monde réel à cause des limites technologiques, énergétiques, d’infrastructures et climatiques ces «*IA*» resteront une approximation et une simulation de l’intelligence même d’une souris. A moins de les spécialiser sur un domaine précis et restreint.

Peut être qu’une nouvelle technologie apparaîtra capable de véritablement apprendre, comprendre réellement le contexte et tenir des raisonnements. Mais ce n’est certainement pas une technologie qui reposera sur du binaire et du silicium car le monde est analogique et non numérique.