IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Intelligence artificielle Discussion :

Des chercheurs ont annoncé avoir réalisé une percée dans l’apprentissage profond distribué


Sujet :

Intelligence artificielle

  1. #1
    Chroniqueur Actualités

    Homme Profil pro
    Dirigeant
    Inscrit en
    Juin 2016
    Messages
    3 160
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Bénin

    Informations professionnelles :
    Activité : Dirigeant
    Secteur : Aéronautique - Marine - Espace - Armement

    Informations forums :
    Inscription : Juin 2016
    Messages : 3 160
    Points : 66 298
    Points
    66 298
    Par défaut Des chercheurs ont annoncé avoir réalisé une percée dans l’apprentissage profond distribué
    Des chercheurs annoncent une percée dans l'apprentissage profond distribué
    avec un temps d'entraînement 10 fois plus rapides et des empreintes mémoires 4 fois plus petites que les systèmes actuels

    Des chercheurs ont annoncé qu’ils ont réalisé une percée dans l’apprentissage profond distribué. À travers une étude, les informaticiens de l'Université Rice et d'Amazon ont montré qu'ils pouvaient réduire le temps et les ressources informatiques nécessaires pour former les ordinateurs à la recherche de produits et à d'autres “problèmes extrêmes de classification” comme la traduction vocale et la réponse à des questions générales. La recherche sera présentée cette semaine à la conférence NeurIPS 2019 à Vancouver.

    Les résultats de l'étude incluent des tests effectués en 2018 lorsque le chercheur principal Anshumali Shrivastava et l'auteur principal Tharun Medini, tous deux de Rice, ont visité Amazon Search à Palo Alto en Californie. Lors des tests, Shrivastava, Medini et ses collègues ont montré leur approche consistant à utiliser des “classificateurs moyens fusionnés par hachage” (MACH), qui nécessitaient une fraction des ressources de formation de certains systèmes commerciaux modernes. Les tests ont eu lieu sur un ensemble de millions de données de recherche fournies par Amazon.

    Cet ensemble comprenait environ 70 millions de requêtes et plus de 49 millions de produits. « Nos temps d'entraînement sont environ 7 à 10 fois plus rapides, et nos empreintes mémoires sont 2 à 4 fois plus petites que les meilleures performances de base des systèmes d'apprentissage profond distribués à grande échelle précédemment signalés », a déclaré Shrivastava, professeur assistant en informatique à Rice. Cette étude peut être exploitée dans les problèmes de classification extrême connus pour avoir de nombreux résultats possibles ou de nombreux paramètres.


    Selon les chercheurs, les modèles d'apprentissage profondeur pour la classification extrême sont si grands qu'ils doivent être formés de manière typique à l’aide d’un superordinateur, un ensemble lié d'unités de traitement graphique où les paramètres sont distribués et fonctionnent en parallèle, souvent pendant plusieurs jours. Cependant, MACH adopte une approche très différente. Shrivastava le décrit par une expérience de pensée qui divise au hasard 100 millions de produits en trois classes, qui prennent la forme de seaux.

    « Je mélange, disons, des iPhone avec des chargeurs et des T-shirts dans le même seau », a-t-il expliqué. « C'est une réduction drastique de 100 millions à 3 millions ». Dans cette expérience, les 100 millions de produits sont triés au hasard dans 3 seaux dans deux mondes différents, ce qui signifie que les produits peuvent se retrouver dans des seaux différents dans chaque monde. Un classificateur est formé pour assigner des recherches aux seaux plutôt qu'aux produits qu'ils contiennent, ce qui signifie que le classificateur n'a pas besoin de faire correspondre une recherche qu'à l'une des trois classes de produits.

    Dans l’expérience avec la base de données de formation d'Amazon, Shrivastava, Medini et leurs collègues ont divisé au hasard les 49 millions de produits en 10 000 classes, ou seaux, et répété le processus 32 fois. Le nombre de paramètres du modèle est ainsi passé d'environ 100 milliards à 6,4 milliards. De plus, selon Medini, la formation du modèle a pris moins de temps et de mémoire que certains des temps de formation les mieux signalés sur des modèles ayant des paramètres comparables, y compris le modèle de mélange d'experts à faible densité (MdE) de Google.

    Toujours selon lui, la caractéristique la plus importante de MACH est qu'il n'exige aucune communication entre les processeurs parallèles. Dans l'expérience de la pensée, c'est ce que représentent les mondes séparés et indépendants. « Ils n'ont même pas besoin de communiquer. En principe, vous pourriez former chacun des 32 sur un GPU, ce que vous ne pourriez jamais faire avec une approche non indépendante », a-t-il expliqué. Par contre, d’après le professeur Shrivastava, en général, la formation a nécessité une communication entre les paramètres.

    Cela signifie que tous les processeurs qui fonctionnent en parallèle doivent partager l'information. Il estime que cette communication est un problème qu’il faudra résoudre à l’avenir. « Pour l'avenir, la communication est un énorme problème dans l'apprentissage profond distribué. Google a exprimé des aspirations de formation d'un réseau de paramètres de 1 000 milliards de paramètres, par exemple. Actuellement, MACH ne peut pas être appliqué à des cas d'utilisation avec un petit nombre de classes, mais pour une classification extrême, il atteint le Graal sacré de la communication zéro », a-t-il conclu.

    Source : Tech Xplore

    Et vous ?

    Qu'en pensez-vous ?

    Voir aussi

    Deep TabNine : un autocompléteur basé sur l'IA et l'apprentissage profond serait comme le Smart Compose de Gmail pour les codeurs

    IBM propose une bibliothèque d'apprentissage profond 46 x plus rapide que Google TensorFlow, SNAP disponible en fin d'année

    VIA propose le premier processeur x86 avec un coprocesseur pour l'apprentissage profond. Il peut classifier une image en 330 ms

    Pourquoi Tesla aurait discrètement racheté DeepScale, une startup spécialisée dans l'apprentissage automatique et l'apprentissage profond qui promet des solutions d'IA optimisées

  2. #2
    Futur Membre du Club
    Homme Profil pro
    Responsable de service informatique
    Inscrit en
    Janvier 2016
    Messages
    11
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 58
    Localisation : France, Ille et Vilaine (Bretagne)

    Informations professionnelles :
    Activité : Responsable de service informatique
    Secteur : Bâtiment

    Informations forums :
    Inscription : Janvier 2016
    Messages : 11
    Points : 7
    Points
    7
    Par défaut Trop profond
    J'y comprends quedalle :-)
    Mais c'est pas grave ...
    Ce que j'aimerais faire c'est faire faire des devis a partir d'une base accès de 10 années de devis.
    Les données sont dans un logiciel qui s'appelle batigest ...
    Les lignes de devis on plusieurs types O=ouvrage
    o= sous ouvrage
    M= main d'oeuvre
    F= fourniture
    Je cherche une solution où on lui décrit la base de données et ensuite elle s'entraîne dessus.
    Ensuite quand on lui présente une ligne d'ouvrage avec le texte de celui ci elle cherchera l'ouvrage le plus similaire et collera les sous ouvrage correspondants...mais un mot dans l'ouvrage doit pouvoir orienter le système donc ce n'est pas seulement l'ouvrage mais les sous ouvrages et fournitures qui doivent orienter la proposition du système.
    Je me suis dis qu'il faudrait peux être déjà commencer par interpréter cette base en ficher json pour représenter les données d'une façon plus standard ainsi le côté archaïque et spécifique des données ne serait plus un problème pour un système d'ia
    Mais quand je cherche des exemples je ne trouve que des systèmes qui reconnaissent des images ou 1 ligne avec des caractéristiques et un résultat oui ou non .
    Bon Bein voilà ...j'ai l'impression de parler d'un sujet bien terre a terre sur un article qui a des lieux de mon problème....mais je me suis dis qu'il y aurait ptet un mec qui s'y connais et qui me dirait ... "Bein enfin tu connais pas cet outil que tout le monde connait sauf apparemment toi ça s'appelle brainh2ospringwater et tu lui balance ta base dans la tête et elle va tout te mâchouiller et sera prête a te répondre au bout de 2 heures d'apprentissage machine"
    Bon jme recouche
    J'ai écris ça dans le noir les yeux éblouis par un écran tout blanc et sans mes lunettes et ça fait trop mal

Discussions similaires

  1. Un implant neuronal permet à une personne paralysée de taper en imaginant qu'elle écrit
    Par Bill Fassinou dans le forum Intelligence artificielle
    Réponses: 1
    Dernier message: 13/05/2021, 09h48
  2. Réponses: 6
    Dernier message: 09/11/2019, 10h52
  3. Réponses: 2
    Dernier message: 27/01/2017, 17h30
  4. Réponses: 4
    Dernier message: 02/11/2016, 21h20
  5. Réponses: 8
    Dernier message: 25/01/2011, 09h23

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo