IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Actualités Discussion :

Samsung inscrit un nouveau record mondial dans le tri de données

  1. #1
    Expert éminent sénior

    Homme Profil pro
    Développeur informatique
    Inscrit en
    septembre 2014
    Messages
    194
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Algérie

    Informations professionnelles :
    Activité : Développeur informatique
    Secteur : Enseignement

    Informations forums :
    Inscription : septembre 2014
    Messages : 194
    Points : 12 283
    Points
    12 283
    Par défaut Samsung inscrit un nouveau record mondial dans le tri de données
    Samsung inscrit un nouveau record mondial dans le tri de données
    DeepSort permettrait de traiter jusqu'à 3,7 To de données en 60 secondes

    Samsung vient de battre le record du tri, avec DeepSort, qui a fini numéro 1 dans la compétition mondiale du tri de données de cette année. Il a réussi à réorganiser 3,7 To de données en 60 secondes, battant ainsi le record précédent qui était à 1,5 To.

    Le moteur de tri DeepSort a été testé dans un environnement en réseau composé de 384 nœuds. Chaque nœud est constitué de deux processeurs Intel Xeon hexa-core 2,1 GHz, 64 Go de RAM, huit disques durs de 3 To de 7200 tours/min, avec un système de fichiers ext4, CentOS 6.4 comme système d’exploitation, et un port Ethernet 10 Gbps.

    « Ce sont en fait des spécifications modérées par rapport aux autres principaux concurrents de la compétition », affirme le géant coréen dans un communiqué de presse. Samsung aurait délibérément choisi une configuration moyenne afin de mieux évaluer la performance pure de son logiciel. « La plupart des autres compétiteurs avaient opté pour des disques durs SSD », qui permettent d'accélérer grandement le transfert de données, et par conséquent, la quantité de données triées durant ce test.

    Pour atteindre ce record, Samsung a misé sur le traitement simultané et le multithreading à tous les niveaux des composantes du programme ; un flux de données qui partage l'espace mémoire limité ; la répartition de la charge entre tous les serveurs et la maximisation d'utilisation de la mémoire cache.

    Ce genre de programmes est destiné le plus souvent au traitement des immenses quantités de données, surtout avec l'apparition des objets connectés et du Big Data. Samsung prévoit aussi de l'utiliser dans ses nombreuses applications et services mobiles qui intègrent des fonctionnalités de recherche, améliorant ainsi les performances ainsi que l'expérience utilisateur.

    Source : le PDF de présentation de DeepSort

    Et vous ?

    Que pensez-vous des performances de DeepSort ?

  2. #2
    Expert éminent
    Avatar de _skip
    Homme Profil pro
    Développeur d'applications
    Inscrit en
    novembre 2005
    Messages
    2 898
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 38
    Localisation : Suisse

    Informations professionnelles :
    Activité : Développeur d'applications
    Secteur : High Tech - Produits et services télécom et Internet

    Informations forums :
    Inscription : novembre 2005
    Messages : 2 898
    Points : 7 611
    Points
    7 611
    Par défaut
    Citation Envoyé par Amine Horseman Voir le message
    Le moteur de tri DeepSort a été testé dans un environnement en réseau composé de 384 noeuds. Chaque nœud est constitué de deux processeurs Intel Xeon hexa-core 2,1 GHz, 64 Go de RAM, huit disques durs de 3To et 7200 tours/min, avec un système de fichiers ext4, CentOS 6.4, et un port Ethernet 10 Gbps.

    "Ce sont en fait des spécifications modérées par rapport aux autres principaux concurrents de la compétition", affirme le géant Koréen dans un communiqué de presse. Samsung aurait déliberement choisi une configuration moyenne afin de mieux évaluer la performance pure de son logiciel. "La plupart des autres compétiteurs avaient opté pour des disques durs SSD", qui permettent d'accélerer grandement le transfert de données, et par consequent, la quantité de données triées durant ce test.
    C'est une vraie compétition officielle?
    Si tel est le cas, c'est pas curieux que l'évaluation n'ait pas lieu sur le même hardware? Je veux dire, si chacun se ramène avec ce qu'il veut comme machine, les résultats seraient difficilement comparables.

  3. #3
    Membre extrêmement actif
    Homme Profil pro
    Consultant Ingenierie mécanique
    Inscrit en
    mars 2006
    Messages
    1 251
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Yvelines (Île de France)

    Informations professionnelles :
    Activité : Consultant Ingenierie mécanique
    Secteur : Transports

    Informations forums :
    Inscription : mars 2006
    Messages : 1 251
    Points : 2 877
    Points
    2 877
    Par défaut
    Je trouve curieux, ils aient préféré jugé l’implémentation plutôt que l'algorithme.

  4. #4
    Expert éminent sénior Avatar de Uther
    Homme Profil pro
    Inscrit en
    avril 2002
    Messages
    4 295
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Pyrénées Orientales (Languedoc Roussillon)

    Informations forums :
    Inscription : avril 2002
    Messages : 4 295
    Points : 12 912
    Points
    12 912
    Par défaut
    Citation Envoyé par cuicui78 Voir le message
    Je trouve curieux, ils aient préféré jugé l’implémentation plutôt que l'algorithme.
    Je ne suis pas sur de comprendre. Comment tu fais pour tester un algorithme qui n'est pas implémenté?

  5. #5
    Membre confirmé Avatar de Max Lothaire
    Homme Profil pro
    Étudiant
    Inscrit en
    mai 2014
    Messages
    155
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 28
    Localisation : France, Moselle (Lorraine)

    Informations professionnelles :
    Activité : Étudiant

    Informations forums :
    Inscription : mai 2014
    Messages : 155
    Points : 578
    Points
    578
    Par défaut
    Citation Envoyé par Uther Voir le message
    Je ne suis pas sur de comprendre. Comment tu fais pour tester un algorithme qui n'est pas implémenté?
    Les performances relevées seront différentes d'une implémentation à une autre si celles-ci utilisent des technologies différentes.

    Mais il est également vrai qu'un calcule de complexité n'est pas suffisant.

  6. #6
    Membre régulier
    Homme Profil pro
    Développeur .NET
    Inscrit en
    juin 2011
    Messages
    31
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Canada

    Informations professionnelles :
    Activité : Développeur .NET
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : juin 2011
    Messages : 31
    Points : 101
    Points
    101
    Par défaut
    Citation Envoyé par _skip Voir le message
    C'est une vraie compétition officielle?
    Si tel est le cas, c'est pas curieux que l'évaluation n'ait pas lieu sur le même hardware? Je veux dire, si chacun se ramène avec ce qu'il veut comme machine, les résultats seraient difficilement comparables.
    En effet difficilement comparable mais je crois qu'à ce niveau là c'est inévitable. Exemple quelconque, si un algo capitalise sur la distribution sur un maximum de processeurs faibles via réseau et un autre est designé pour performer sur un seul cpu ultra puissant sur stéroïdes, une même architecture physique favorisera aussi un des deux compétiteurs, indépendamment du coût du matériel.

  7. #7
    Membre chevronné
    Homme Profil pro
    Développeur informatique
    Inscrit en
    juillet 2007
    Messages
    838
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 39
    Localisation : France, Loire Atlantique (Pays de la Loire)

    Informations professionnelles :
    Activité : Développeur informatique
    Secteur : High Tech - Opérateur de télécommunications

    Informations forums :
    Inscription : juillet 2007
    Messages : 838
    Points : 1 831
    Points
    1 831
    Par défaut
    Ils ont dit avoir pris une configuration moyenne, ce qui ne veut pas dire qu'il n'y ait pas de limite dans le possible. C'est certains avec un CPU spécialement conçus pour, une carte mère dédié et 5 Tera de RAM ont peu faire la même chose en 10 secondes (Mais a quels coût? simplement pour gagner un concours). Je suppose qu'il y avait des spécifications imposé. Genre "avec du matériel standard du commerce" cela limite la marge tout en autorisant le SSD. Mais si Samsung savait qu'il pouvait battre le record avec un disque dur classique et qu'avec un SSD il ne gagnait pas grand chose car il utilise que très peu d'écriture disque, il avait tout intérêt a utiliser un disque dur classique pour marquer les esprit et se faire plus de pub.
    Tout ce que j'écris est libre de droits (Licence CC0) et je vous incite à faire de même.

  8. #8
    Membre extrêmement actif
    Homme Profil pro
    Consultant Ingenierie mécanique
    Inscrit en
    mars 2006
    Messages
    1 251
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Yvelines (Île de France)

    Informations professionnelles :
    Activité : Consultant Ingenierie mécanique
    Secteur : Transports

    Informations forums :
    Inscription : mars 2006
    Messages : 1 251
    Points : 2 877
    Points
    2 877
    Par défaut
    Citation Envoyé par Uther Voir le message
    Je ne suis pas sur de comprendre. Comment tu fais pour tester un algorithme qui n'est pas implémenté?
    Je pensais aux calculs de complexité, qui fait qu'on est capable de dire si un algo est supérieur a un autre: => http://fr.wikipedia.org/wiki/Analyse...es_algorithmes

    Ce qui signifie que cet algo est bon quand il est implémenté d'une certaine façon. pour un concours je trouve ça curieux, et inutile.
    Savoir qu'un techno est super rapide, mais seulement avec une certaine config et une implémentation particulier diminue de beaucoup l’intérêt.
    Je suis plutôt du coté de ce qui est fait sur les algo de cryptage ou on juge plutôt la robustesse par l'algorithme en délaissant totalement l’implémentation.
    L'algo de recherche qui a fait le succès de google, montre de par son algorithme toute sa puissance, pas besoin d'aller voir implémentation pour juger

    pour qu'une technologie soie bonne, il faut que l'algo soit bon en 1er lieu et que son implémentation le soit aussi en un second temps.
    Un bon algo et une bonne implémentation seront toujours supérieur a un algo pourri et une bonne implémentation ( ou inversement ).

  9. #9
    Expert éminent sénior Avatar de Uther
    Homme Profil pro
    Inscrit en
    avril 2002
    Messages
    4 295
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Pyrénées Orientales (Languedoc Roussillon)

    Informations forums :
    Inscription : avril 2002
    Messages : 4 295
    Points : 12 912
    Points
    12 912
    Par défaut
    Je ne dis pas que l'étude d'un algorithme n'est pas intéressante, bien au contraire. C'est certainement plus utile pour un utilisateur qui a besoin de connaitre les force et les faiblesses de la solution qui l’intéresse.
    Cependant, dans le contexte d'un concours, ou l'ont doit s'appuyer sur des valeurs mesurables, ça n'a pas de sens. C'est comme déterminer le vainqueur d'un match de foot en fonction de la cote des bookmakers.

Discussions similaires

  1. [MySQL] Information membre non inscrite dans la base de donnée
    Par Margouillat974 dans le forum PHP & Base de données
    Réponses: 11
    Dernier message: 28/09/2006, 19h21
  2. [Delestage]Probleme nouveau forum/ ajouter dans le bon topic
    Par K-Kaï dans le forum Mode d'emploi & aide aux nouveaux
    Réponses: 1
    Dernier message: 19/04/2006, 15h31
  3. Réponses: 4
    Dernier message: 29/08/2005, 19h50
  4. Records visibles dans un DbGrid
    Par claude dans le forum Bases de données
    Réponses: 5
    Dernier message: 15/04/2005, 10h09

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo