Discussion :

[Christophe Genolini]

Bonjour a tous,

Je souhaite analyser des gros jeux de données (entre 10 et 1000 giga). J'ai entendu parler d'une version de SAS qui permettait de faire se genre de choses. Mais il est assez difficile d'obtenir de vrai informations... Par exemple, quelle version de SAS me faut-il ? Et surtout, quelle sera la limite de traitement, est-ce que SAS sera capable de gérer un téra ? Si non, quelle est sa limite ?

Merci pour vos réponses
Christophe

[Stackware]

Bonjour,

Le big data chez SAS est traité de plusieurs manières, en fonction de la problématique. Il y a le stockage avec Hadoop et les outils SAS associés, et il y a Visual Analytics qui permet de charger de gros volumes en mémoire et de les interroger "en live". Il y a bien entendu les solutions hybrides (extraction de Hadoop et reporting dans VA).
La version de SAS sur ces technologies doit être la plus récente (pour profiter des dernières améliorations) donc la 9.4.

La limite de traitement de données sur un stockage Hadoop est celle des disques (donc il n'y en a pas vraiment), et pour la partie mémoire, VA sait fonctionner en cluster, et donc permet en théorie d'aller jusqu'aux limites de la mémoire installée sur les serveurs. En pratique, ce n'est pas tout à fait vrai. Je ne suis pas au fait des dernières nouvelles sur les clusters VA, mais j'imagine que l'exploitation d'une table mémoire de plusieurs centaines de Go représente déjà un certain défi.
Par contre extraire quelques dizaines de Go de Hadoop et les afficher dans VA ne présente pas de problème, et ne demande pas non plus des heures de traitement...

[mohamed_]

Bonjour,

je voudrais savoir si il existe de la doc SAS sur le sujet.

Si oui, de quels auteurs, SVP ?

[Stackware]

Bonjour,
Il y a un ebook gratuit, un livre blanc, et il y a certainement d'autre choses à voir.
Dans le white paper, à la fin, il y a quelques liens riches de documents divers sur le sujet, qui devraient t'intéresser.

[mohamed_]

Merci,

je vais regarder cette doc.