Google met à jour BigQuery

[Stéphane le calme]

Google met à jour BigQuery,
Le service Web d’analyse de Big Data se lance à la conquête d’utilisateurs d’Hadoop

Google a apporté une mise à jour importante à BigQuery, avec pour objectif d’attirer les utilisateurs de la plateforme Apache Hadoop.

Pour rappel, Google BigQuery est un service web travaillant de concert avec Google Storage, qui permet à l’utilisateur de faire une analyse interactive de données massives (de l’ordre du milliard de lignes). Elle utilise l’architecture REST.

« Joindre des tables de l’ordre du téraoctet a toujours été une tâche ardue pour les analystes de données, nécessitant des compétences sophistiquées en développement MapReduce, du matériel puissant, ou beaucoup de temps - souvent tous les trois », écrit Ju-kay Kwek, responsable du produit Google BigQuery, dans un billet de Blog. « Aujourd’hui, grâce à BigQuery, vous bénéficiez de la souplesse et la rapidité dans la manipulation des données avec des requêtes SQL » poursuit-il.

Cette nouvelle version met un accent particulier sur les opérations avec les jointures de tables.

Elle apporte par exemple Big JOIN (fonction qui utilise des requêtes SQL pour joindre les tables de données de façon interactive à grande vitesse), Big GROUP BY (pour effectuer des regroupements sur un grand nombre de valeurs distinctes) et supporte les types de données Timestamp (support natif pour l’import et les requêtes de données de type Timestamp).

Avec ces nouveautés, les utilisateurs seront désormais en mesure d’effectuer une analyse globale de plusieurs téraoctets de données en utilisant SQL ou des outils tiers intégrés au service.

Source : blog Google


Et vous ?

De BigQuery et Hadoop, quel framework préférez-vous ?

[Jester]

Envoyé par google

JOIN requires that the right-side table contains less than 8 MB of compressed data.
JOIN EACH allows join queries for tables of any size.

join doit être de la hash map et join each un sort merge. 8MB (disons 50MB non compressé) on est plus dans la big data, mais dans la small data. Même y faire tenir une table de référence client c'est pas évident.

Le SQL semble un poil plus standard que HiveQL mais néanmoins un peu exotique.