Discussion :

[kaskille]

Bonjour à tous,

Je suis actuellement étudiant en doctorat et dans le cadre de ma thèse, je travaille sur des données industrielles, assez volumineuse. Je dois notamment récupérer un historique de données (sur 2 ans) afin de pouvoir travailler ces données sous power bi. Lors d'un premier essai en Mai, j'ai rentrée l'adresse URL du flux OData (qui point vers un serveur distant de type blablabla.com) et j'ai lancé ma requête, celle-ci a mis 2 jours à aboutir pour un montant télécharger d'environ 10 Go.

Déjà, premier soucis, je continue la démarche de l'import de ce flux, et je me retrouve lors de mon premier enregistrement avec un fichier powerbi de seulement 500 Mo... J'ai bien mes données ( x lignes de données avec plusieurs colonnes, et pour chaque ligne une date) mais je ne comprends pas pourquoi j'ai eu à télécharger autant de Go pour arriver in fine à 500 Mo... J'ai pu travailler sur mes données.

#Q1 : est-ce normal de devoir télécharger autant de Go pour arriver in fine à "seulement" 500 Mo sur mon ordinateur ?

Fin Août, je décide d'actualiser la base de donnée, en cliquant simplement sur "actualiser", ce qui relance le téléchargement, cependant, au bout de 2 jours, je n'arrive jamais à aller au bout de la requête, j'ai toujours une erreur de type "Échec de l'enregistrement des modifications sur le serveur. Erreur retournée : « Erreur OLE DB ou ODBC: [DataSource.Error] OData: Échec de la requête : Le serveur distant a retourné une erreur : (500) Erreur interne du serveur. (An error occurred, please try again or contact the administrator). ».", en gros le téléchargement est interrompu, et je ne peux malheureusement pas le reprendre là ou il en était !

#Q2 : suis-je obliger en cas d'échec de reprendre la procédure à 0, n'y a t'il pas un moyen de récupérer
#Q3 : est-ce que la taille des données à lire est trop grande pour une utilisation sereine ?

J'ai tenté plusieurs manipulations, actualiser, démarrer d'un fichier "vierge" et récupérer le flux (comme en Mai), rien n'y fait, j'arrive à télécharger en gros 5 à 7 Go, et hop...bug. J'ai tenté à partir de mes données de MAI récupéré (qui en gros me donne déjà un historique de 2 ans) de ne récupérer depuis ce flux OData "que" les données actuelles (en gros JUIN/JUILLET/AOUT), mais je n'ai pas réussi à mettre une actualisation incrémentielle...mais je ne sais pas pourquoi je n'arrive pas à l'activer message d'alerte "Avant de pouvoir configurer l'actualisation incrémentielle sur cette table, vous devez configurer des paramètres. En savoir plus" j'ai suivi le en savoir plus...mais je ne trouve pas ce qui doit être fait pour "activer" cette option

#Q4 sauriez vous me guider ou m'indiquer une ressource me permettant d'activer cette actualisation incrementielle ?

D'avance merci pour votre aide !

Cordialement

Jean Baptiste

[Nicolas MENDEZ]

Salut Jean Baptiste,

#Q1 : est-ce normal de devoir télécharger autant de Go pour arriver in fine à "seulement" 500 Mo sur mon ordinateur ?

Oui c'est possible de passer de 10 Go de datas à 500 Mo sur ton disque, et c'est d'ailleurs la force de Power BI. Il s'appuie sur une structure particulière des données qui permet d'appliquer des facteurs de compression élevés. Intéressant pour de grosses volumétries.

Concernant l'erreur, je pense que ca vient du serveur sur lequel sont stockées les données à priori... peut être un serveur time out, ou une requête qui n'est plus trouvable...
Essaie de voir avec l'admin du serveur, il pourra peut être te donner des pistes

#Q2 : suis-je obliger en cas d'échec de reprendre la procédure à 0, n'y a t'il pas un moyen de récupérer

Je crois que oui, et même si cela était possible de récupérer, comment être certain des lignes de données déjà importées ou non et garantir que tout le jeu de données est bien complet ?

#Q3 : est-ce que la taille des données à lire est trop grande pour une utilisation sereine ?

Je dirais non ! On convient de dire "qu'il n'y a pas de limite" en terme de taille des données que tu peux charger dans Power BI. Tu peux charger plusieurs centaines de millions de lignes voire milliard de ligne dans Power BI et ca tient super bien ! C'est avant tout de la méthodologie de travail qui va te permettre d'être efficace sur des gros volumes.
Dans ton cas ce qui pose plus problème selon moi, c'est le transit de tes données entre le serveur et ton PC.

#Q4 sauriez vous me guider ou m'indiquer une ressource me permettant d'activer cette actualisation incrémentielle ?

L'actualisation incrémentielle est effectivement une piste, pour cela tu dois avoir :
- Une colonne date dans la table concernée
- 2 paramètres dans Power Query afin d'identifier la date de début et la date de fin
- Avoir créé un filtre sur la colonne date pour ne conserver que les dates entre les dates de début et de fin

Puis ensuite dans Power BI tu cliques droit sur la table à mettre à jour, puis "Actualisation incrémentielle" ca devrait passer maintenant

Autre astuce, plutôt que de faire bosser ton PC, pense à utiliser les dataflows (power Query en ligne) dans Power BI service et paramétrer les mises à jour automatiques.

Au début pour démarrer sans trop de couacs, penses à filtrer les données sur les X mile premières lignes dans le lien de ton flux Odata, c'est en général possible, ca va te permettre un réel gain de temps en développement. Et à la fin tu supprimes ce filtre pour tout charger, ce qui risque de prendre du temps au 1er update, mais après ca devrait bien pédaler...

En espérant que ca te file un coup de main...