Discussion :

[vbhdbms]

Bonjour,

Nouveau sur ce forum et relativement novice dans Access, je sollicite votre aide.

J'ai importé dans Access un fichier .csv de 3 millions de lignes sur 100 colonnes (avec champs en-tête) et j'en ai fait une table "matable".


A partir de cette table je réalise une extraction aléatoire de 1000 lignes, grâce à la requête SQL suivante :

Code sql :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
SELECT TOP 1000 *
FROM (SELECT Rnd(ID) AS RandomValue, * FROM matable)  AS [%$##@_Alias]
ORDER BY RandomValue;

J’obtiens alors cette extraction sous forme de tableau.
Jusqu’ici tout va bien.

Ce que je n’arrive pas à faire, c’est, une fois que j’ai obtenu cette extraction (ce tableau), pouvoir l’enregistrer en table dans Access afin de pouvoir en disposer comme table…
C’est sans doute simple, mais je bloque.

Merci

[ClaudeLELOUP]

Bonjour et bienvenue parmi nous,


À mon avis, comme ceci

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
SELECT TOP 1000 * INTO LaCible
FROM [SELECT Rnd(ID) AS RandomValue, * FROM matable]. AS [%$##@_Alias]
ORDER BY [%$##@_Alias].RandomValue;

Ou, plus simplement avec le QBE :

[vbhdbms]

Bonjour et merci

Il faut donc que je définisse la table "macible" avant (avec les mêmes champs) ?

Cordialement

[ClaudeLELOUP]

Non, c'est inutile : Access le fait pour toi.

Vois l'exemple en annexe

[vbhdbms]

Merci
Je vais essayer

[ClaudeLELOUP]

Je vais essayer

Préviens-nous si ça provoque le reformatage de ton disque dur !

[vbhdbms]

je viens d'essayer et Access me renvoie le message suivant :
"Impossible d'exécuter la requête. La taille du résultat de la requête est supérieure à la taille d'une base de données (2Go) ou bien l'espace de stockage temporaire sur le disque est insuffisant pour stocker le résultat."

Pourtant, en exécutant la requête précédente, il me donnait bien une extraction ?!?

[ClaudeLELOUP]

Là, je passe : mes connaissances techniques sont insuffisantes ! Désolé de ne pouvoir t'aider.

Mais un autre forumeur prendra sans doute le relais...

[skeud]

tu veux enregistrer le résultat de ta requête dans une table temporaire (pour pouvoir réutiliser le résultat dans une autre requete)? ou dans une table fixe (pour pouvoir enregistrer le résultat de manière permanente)?

[vbhdbms]

tu veux enregistrer le résultat de ta requête dans une table temporaire (pour pouvoir réutiliser le résultat dans une autre requete)? ou dans une table fixe (pour pouvoir enregistrer le résultat de manière permanente)?

Bonjour,
Ce que je souhaite, c'est extraire, en tirage aléatoire, un échantillon de 10 000 lignes de cette base de 3 millions (cela peut être 4), puis exporter cette extraction vers Excel pour effectuer un certain nombre de calculs statistiques sur cette extraction.

Lorsque j'exécute la 1ère requête sur la base (requête SQL que j'ai donnée plus haut / sans création de table), Access me retourne bien l'extraction voulue sous forme de tableau.
Mais lorsque je tente un export direct vers Excel (ou un .txt) de ce tableau, Access me renvoie exactement le même message ("impossible...") que si je tente d'obtenir directement une table via la requête fournie par ClaudeLELOUP.


Une solution ?

Merci

[vbhdbms]

Bonjour,

Quelqu'un aurait-il des pistes en ce qui concerne ce message suite à l'exécution des requêtes détaillées ci-dessus ?

Merci

[fsmrel]

Bonsoir,

Ce que je n’arrive pas à faire, c’est, une fois que j’ai obtenu cette extraction (ce tableau), pouvoir l’enregistrer en table dans Access afin de pouvoir en disposer comme table…
C’est sans doute simple, mais je bloque.

Avez-vous essayé INSERT INTO ?

Exemple :

Vous définissez une table (appelons-la TOP1000) dont l’en-tête (la liste des noms des colonnes) est constitué du nom RandomValue, suivi des noms des colonnes constituant l’en-tête de la table matable.

Ensuite, vous exécutez la requête :

Code SQL :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
 
INSERT INTO TOP1000 
    SELECT TOP 1000 *
    FROM   (SELECT Rnd(ID) AS RandomValue, * FROM matable)  AS [%$##@_Alias]

Sans oublier de commencer par faire le ménage pour vider TOP1000 les fois suivantes. Disons que le paquet est le suivant :

Code SQL :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
 
DELETE FROM TOP1000 ;
 
INSERT INTO TOP1000 
    SELECT TOP 1000 *
    FROM   (SELECT Rnd(ID) AS RandomValue, * FROM matable)  AS [%$##@_Alias] ;

Si le résultat est bien limité à 1000 lignes, l’export ne devrait pas poser de problème...

[vbhdbms]

Bonjour et merci

J'ai donc utilisé la requête

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
INSERT INTO TOP1000 
    SELECT TOP 1000 *
    FROM   (SELECT Rnd(ID) AS RandomValue, * FROM matable)  AS [%$##@_Alias];

Access ajoute alors (très rapidement) les 1000 premières lignes de matable à TOP1000. Ce n'est donc pas le résultat que je souhaite puisque l'objectif est d'obtenir un échantillon aléatoire sur les 3 millions de lignes de matable.

J'ai donc modifié le code comme suit

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
INSERT INTO TOP1000 
    SELECT TOP 1000 *
    FROM   (SELECT Rnd(ID) AS RandomValue, * FROM matable)  AS [%$##@_Alias]
    ORDER BY [%$##@_Alias].RandomValue;

Et malheureusement j'ai alors à nouveau le message "Impossible d'exécuter la requête. La taille du résultat de la requête est supérieure à la taille d'une base de données (2Go) ou bien l'espace de stockage temporaire sur le disque est insuffisant pour stocker le résultat."...

Comment contourner cela ?
Merci

[fsmrel]

Bonjour,


Manifestement c’est la clause « Order By » qui pose un problème : on a l’impression qu’ACCESS commence par trier les 3 millions de lignes avant de retenir l’échantillon voulu.

Je vais regarder cela de plus près, voir comment contourner.

[vbhdbms]

Re-bonjour,

Afin de répondre à mon besoin, j'ai finalement trouvé une solution toute simple : une fois l'extraction réalisée via la 1ère requête que j'ai décrite en début de discussion, je sélectionne toutes les lignes obtenues aléatoirement (même si je n'ai pas de table à proprement parlé), je les copie et je les colle dans une feuille Excel !

Cela permet de répondre à mon besoin bien que la solution n'ait pas été trouvée dans Access (raison pour laquelle je ne mets pas "résolu").

Merci encore

[fsmrel]

Bonsoir,


Dans la mesure où vous avez besoin de trier les 3 millions de lignes, ACCESS a besoin de place pour les fichiers temporaires, il va donc falloir faire des économies...

J’utilise ACCESS 2003. Je propose le scénario suivant, et vous me direz si ça continue à coincer...

1) Je définis une structure pour la table MaTable (deux colonnes suffiront pour l'exercice...) :




Et j’insère une vingtaine de lignes, ça suffit a priori pour tester :




2) Je définis la structure d’une table intermédiaire, appelons-la Top1000Id, ne comportant que deux colonnes : une colonne pour les valeurs aléatoires, nommée RandomValue, et une colonne ID hébergeant les 3 millions de clés reprises depuis la table MaTable. Je définis {RandomValue} comme clé primaire de la table (en espérant qu’il n’y aura pas de doublons...), en conséquence la clause « ORDER BY » devient inutile et on peut se dispenser du tri (l’index utilisé pour la clé primaire coûte moins cher) :




Pour peupler la table Top1000Id :

Code SQL :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
INSERT INTO Top1000Id ( RandomValue, ID )
    SELECT x.RandomValue AS RandomValue, x.PK AS ID
    FROM   (SELECT RND(ID) AS RandomValue, ID AS PK FROM MaTable)  AS x;

Contenu de la table Top1000Id après insert (et qui contiendra 3 millions de lignes, mais de taille beaucoup plus réduite) :




3) Structure de la table Resultat destinée à contenir le résultat final :


Où les colonnes ID et col1 reprennent la structure définie pour MaTable.


Pour peupler la table Resultat :

Code SQL :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
 
INSERT INTO Resultat ( RandomValue, ID, Col1 )
    SELECT y.RandomValue, x.ID, x.Col1
    FROM   Matable AS x INNER JOIN (SELECT TOP 10 RandomValue, ID FROM Top1000Id ORDER BY RandomValue)  AS y ON x.ID = y.ID;

Le tri a été déporté, espérons que ça ne coincera pas, car les ressources requises sont quand même plus réduites...

Après exécution de la requête :




Qu’est-ce que ça donne chez vous ? Si ça coince toujours, on creusera...

[vbhdbms]

Bonsoir,

Merci tout d'abord de vous être repenché sur ce problème.

Comme indiqué précédemment j'ai trouvé une solution qui répond précisément à mon besoin via le copier-coller vers Excel.

Côté Access, il me semble que le problème de limitation tient justement au dimensionnement de la base de départ. Or celles que j'utilise comportent entre 3 et 4 millions de lignes sur une centaine de colonnes.
De ce fait, l'enchaînement que vous proposez ci-dessus ne risque-t-il pas de passer à côté du problème en limitant le traitement à 2 ou 3 colonnes ?

Cordialement

[fsmrel]

Bonsoir,

Côté Access, il me semble que le problème de limitation tient justement au dimensionnement de la base de départ. Or celles que j'utilise comportent entre 3 et 4 millions de lignes sur une centaine de colonnes.

Comptons en moyenne 8 octets par colonne. Si vous avez 100 colonnes, pour chaque ligne vous consommez 800 octets . Pour 3 millions de lignes, il faut compter 2,4*10^9 octets à trier (sans compter les octets « de service »), d’où les récriminations d’ACCESS.

Avec mon système, ACCESS doit trier une table ne comportant que deux colonnes (table Top1000Id), 8 octets pour la colonne RandomValue et 4 octets pour la colonne ID, soit 12 octets par ligne. Pour 3 millions de lignes : 36 millions d’octets en tout : on est loin des 2 giga-octets, on a de la marge...

l'enchaînement que vous proposez ci-dessus ne risque-t-il pas de passer à côté du problème en limitant le traitement à 2 ou 3 colonnes ?

Certainement pas ! Certes, la table MaTable que j’ai mise en œuvre ne comporte pas 100 colonnes, (1) accessoirement parce que je n’ai pas le courage de définir une structure de 100 colonnes, (2) fondamentalement parce qu’a part la colonne ID, les 99 autres colonnes ne participent pas au tri ! (Sachant qu'on va bien entendu les retrouver par la suite).


La production du résultat final (dans lequel sont évidemment parties prenantes cette fois-ci les 100 colonnes) passe par la jointure sur l’attribut ID de la table Top1000Id et de la table MaTable (à 100 colonnes). Pour un top 1000, la table Resultat comporte 1000 lignes, avec lesquelles on retrouve les 100 colonnes initiales, mais sur la base de 800 octets par ligne (cf. ci-dessus), la taille du résultat est de l’ordre de 800*1000, soit 0,8 mégaoctets. Si c’est un Top 10000, on consomme 8 mégaoctets, on a encore de la marge...


Excel récupérera bien un résultat complet. Sommes-nous en phase cette fois-ci ?

[vbhdbms]

Bonjour,

Merci pour ces explications.

J'ai tenté ce que vous indiquez pour une extraction aléatoire de 10000 lignes sur un fichier MaTable de 4 millions de lignes et 100 colonnes.
A l'exécution de la 1ère requête (pour remplir la table temporaire Top10000ID, Access me renvoie le message suivant :


Après validation, la table temporaire Top10000ID contient 2 lignes.


Mais comme indiqué précédemment, la solution par copier-coller vers Excel me convient et est finalement beaucoup plus simple à mettre en oeuvre.

[fsmrel]

Bonsoir,


Le message produit par ACCESS est clair : lors du transfert des données d’une table à l’autre, le type de ces données n’est pas le même pour telle(s) ou telle(s) colonne(s). Du coup, vous ne cherchez plus à relever votre défi initial, à savoir loger le résultat dans une table ACCESS, alors que c'est faisable : soit.