Précédent   Forum des professionnels en informatique > Logiciels > Solutions d'entreprise > Business Intelligence > ETL
ETL Le Forum d'entraide ETL (Extract Transform Load) et Datawarehouse : DataStage, SunOpsis, Data Integrator, Informatica, OWB, Data Manager, Talend Open Studio,...
Partagez cette discussion sur d'autres réseaux sociaux : Viadeo Twitter Google Facebook Digg Delicious MySpace Yahoo
Réponse Proposer ce sujet en actualité
 
Outils de la discussion
Publicité
'
Vieux 22/03/2007, 10h13   #1
Membre habitué
 
Inscription : octobre 2005
Messages : 179
Détails du profil
Informations personnelles :
Âge : 35
Localisation : Maroc

Informations forums :
Inscription : octobre 2005
Messages : 179
Points : 123
Points : 123
Envoyer un message via Skype™ à azziz2005
Par défaut Tri Sur Ab Initio

Bonjour,
j'ai un gros fichier (environ 30M d'enregistrements)
j'effectue un tri sur 29clé et avec Ab Initio le graph se plante.
la question : est ce qq a une idée comment faire pour traiter de tel fichier.
merci
azziz2005 est déconnecté   Envoyer un message privé Réponse avec citation 00
Vieux 23/03/2007, 15h32   #2
Membre habitué
 
Avatar de ben_harper
 
Inscription : juin 2006
Messages : 140
Détails du profil
Informations personnelles :
Âge : 32

Informations forums :
Inscription : juin 2006
Messages : 140
Points : 108
Points : 108
Bonjour,

est ce que le problème ne viendrait pas de ton paramètre "max-core" qui serait mal défini ? ( valeur trop petite ? )
ben_harper est déconnecté   Envoyer un message privé Réponse avec citation 00
Vieux 29/03/2007, 19h16   #3
Membre habitué
 
Inscription : octobre 2005
Messages : 179
Détails du profil
Informations personnelles :
Âge : 35
Localisation : Maroc

Informations forums :
Inscription : octobre 2005
Messages : 179
Points : 123
Points : 123
Envoyer un message via Skype™ à azziz2005
max_core= 10Mo
azziz2005 est déconnecté   Envoyer un message privé Réponse avec citation 00
Vieux 30/03/2007, 11h31   #4
Membre habitué
 
Avatar de ben_harper
 
Inscription : juin 2006
Messages : 140
Détails du profil
Informations personnelles :
Âge : 32

Informations forums :
Inscription : juin 2006
Messages : 140
Points : 108
Points : 108
Et ton fichier fait quelle taille exactement ? ( en Mo, pas en nombre de lignes ).
ben_harper est déconnecté   Envoyer un message privé Réponse avec citation 00
Vieux 03/04/2007, 13h37   #5
Membre habitué
 
Inscription : octobre 2005
Messages : 179
Détails du profil
Informations personnelles :
Âge : 35
Localisation : Maroc

Informations forums :
Inscription : octobre 2005
Messages : 179
Points : 123
Points : 123
Envoyer un message via Skype™ à azziz2005
Bonjour,

17millions d'enregistrements
environ 5GO

merci
azziz2005 est déconnecté   Envoyer un message privé Réponse avec citation 00
Vieux 03/04/2007, 14h31   #6
Membre habitué
 
Avatar de ben_harper
 
Inscription : juin 2006
Messages : 140
Détails du profil
Informations personnelles :
Âge : 32

Informations forums :
Inscription : juin 2006
Messages : 140
Points : 108
Points : 108
Le paramètre max-core est beaucoup trop faible.
Il fait un tri par tranche de 10Mo.
Il faut que tu l'augmentes au maximum en fonction de la mémoire disponible sur le serveur.
ben_harper est déconnecté   Envoyer un message privé Réponse avec citation 00
Vieux 03/04/2007, 14h38   #7
Membre habitué
 
Inscription : octobre 2005
Messages : 179
Détails du profil
Informations personnelles :
Âge : 35
Localisation : Maroc

Informations forums :
Inscription : octobre 2005
Messages : 179
Points : 123
Points : 123
Envoyer un message via Skype™ à azziz2005
merci
azziz2005 est déconnecté   Envoyer un message privé Réponse avec citation 00
Réponse Proposer ce sujet en actualité Cette discussion est résolue.
Outils de la discussion



Fuseau horaire GMT +2. Il est actuellement 15h08.


 
 
 
 
Partenaires

Hébergement Web