Discussion :

[sandra83]

Bonjour,


J'ai un fichier log sous format texte et je veux l'importer sur oracle pour faire un prétraitement en utilisant SQL afin de supprimer les ligne inutiles, par exemple :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
delete from LOG where code not like '200%'
delete from LOG where url like '%.gif%'
delete from LOG where url like '%.jpg%'
delete from LOG where url like '%.ico'

Mon fichier log contient les colonnes suivantes :
IP1, IP2, IP3, IP4, Jours, Mois, Années, Heur, Minutes, Débit, Code, URL1, URL2, URL3.

J'ai utilisé les étapes suivantes pour l'importer :

1. utilitaire
2. charger les données
3. charger les données textuelles
4. nouvelle table
5. télécharger un fichier
6. parcourir
7. séparateur
8. suivant

Une table est sortie qui me demande de définir des propriétés de table, là j'ai rempli le nom de la table, mais à la fin je ne sais pas ce que j'ai eu ou bien je ne comprends pas vraiment ce que c'est, et je ne sais pas comment faire pour travailler avec SQL sur cette table pour faire mon prétraitement.

Quelqu'un peut-il me décrire la bonne marche à suivre ?

Merci et bonne journée.

[OracleFan]

Je pense que tu vas avoir du mal de faire ton pré-traitement en SQL. Tu vas devoir le faire en PL SQL (ou un autre langage).

Ensuite, je pense que ce sera à toi de définir les "lignes inutiles". A ta place, j'ouvrirai le fichier et je le "parserai" d'une manière ou d'une autre. Peut-être en passant par une TABLE externe (ORAGANIZATION EXTERNAL TYPE ORALCE_DATAPUMP)? Mais d'une manière ou d'une autre, ce sera à toi de sélectionner les éléments inutiles dans une certaine logique.

[sandra83]

bonjour OracleFan et merci de m'avoir répondu,
pour l'instant je travail avec SQL, lorseque j'ai entré les commande sur SQL pour selectionner la table de tou mon fichier le résultat été un tableau avec que le premier champ de ma table, avec les étapes que je t'es montré je pense qu'il li que la premiere colonne, donc qu'est ce que tu me propose pour faire pour pouvoir lire toute ma table et pouvoire appliquer le SQL pour gérer ma base de donnée et pouvoir faire mon prétraitement.
bonne journée.

[OracleFan]

Salut Sandra,

Si je comprend bien ton message, tu essaies d'importer un fichier texte qui contient énormément de données dans ta base de données?
Si tu as un fichier texte (log_finale.dat) qui contient des données sous cette forme:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
 
IP1, IP2, IP3, IP4, Jours, Mois, Années, Heur, Minutes, Débit, Code, URL1, URL2, URL3 
1|     2|   3|   4|     1|    1|      1|    1|       1|     1|    1|    1|    1|    1

Et que tu possèdes une table LOG avec les mêmes champs, tu peux l'importer en utilisant SQL*Loader. Evite d'utiliser la console d'administration de ta base de données XE. C'est pas adapté pour importé de grandes quantité de données.

De plus, avant de t'expliquer comment fonctionne SQL*Loader, je te conseille de créer un autre schéma et d'éviter d'importer dans le schéma SYSTEM. L'utilisateur SYSTEM n'est pas fait pour être utilisé ainsi.

L'utilisation de SQL*Loader est assez simple. Il suffit juste de plonger dans la doc pour voir les centaines de paramètres que tu peux passer et tu complètes ton fichier de contrôle.

Rapidemment, voici un exemple:

Tu crée un fichier de controle (controle.ctl)

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
 
load data
   infile 'c:\chemin\vers\le\fichier\des\donnees\log_finale.dat' log='d:\chemin\vers\log\importation.log'
   into table LOG
   fields terminated by "|"		  
   (  IP1, 
      IP2, 
	  ..., continue a copier tes champs
	  URL2, 
      URL3
	)

Ensuite, il suffit de lancer la commande SQL*Loader

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
> sqlldr username@server/password control=loader.ctl

N'hésite pas à demander en cas de pépin. SQL*Loader est un outil très utilisé
Et la doc est assez bien foutue ;-)

A+

[Carocorp]

Salut
je viens à peine prendre place dans Oracle 10g. Je serai très content si quelqu'un peu m'offrir un lien pour télécharger un tuto destiné aux debutants de bas level

Merci