Optimisation création requête multiple

Bonjour j'ai créer une procédure pour charger un fichier text, le fichier texte contient environ 36 000 lignes et je mets 7 secondes pour traiter 1600 lignes
je trouve ça horriblement lent

Je dois sûrement mal m'y prendre

C'est ma boucle qui permet d'insérer les lignes une à une dans mon TADOQuery qui est longue je n'ai même pas essayé d'insérer les données

Je suis sûr que les professionnels que vous êtes avez des conseils à me donner, merci d'avance.

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32

Procedure TMain.btLoadCodePostalClick(Sender: TObject); Var NewCode: TStringList; I: Integer; Begin If Not OpenTextFileDialog.Execute Then Exit; //si aucun fichier n'est spécifié je quitte la procédure Try btLoadCodePostal.Enabled := False; //je désactive mon bouton NewCode := TStringList.Create; //je crée une liste NewCode.LoadFromFile(OpenTextFileDialog.FileName); //je charge mon fichier dans la liste If NewCode.Count > 30000 Then //si la liste contient plus de 30 000 lignes il est sûrement correct Begin ADOQuery.SQL.Clear; ADOQuery.SQL.Add('DELETE FROM `codes postal`;' + sLineBreak); //je vide la table des anciens codes I := NewCode.Count - 1; While I > 0 Do //je boucle pour créer les requêtes afin de insérer les nouveaux codes Begin //je récupère dans chaque ligne les cinq premiers caractères, et la fin de la ligne moins les six premiers caractères ADOQuery.SQL.Add('INSERT INTO `codes postal` VALUES (''' + Copy(NewCode[I], 1, 5) + ''', ''' + Copy(NewCode[I], 7, Length(NewCode[I])) + ''');' + sLineBreak); Dec(I); End; ADOQuery.ExecSQL; //j'exécute mes requêtes End Else ShowMessage('Moins de 30000 lignes le fichiers est sûrement incorrect!'); Finally NewCode.Free; //je libère ma liste btLoadCodePostal.Enabled := True; //je réactive mon bouton End; End;

---

j'ai fait l'ajout de requete par bloque de 1000, sa met 3sec maintenant :)

par contre dans mon string temporaire comment virer à la fin la dernière virgule espace?
Exemple: ('test, 'vbv'), ('test, 'vbv'), ('test, 'vbv'), ('test, 'vbv'),

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46

Procedure TMain.btLoadCodePostalClick(Sender: TObject); Var NewCode: TStringList; I, Nb: Integer; TmpInsert: String; Begin If Not OpenTextFileDialog.Execute Then Exit; //si aucun fichier n'est spécifié je quitte la procédure Try btLoadCodePostal.Enabled := False; //je désactive mon bouton NewCode := TStringList.Create; //je crée une liste NewCode.LoadFromFile(OpenTextFileDialog.FileName); //je charge mon fichier dans la liste If NewCode.Count > 30000 Then //si la liste contient plus de 30 000 lignes il est sûrement correct Begin ADOQuery.SQL.Clear; ADOQuery.SQL.Add('DELETE FROM `codes postal`;' + sLineBreak); //je vide la table des anciens codes I := NewCode.Count - 1; Nb := 0; TmpInsert := ''; While I > -1 Do //je boucle pour créer les requêtes afin de insérer les nouveaux codes Begin If NewCode[I] = '' Then //si la ligne est vide je la saute Continue; //je récupère dans chaque ligne les cinq premiers caractères, et la fin de la ligne moins les six premiers caractères TmpInsert := TmpInsert + '(''' + Copy(NewCode[I], 1, 5) + ''', ''' + Copy(NewCode[I], 7, Length(NewCode[I])) + '''), '; If Nb > 999 Then //si mon string temporaire contient 1000 code j'insère la requete Begin //del dernier ), dans tmpinsert ADOQuery.SQL.Add('INSERT INTO `codes postal` VALUES ' + TmpInsert + ';' + sLineBreak); Nb := 0; TmpInsert := ''; End Else Inc(Nb); Dec(I); End; //del dernier ), dans tmpinsert ADOQuery.SQL.Add('INSERT INTO `codes postal` VALUES ' + TmpInsert + ';' + sLineBreak); // ADOQuery.ExecSQL; //j'exécute mes requêtes End Else ShowMessage('Moins de 30000 lignes le fichiers est sûrement incorrect!'); Finally NewCode.Free; //je libère ma liste btLoadCodePostal.Enabled := True; //je réactive mon bouton End; End;

---

Salut,

Moi pour couper à droite j'utilise cela

Code:

---

1 2 3 4 5 6

function StrCoupeADroite(const S : string; const Count : integer) : string; begin result := S; if (count = 0) or (count > Length(S)) then exit; SetLength(result,Length(S)-Count); end;

---

Pour ton exemple tu pourrais faire cela ensuite :

Code:

---

tmpinsert := StrCoupeDroite(tmpinsert,1);

---

Bye

Je garde ton astuce avec setlength car j'utilise copy et ta méthode est sûrement plus rapide.

Je vous met la fonction fonctionnelle:

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39

Procedure TMain.btLoadCodePostalClick(Sender: TObject); Var NewCode: TStringList; I, Nb: Integer; Begin If Not OpenTextFileDialog.Execute Then Exit; //si aucun fichier n'est spécifié je quitte la procédure Try btLoadCodePostal.Enabled := False; //je désactive mon bouton NewCode := TStringList.Create; //je crée une liste NewCode.LoadFromFile(OpenTextFileDialog.FileName); //je charge mon fichier dans la liste If NewCode.Count > 30000 Then //si la liste contient plus de 30 000 lignes il est sûrement correct Begin ADOQuery.SQL.Clear; ADOQuery.SQL.Add('DELETE FROM `code_postal`;' + sLineBreak); //je vide la table des anciens codes ADOQuery.Prepared := True; ADOQuery.ExecSQL; //j'exécute ma requêtes I := NewCode.Count - 1; Nb := 0; While I > -1 Do //je boucle pour créer les requêtes afin de insérer les nouveaux codes Begin If NewCode[i] = '' Then //si la ligne est vide je la saute Continue; //je récupère dans chaque ligne les cinq premiers caractères, et la fin de la ligne moins les six premiers caractères ADOQuery.SQL.Clear; ADOQuery.SQL.Add('INSERT INTO `code_postal` (code, ville) VALUES (' + Copy(NewCode[i], 1, 5) + ', ''' + Copy(NewCode[i], 7, Length(NewCode[i])) + ''');' + sLineBreak); ADOQuery.Prepared := True; ADOQuery.ExecSQL; //j'exécute ma requêtes Dec(I); End; End Else ShowMessage('Moins de 30000 lignes le fichiers est sûrement incorrect!'); Finally NewCode.Free; //je libère ma liste btLoadCodePostal.Enabled := True; //je réactive mon bouton End; End;

---