Discussion :

[DarwinTheBeagle]

Bonjour.
Pour des raisons de rapidité d insertion et de calculs j insère le contenu d un fichier csv de 5 millions de lignes avec un champ LaDate que je formate en un int64 : 20250130143300 pour le 30/01/2025 14:33:00.

Mais quand je fais une requete simple sur ce champ 'LaDate', le résultat est systématiquement : -643800239

ma requete :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

SELECT LaDate FROM Tb_Ticks WHERE LaDate > 20250130143300 limit 1

Ma question est donc simple, comment récuperer ce type de données.

Pour info ma base est crée ainsi :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

CREATE TABLE IF NOT EXISTS Tb_Ticks ( id INTEGER PRIMARY KEY AUTOINCREMENT, LaDate INTEGER, Last REAL, Bid REAL, Ask REAL);

J utilise Delphi / Firedac

Merci pour votre aide et vos conseils.

[acaumes]

Bonjour,

Comme ça à première vue tu récupères uniquement les 32 bits de poids faible. Donc à voir sur FIREDAC comment utiliser 64 bits parce que sur SQLITE un entier peut bien avoir 64 bits.
Pourquoi ta date est elle en entier? Est ce que c'est une date UNIX Timestamp (en secondes depuis le 01/01/1970) ou autre chose (par exemple Pour Thunderbird c'est un UNIX timestamp multiplié par 1000 (en ms))?
Il y a d'autres moyen de stocker une date dans SQLITE (en texte ou en date Julienne) avec des conversions pour DELPHI.
Si tu utilises DELPHI pourquoi ne pas stocker ta date comme DATETIME Delphi (Tu n'auras pas de conversion et comme c'est un réel ce devrait aussi être facile à gérer.

Cordialement

[SergioMaster]

Bonjour,

C'est plus un problème Firedac que SQLite.

Le moyen simple, utiliser le traitement des commandes de Firedac
indiquer "nom d'alias::le type voulu"

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

SELECT LaDate "ladate::INT64" FROM Tb_Ticks WHERE LaDate > 20250130143300 limit 1

Moyen un peu plus complexe, utiliser des régles de mappage
propriétés FormatOptions.MapRules

et bien stipuler FormatOptions.OwnMapRules=True

Perso, je vote pour la première solution, mais j'utiliserai plutôt un type DATETIME pour ce qui est de la structure de la table.

[DarwinTheBeagle]

@SergioMaster : Merci, c est parfait, tout fonctionne.

Effectivement le format choisi pour la date est particulier mais c est le résultat le plus rapide en terme de temps de conversion et d insertion entre les différents formats de dates des différents csv.
Je mets en Bdd un fichier qui pour une semaine compte plus de 5 millions de lignes en 1 minutes 30. L insertion la plus rapide avec des formats plus traditionnels prend au moins 1 minute supplémentaire

[SergioMaster]

As-tu pensé au TFDBatchmove pour cette opération ?

[DarwinTheBeagle]

Non effectivement pke je pensais que ce n etait que pour mysql

J ai donc cherché et suis tombé sur une vidéo explicative sur la page https://blogs.embarcadero.com/this-i...using-firedac/
Le pb est que cette vidéo ne dure que 30 secondes !!!

Donc j ai bien compris qu il fallait placer un TFDConnection et un TBatchmouve mais apres... Quel "reader", quel "writer"...
Donc si tu pouvais m éclairer de tes lumières ou un lien vers un tuto.

Je précise que j ai suivi vos conseils et mes fichiers csv sont désormais leur date au format compatible avec SQLIte afin d aviter toute manip inutile et gagner en temps. Je sais j aurais du y penser avant...

Merci pour ton aide...

EDIT :

Finalement j ai trouvé un exemple mais je ne peux afficher que le code, la faute à fMainCompBase.pas manquant donc je ne peux pas explorer les composants FDquery par exemple

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
// Create text reader and set FDBatchMode as owner. Then
  // FDBatchMove will automatically manage the reader instance.
  with TFDBatchMoveTextReader.Create(FDBatchMove) do begin
    // Set text data file name
    FileName := ExtractFilePath(Application.ExeName) + 'Data.txt';
    // Setup file format
    DataDef.Separator := ';';
    DataDef.WithFieldNames := True;
  end;
  // Create dataset writer and set FDBatchMode as owner. Then
  // FDBatchMove will automatically manage the writer instance.
  with TFDBatchMoveDataSetWriter.Create(FDBatchMove) do begin
    // Set destination dataset
    DataSet := qryLoaded;
    // Do not set Optimise to True, if dataset is attached to UI
    Optimise := False;
  end;
  // Analyze source text file structure
  FDBatchMove.GuessFormat;
  FDBatchMove.Execute;
 
  // show data in dbgrid
  qryLoaded.Open;

je ne sais pas à quoi correspond qryLoaded et DataSet