Discussion :

[bambino3996]

Bonjour a tous, amis développeurs,

J'aimerai svoir si l'un de vous connaitrait des composants identique a "RegExpr"
pour traiter des expressions régulières a ceci près que ces composants devraient prendre en parametre un pointeur (PCHAR) au lieu d'une String comme c'est le cas dans RegExpr.

En effet l'application que je développe doit utiliser les expressions régulières dans des fichiers de textes qui dépassent souvent le méga-octets.

Et jusqu'ici j'utilise le composant RegExpr mais celui ci prenant en paramètre une String (soit tout mon texte a traiter), un texte de 5Mo met trop de temps a être traiter et si le composant fonctionnait par pointeur le traitement sera bcp plus rapide.


Merci d'avance a ceux qui ont déjà utilisé les expressions régulières si ils connaissent une composant de ce type (ou voir si quelqu'un d'acharné saurait convertir le composant RegExpr pour lui faire prendre un PChar en paramètre).


Merci pour votre attention et aussi pour tout ce que j'ai déjà apprit chaque jours en Delphi grace a votre site, ses inépuisables ressources et son Forum des plus vivants et conviviale.

[Eric.H]

si tu as les sources de RegExpr, voir si tu peux mettre const devant la declaration.... ma_fonction(const ma_chaine:string) ou alors var, si RegExpr ne modifie pas la variable ( à verifier dans le cas de var, si la chaine est modifiée apres la fonction )

const permet à delphi d'optimiser
var delphi passe le pointeur de la variable

[sjrd]

Sais-tu seulement qu'une variable string est un pointeur ?! Mais toutes les opérations nécessaires à leur copie/traitement sont transformée par le compilateur pour gérer le compteur de référence, faire des copies des chaînes quand il faut etc.
Donc le traitement est tout aussi rapide en string qu'en PChar aucune raison de chercher qqch qui fonctionne en PChar

[Eric.H]

Sais-tu seulement qu'une variable string est un pointeur ?!

Tout dépend des options du compilateur coche "Chaine vaste"

Ce qui l'embette a mon avis c'est le passage de variable même si tu passe un String "Vaste" (AnsiString) en parametre, le compilo doit en faire une copie en memoire a moins de lui mettre un VAR devant

Delphi en interne gere le AnsiString comme un PChar... mais pour le programmeur il a quasimment le même comportement que "l'ancien" string ShortString

[bambino3996]

oui Eric.h a tout a fait raison, tout le memo est copier dans une nouvelle variable string que regexpr refait apres chaque passe, donc il suffit que le fichier texte fasse 5 mo et que l'expresison regulière qu'on veuille utiliser soit sensée ramener pleins de resultats pour que le traitement prene 10 minutes.

ce qui ne serait pas le cas si il pouvait directement pointer sur le texte de mon memo

mais meric bcp pour toutes vos reponse et je suis encore ouvert a toutes sorte de suggestions

[Eric.H]

ce qui ne serait pas le cas si il pouvait directement pointer sur le texte de mon memo

Un memo utilise un TStrings. donc une liste de poiteur (un par ligne) pointant sur une string, donc avec le memo t'es mal !

Faudrai plustôt voir a charger directement ton texte dans une variable AnsiString est la passer directement à RegExpr. N.B. Ne pourra fonctionne que si le texte source ne contient aucun caractere #0 (ce qui ne devrait etre le cas). A voir si c'est possible.

Autre possibilité a tester. faire le boulot ligne par ligne, t'auras plus de code a faire, mais le RegExpr sans sortira peut etre mieux

[bambino3996]

oui mais en ligne a ligne il pourrait il avoir des erreurs si l'expression regulière définie est sensé retourné du texte qui est sur plusieurs lignes.

mais sinon je vais essayer ton autre solution.

Merci en tout cas pour ton aide, je reste ouvert a d'autres propositions.

[sjrd]

Sais-tu seulement qu'une variable string est un pointeur ?!

Tout dépend des options du compilateur coche "Chaine vaste"

Avec ou sans chaînes vastes, c'est un pointeur : sans c'est un pointeur sur une zone allouée de 256 octets ; avec c'est un pointeur alloué et désalloué au fur et à mesure des besoins par le code ajouté par le compilo.

De plus, non la chaîne n'est pas copiée à chaque fois qu'on fait une affectation. Ce qui se passe c'est qu'il y a affectation du pointeur et incrémentation du compteur de référence de cette chaîne. Lorsqu'une AnsiString est modifiée et que son compteur de référence est supérieur à 1, elle est d'abord réellement copiée en mémoire avant de se voir affecter des traitements.

Donc le passage d'une AnsiString en paramètre non-var à une méthode est aussi rapide que le passage d'un entier, ou d'un pointeur.

Conclusion : la transformation en PChar n'arrangera pas les choses

En revanche, il est vrai que charger le fichier dans le mémo pour ensuite passer sa propriété Text en paramètre est une mauvaise idée. Comme l'a dit Eric.H, il vaut beaucoup mieux charger directement le fichier dans une string. Pour faire ça le plus rapidement possible, rien ne vaut les flux :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
var FileStream : TFileStream;
    StringStream : TStringStream;
begin
  StringStream := TStringStream.Create('');
  try
    FileStream := TFileStream.Create(NomFichier, fmOpenRead or fmShareExclusive);
    try
      StringStream.CopyFrom(FileStream, 0);
    finally
      FileStream.Free;
    end;
    // utilise ici StringStream.DataString pour tes reg exp
  finally
    StringStream.Free;
  end;
end;

[bambino3996]

ok, Merci beaucoup sjrd.

J'ai testé et ça a l'air déjà beaucoup plus rapide dans mon traitement.

Je pense que je vais conserver cette solution et considéré mon problème comme résolu.

Encore Merci beaucoup aussi a tout ceux qui m'ont répondu !

[Laurent Dardenne]

Si je peux me permettre regarde si les fichiers mappés peuvent réduire les temps de traitement dans ton cas.

[bambino3996]

ben la taille des fichiers mappés peut etre très variable et peut aller j'usqu'a faire plusieurs méga octets.

dans ce cas je sais donc que qu'avec un fichier de cette taille les performonces seront forcément moindre. Ce que je souhaiterait tout de meme c'est d'optimiser au maximum ce traitement