Tableau dynamique et fichier CSV

Version imprimable

Voir 40 message(s) de cette discussion en une page

05/02/2007, 13h14
darkvadr

Citation:

Envoyé par ShaiLeTroll

La différence peut se sentir sur des machines des clients encore en Win95/98 avec très peu de RAM ...

LooooL, avec la sortie annoncée des core Quad et de vista...

Les pentiums 4 à 3 Ghz sont à moitié prix ou moins et sont proposés pour des machine de bureautique d'entrée de gamme...

Bon techniquement tu as raison bien sur, cela ne fait aucun doute... Et si le problême est de traiter des gros fichiers mieux vaux s'orienter vers une solution moins mange cycle.

Et puis il est vrai qu'apprendre à optimiser est essentiel.
Le faire... tout dépend... Question de temps homme/machine...
Si le cout de l'optimisation est supérieur au prix d'une machine neuve rendant transparent le manque d'optimistaion (et avec mes tarifs c'est vite vu), optimiser est une mauvaise chose.

C'est un raisonnment très mercantile... Je sais... Mais c'est la réalité de notre métier.

Enfin...je le repette encore et encore c'est toi qui a raison sur le plan technique...aucun doute là dessus.

Cela dit je rie d'entendre parler de win95 avec très peu de RAM. Les deux os cités ne sont meme plus maintenus par Microsoft. Aucune entreprise sérieuse ne tourne avec des os non maintenus. C'est inenvisageable et dangereux.
05/02/2007, 14h55
ShaiLeTroll

HS ON

"Aucune entreprise sérieuse ", tu n'as pas tort, mais on a des clients qui sont des associations, c'est pas le même budget ... va au fin fond des Ardennes, installer Windows Vista à une commauté écologique mais qui a besoin d'un minimum d'informatique pour écouler des bouquins écolos, et que sur les 10 machines, seuls trois sont passé en XP, 2 sur 2000, et le reste en 95/98 ^_^, on va remplacer les applis DBase Delphi6, par la version moderne waooo, en MySQL Delphi7 ... et ouais, j'ai fait ma migration via des fichiers csv, 300 Mo pour le plus gros fichier et 800 Mo en total, quand je vois la vitesse d'aspiration de MySQL, je me dit qu'heureusement qu'ils ont bossé sur l'optimisation)

Sinon, pour le temps de travail, combien ça coute au client que tu mette du temps à développer une fonction performante, plus cher qu'un nouvel ordi, vu nos tarifs, ouais un jour et c'est mort, mais celui qui pond une telle fonction en plus d'heure, désolé, ce n'est pas un developpeur professionnel.

De plus un éditeur de logiciel sérieux, fait sa lib, et pond cette fonction une fois pour l'ensemble de ses applis (même si un seul client la demande, c'est un truc tellement générique), donc les couts sont répartis, ...

Et encore tu oublies qu'une machine peut être utilisé pour d'autres choses que l'appli que l'on vend, et le cout de migration d'un poste si tu dois réinstaller des logiciels sur lequel tu n'as aucun contrôle (office, ciel, ebp, ...) sais-tu l'estimer, le risque que cela fonctionne plus du tout est trop important ... rien que la version d'office c'est déjà un soucis pour le publipostage lorque l'on ne gère qu'office97 et 2000, et que l'on a pas eu le temps d'investir sur les nouvelles versions (ben oui si un client ne le demande pas, on va pas n'ont plus se fatiguer), nous n'avons pas n'ont plus envie de "tester" un office97 sur un windows vista ...

Donc quand tu as la vision globale de l'installation client, tu vois que cela est plus complexe ...

HS OFF
05/02/2007, 15h15
darkvadr

Citation:

Envoyé par ShaiLeTroll

HS ON

"Aucune entreprise sérieuse ", tu n'as pas tort, mais on a des clients qui sont des associations, c'est pas le même budget ... va au fin fond des Ardennes, installer Windows Vista à une commauté écologique mais qui a besoin d'un minimum d'informatique pour écouler des bouquins écolos, et que sur les 10 machines, seuls trois sont passé en XP, 2 sur 2000, et le reste en 95/98 ^_^, on va remplacer les applis DBase Delphi6, par la version moderne waooo, en MySQL Delphi7 ... et ouais, j'ai fait ma migration via des fichiers csv, 300 Mo pour le plus gros fichier et 800 Mo en total, quand je vois la vitesse d'aspiration de MySQL, je me dit qu'heureusement qu'ils ont bossé sur l'optimisation)

Sinon, pour le temps de travail, combien ça coute au client que tu mette du temps à développer une fonction performante, plus cher qu'un nouvel ordi, vu nos tarifs, ouais un jour et c'est mort, mais celui qui pond une telle fonction en plus d'heure, désolé, ce n'est pas un developpeur professionnel.

De plus un éditeur de logiciel sérieux, fait sa lib, et pond cette fonction une fois pour l'ensemble de ses applis (même si un seul client la demande, c'est un truc tellement générique), donc les couts sont répartis, ...

Et encore tu oublies qu'une machine peut être utilisé pour d'autres choses que l'appli que l'on vend, et le cout de migration d'un poste si tu dois réinstaller des logiciels sur lequel tu n'as aucun contrôle (office, ciel, ebp, ...) sais-tu l'estimer, le risque que cela fonctionne plus du tout est trop important ... rien que la version d'office c'est déjà un soucis pour le publipostage lorque l'on ne gère qu'office97 et 2000, et que l'on a pas eu le temps d'investir sur les nouvelles versions (ben oui si un client ne le demande pas, on va pas n'ont plus se fatiguer), nous n'avons pas n'ont plus envie de "tester" un office97 sur un windows vista ...

Donc quand tu as la vision globale de l'installation client, tu vois que cela est plus complexe ...

HS OFF

Ben oui... je dois admettre avoir schematiser un peu trop.

Mais je le reconnaissais déjà a mi mots....
Bien sur que tu as raison. Je suis seulement dans un contexte extremment différent.

Dans mon domaine l'ordinateur est fournit avec le logiciel, on ne fait pas de bureautique et il ne sert qu'a une chose et une seule.

Cela dit je fais ainsi parti (malgre moi) d'une façon de penser et d'une mecanique commerciale que je trouve absolument honteuse.

C'est mon job... :(

Après reflexion je suis 100% ok avec toi.

Cela dit peut-être que cette petite classe suffit pour une petite application.

Dés que j'ai un moment (et j'ai toujours finit par faire ce que je disais) je creer une classe plus optimisée pour les csv (avec de l'ASM ca vous booster grave de chez grave)

Ca ne fait pas partie de mes priorités mais je le mets dans mes TODO
05/02/2007, 15h50
ShaiLeTroll

Ah ! ASM, je prendrais cette version avec plaisir, j'ai un ancien collègue qui pourrait être interessé d'avoir une fonction encore plus rapide que celle que j'avais écrite ...
05/02/2007, 19h21
scarecrow1

je suis ravi que mon probleme est pu ouvrir le debat :P

lent ou pas je prend
shuss

Bon, malgré que ce sujet soit un peu vieux, j'ai complété la fonction explode pour gérer des Quotes, à tout ceux qui veulent l'utiliser et me dire les cas que je n'aurais pas gérer, de mon côté, ça semble bien fonctionner, j'ai comparé avec ce que Excel fait lui même ...

bon, par contre, cela peut gérer plusieurs quote ", ', \ ... et peu importe quel commence et quel fini, je n'ai pas géré, le "niveau" de quote ...

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
{* -----------------------------------------------------------------------------
la fonction Explode retourne un tableau de chaînes. Ce sont les sous-chaînes, extraites de S, en utilisant le séparateur Separator.
@param S Chaine à découper
@param A Tableau de Chaine qui recevra la découpe
@param Separators Caractères qui délimitent une chaine pour la découpe
@param ExcludeEmpty Si True, les Chaines vides ne sont pas insérés dans le Tableau
@param Quotes Caractères qui délimitent une chaine pour la découpe contenant des Separators
@return Nombre de Séparateur Trouvé (peut-être différent du nombre de chaine dans A !)
------------------------------------------------------------------------------ }
function Explode(const S: string; out A: Types.TStringDynArray; const Separators: string; ExcludeEmpty: Boolean = False; const Quotes: string = ''): Integer;
var
  iLesSep: Integer;
  iLesQuote: Integer;
 
  function IsSeparator(C: Char): Integer;
  begin
    for Result := 1 to iLesSep do
      if C = Separators[Result] then
        Exit;
 
    Result := -1;
  end;
 
 
  function IsQuote(C: Char): Integer;
  begin
    for Result := 1 to iLesQuote do
      if C = Quotes[Result] then
        Exit;
 
    Result := -1;
  end;
 
var
  iStr: Integer;
  iQuote: Integer;
  iLenS: Integer;
  iLenSS: Integer;
  iLenA: Integer;
  iAdded: Integer;
  iBegin: Integer;
  iExclude: Integer;
  Quoted: Boolean;
  DoubleQuoted: Boolean;
  AlreadyDQ: Boolean;
  QuoteConcat: string;
  iOffQuote: Integer;
begin
  iLenS := Length(S);
  iLesSep := Length(Separators);
 
  if (iLenS = 0) or (iLesSep = 0) then
  begin
    SetLength(A, 1);
    Result := 0;
    A[Result] := '';
    Exit;
  end;
 
  iLesQuote := Length(Quotes);
  for iQuote := 1 to iLesQuote do
    if IsSeparator(Quotes[iQuote]) > 0 then
      raise EParserError.CreateFmt('le Délimiteur "%s" ne peut pas être un Séparateur !', [Quotes[iQuote]]);
 
  Result := 0;
  iQuote := 0;
  for iStr := 1 to Length(S) do
  begin
    if IsSeparator(S[iStr]) > 0 then
      Inc(Result)
    else
      if IsQuote(S[iStr]) > 0 then
        Inc(iQuote);
  end;
 
  if Odd(iQuote) then
    raise EParserError.CreateFmt('Nombre de Délimiteur Incorrect : "%d" !', [iQuote]);
 
  iLenA := Result + 1;
  SetLength(A, iLenA);
  iBegin := 1;
  iLenSS := 0;
  iExclude := 0;
  iAdded := 0;
  Quoted := False;
  iOffQuote := 0;
  QuoteConcat := '';
  AlreadyDQ := False;
 
  for iStr := 1 to iLenS do
  begin
    if not Quoted and (IsSeparator(S[iStr]) > 0) then
    begin
      if ExcludeEmpty and (iLenSS = 0) then
      begin
        iBegin := iStr + 1;
        Inc(iExclude);
      end else
      begin
        if AlreadyDQ then
          A[iAdded] := QuoteConcat
        else
          A[iAdded] := Copy(S, iBegin, iLenSS);
 
        AlreadyDQ := False;
        Inc(iAdded);
        iBegin := iStr + 1;
        iLenSS := 0;
      end;
    end else
    begin
      if IsQuote(S[iStr]) > 0 then
      begin
        if Quoted then
        begin
          Quoted := False;
          if iStr < iLenS then
          begin
            DoubleQuoted := IsQuote(S[iStr+1]) > 0;
            if AlreadyDQ then
              QuoteConcat := QuoteConcat + Copy(S, iBegin, iLenSS) + IfThen(DoubleQuoted, S[iStr+1], '')
            else
              QuoteConcat := Copy(S, iBegin, iLenSS) + IfThen(DoubleQuoted, S[iStr+1], '');
            AlreadyDQ := AlreadyDQ or DoubleQuoted;
          end;
        end else
        begin
          Quoted := True;
          iBegin := iStr + 1;
          iLenSS := 0;
        end;
      end else
      begin
        if Quoted and (IsSeparator(S[iStr]) > 0) then
          Inc(iOffQuote)
        else
          Inc(iLenSS);
      end;
    end;
  end;
 
  if iAdded < iLenA then
    A[iAdded] := Copy(S, iBegin, MaxInt);
 
  if (ExcludeEmpty and (iExclude > 0)) or (iOffQuote > 0) then
    A := Copy(A, 0, iLenA - iExclude - iOffQuote);
 
  Result := Result - iOffQuote;
end;

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
{* -----------------------------------------------------------------------------
la fonction ExplodeToStrings encapsule Explode pour renvoyer une liste.
@param S Chaine à découper
@param A Tableau de Chaine qui recevra la découpe
@param Separators Caractères qui délimitent une chaine pour la découpe
@param ExcludeEmpty Si True, les Chaines vides ne sont pas insérés dans le Tableau
@param Quotes Caractères qui délimitent une chaine pour la découpe contenant des Separators
@return Nombre de Séparateur Trouvé (peut-être différent du nombre de chaine dans A !)
------------------------------------------------------------------------------ }
function ExplodeToStrings(const S: string; L: TStrings; const Separators: string; ExcludeEmpty: Boolean = False; const Quotes: string = ''): Integer;
var
  A: Types.TStringDynArray;
  iL: Integer;
begin
  if Assigned(L) then
  begin
    Result := Explode(S, A, Separators, ExcludeEmpty, Quotes);
    L.Clear();
    L.Capacity := Result;
    for iL := Low(A) to High(A) do
      L.Add(A[iL]);
  end else
    Result := -1;
end;

Voir 40 message(s) de cette discussion en une page