Discussion :

[PamelaGeek]

Bonjour,

Je travaille sous eclipse 3.1 et j'effectue un traitement java qui consiste à lire des fichiers CSV. Il y en aune vingtaine, dont certains qui pèsent 30Mo.
Au début du traitement, j'importe ces fichiers de façon à pouvoir les manipuler ensuite. A l'exécution, rien que cet import, avant même le moindre traitement dure plus de trois heures !!!
Je ne crois pas que ce soit normal, voici le code que j'utilise pour importer ces fichiers :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
 public ImportCsv(String path) throws FileNotFoundException {
      m_fileContent = new Vector();
      FileReader fileReader = new FileReader(path);
      readFromFile(fileReader);
      fitVectorsToSize();
   }
 
 
   public ImportCsv(Reader reader) {
      m_fileContent = new Vector();
      readFromFile(reader);
      fitVectorsToSize();
   }
 
   private void fitVectorsToSize() {
      m_fileContent.setSize(getRowsCount());
      int fileSize = getRowsCount();
      int colCount = getColsCount();
      for (int i = 0; i < fileSize; i++) {
         Vector aRow = (Vector)m_fileContent.get(i);
         if (aRow == null) {
            m_fileContent.set(i, new Vector());
            aRow = (Vector)m_fileContent.get(i);
         }
         aRow.setSize(colCount);
      }
   }
 
 
   private void readFromFile(Reader reader) {
      BufferedReader buffReader = new BufferedReader(reader);
      if (buffReader != null) {
         try {
            String tempLine;
            tempLine = buffReader.readLine();
            while (tempLine != null) {
               readFromLine(tempLine);
               tempLine = buffReader.readLine();
            }
         } catch (IOException e) {
            System.err.println("Error reading CSV file: " + e.toString());
         } finally {
            try {
               buffReader.close();
            } catch (IOException e) {
               System.err.println(
                  "Erreur closing CSV file: "
                  + e.toString()
               );
            }
         }
      }
      System.runFinalization();
      System.gc();
   }

Avez vous des idées pour rendre ce code plus performant ?
Cette durée d'éxécution est elle normale ??!
Merci.


[Modéré par Didier] : ajout de tag dans le titre - Les règles du forum Java

[adiGuba]

Salut,

Avez vous des idées pour rendre ce code plus performant ?

Déjà je ne vois pas la fermeture de ton FileReader dans la méthode ImportCsv...

Puis il semblerais que tu as une méthode readFromLine(String). Mais que fais tu à l'intérieur de cette dernière ???

Enfin je ne comprend pas trop le but de la méthode fitVectorsToSize()...
De plus tu semble en créer un grand nombre... Il faudrait surement lui préférer ArrayList qui n'est pas synchronisé...

Cette durée d'éxécution est elle normale ??!

Non.

As-tu déterminé quelle est la méthode qui prend le plus de temps ?

a++

PS : j'ai rajouté les balises [code] dans ton message, penses-y la prochaine fois

[SEMPERE Benjamin]

Personnellement, j'utilise la librairie CsvJDBC pour les imports csv, elle permet de faire des requetes SQL-LIKE sur des fichier de ce format et fournit un pseudo driver jdbc qui te permettra de manipuler tes données via un ResultSet.

++

[zekey]

Dans ce genre de cas le recours à un profiler peut parfois faire gagner bcp de temps.
Sous quel JDK travailles-tu ?

[SEMPERE Benjamin]

Dans ce genre de cas le recours à un profiler peut parfois faire gagner bcp de temps.
Sous quel JDK travailles-tu ?

Je suis d'accord tu peux utiliser le profiler de mercury (en trial uniquement)

[PamelaGeek]

Merci pour vos réponses. Je viens de rebooter ma machine et le programme prend 3 minutes, je ne sais pas ce qui s'est passé hier.
Je note néanmoins vos nombreuses pistes pour le jour où mes fichiers seront encore plus gros.

Sinon, j'ai un problème de parsing du CSV :
Mon séparateur est le point virgule.
Certaines données sont des chaines de caractères entourées de guillemets. Ces chaines contiennent des points virgules qui ne doivent pas être reconnus comme des séparateurs. Ceci cause des problèmes car ma chaine de caractères est séparée en 2.

Comment prioriser les chaines de caractères par rapport au séparateur ? Existe-il des méthodes ? Ce problème me semble assez commun non ?

Pour info, voici le code de ma méthode readFromLine :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
private void readFromLine(String tempLine) {
 
      if (tempLine == null) {
         return;
      }
      Vector currentLine = new Vector();
      m_fileContent.add(currentLine);
      m_rowsCount++;
//      setRowsCount(getRowsCount() + 1);
      if (tempLine.trim().length() == 0) {
         return;
      }
      int colCount = 0;
      int cursorBegin = 0;
      int cursorEnd = tempLine.indexOf(CELL_SEPARATOR);
 
 
      while (cursorBegin > -1) {
         if (cursorEnd == -1) {
            currentLine.add(tempLine.substring(cursorBegin));
            cursorBegin = cursorEnd;
         } else {
            currentLine.add(tempLine.substring(cursorBegin, cursorEnd));
            cursorBegin = cursorEnd + 1;
         }
         cursorEnd = tempLine.indexOf(CELL_SEPARATOR, cursorBegin);
         colCount++;
      }
      if (colCount > getColsCount()) {
         setColsCount(Math.max(getColsCount(), colCount));
      }
 
   }

[willy78]

Bonsoir
Le code servant à implémenter readFromLine semble complexe.
Pourquoi ne pas utiliser la classe StringTokenizer ou mieux avec un jdk1.4 la méthode split de String qui decoupe selon une regexp?

[PamelaGeek]

Bonne idée, je suis en train de regarder...(sites d'exemples bienvenus sur les patterns)
Savez-vous comment écrire le pattern qui détecte les guillemets dans ma ligne ?

[PamelaGeek]

J'ai finalement trouvé un exemple qui permet de séparer une chaine selon des espaces, sauf s'ils sont compris entre des guillemets. J'ai adapté ce code aux points virgules, qui est mon séparateur.
J'ai perdu l'url mais je peux fournir le code si vous le demandez.

[willy78]

Bonjour

L'url serait sympa et un [resolu] aussi