Discussion :

[zedis]

Bonjour,

J'ai un problème un peu compliqué a résoudre, ca fait quelques semaines que je suis dessus.

Voilà, j'ai dans les eaux de 1000 fichiers .csv dans un repertoire qu'il faut que je charge en mémoire pour pouvoir faire des traitements dessus.

Les données sont conservees dans chaque fichier sous la forme
char[10] char[10] int float float float float
char[10] char[10] int float float float float
char[10] char[10] int float float float float, etc.

La solution que j'ai trouvé était de créer une structure pour pouvoir faire des traitements dessus. Mais j'ai beaucoup de problèmes pour arriver à effectuer des traitements dessus depuis une fonction. Voici un bout de code. Il ne résoud que très partiellement le problème :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
 
#include <stdio.h>
 
struct entree {
 
char date[10], time[10];
int v;
float a,b,c,d;
 
}
 
main () {
 
struct entree data[1000] ; # 1000 lignes pour le fichier
 
int i=0;
FILE *fp;
fp = fopen("1.csv", "r");
 
while(!(feof(fp))) {
 
  fscanf(fp, "%s %s %d %f %f %f %f", &date, &time, &v, &a, &b, &c, &d);
 
  strcpy(data[i].date, date);
  strcpy(data[i].time, time);
  data[i].v = v);
  data[i].a = a);
  data[i].b = b);
 
  i++;
}
 
}

J'ai 3 problèmes :
- j'arrive pas à creer une fonction distincte de main, qui mette les données dans la structure
- je sais pas comment gérer plusieurs fichiers
- je sais pas comment gérer un fichier de x lignes (x étant susceptible d'être supérieur à 200.000).

Je sais, ca fait beaucoup de mémoire vive qu'il va falloir acheter, mais c'est pas un problème ;-)

[CR_Gio]

Salut,

Pour l'instant c'est pas un gourou qu'il faudrais pour resoudre ton probleme mais un voyant par ce que je ne voie pas ou est le probleme.

Mais j'ai beaucoup de problèmes pour arriver à effectuer des traitements dessus depuis une fonction.

Quel type de traitement doit tu faire?
Que doit tu optimiser : le temps CPU, la ram ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
void fonction(void)
{
}
int main (int argc, char *argv[])
{
  fonction();
  return 0;
}

[semaj_james]

Voilà, j'ai dans les eaux de 1000 fichiers .csv dans un repertoire qu'il faut que je charge en mémoire pour pouvoir faire des traitements dessus.
- je sais pas comment gérer plusieurs fichiers
- je sais pas comment gérer un fichier de x lignes (x étant susceptible d'être supérieur à 200.000).

Je sais, ca fait beaucoup de mémoire vive qu'il va falloir acheter, mais c'est pas un problème ;-)

Quels genres de traitement veux tu faire ? peut etre que les bases de donnees seraient plus appropriees pour ton probleme.

- j'arrive pas à creer une fonction distincte de main, qui mette les données dans la structure

utilise un pointeur sur ta structure:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
struct entree {
char date[10], time[10];
int v;
float a,b,c,d;
}*PENTREE;
 
void ajout_donnees(PENTREE donnees)
{
donnees->v = v;
}

[hiko-seijuro]

coucou,

1°) Est ce que les traitements se font de manière indépendante sur chaque fichier ou non ?
2°) Est ce que pour un fichier tu ne pourrais pas segmenter les traitements ?
3°) Je pense comme semaj_james qu'une BDD serait plus pertinente si pcela est possible !

- j'arrive pas à creer une fonction distincte de main, qui mette les données dans la structure

Voir ce qu'a dit semaj_james sauf que j'éviterais le typedef sur un pointeur (avis perso !)

- je sais pas comment gérer plusieurs fichiers

utilise un tableau de pointeur sur fichiers (FILE *).

voila

P.S : oublie pas le fclose à la fin du traitement du fichier (!= du traitement de la structure !!!)

[Thierry Chappuis]

Salut,

Les données sont conservees dans chaque fichier sous la forme
char[10] char[10] int float float float float
char[10] char[10] int float float float float
char[10] char[10] int float float float float, etc.

Ton fichier est au format CSV (Comma separated value). Je suppose qu'on a donc:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
char[10],char[10],int float,float,float,float\n
char[10],char[10],int,float,float,float,float\n
etc.

Voici quelques remarques sur ton code:

• La norme n'autorise que deux formes pour la fonction main qui doit impérativement retourner un entier de type int sous peine de comportement indéfinit. Voici les deux formes:
  

  Code :

  Sélectionner tout - Visualiser dans une fenêtre à part

  1
  2
  3
  4
  5
  int main(void)
  {
      /*...*/
      return 0;
  }

  ou
  

  Code :

  Sélectionner tout - Visualiser dans une fenêtre à part

  1
  2
  3
  4
  5
  int main(int argc, char *argv[])
  {
      /*...*/
      return 0;
  }

• # n'est pas une marque de commentaire valide en C. Utilise soit /*...*/ ou // si tu programmes en C99.
• Les variables date, time, v, a, b, c, d que tu utilises en argument de fscanf ne sont pas définies
• Lorsque tu ouvres un fichier avec fopen, il faut le refermer avec fclose

A part cela, la stratégie adéquate pour lire un fichier au format CSV est de:

1. Lire chaque ligne du fichier avec la fonction fgets et stocker la ligne courrante dans un tampon.
2. Analyser la ligne stockée dans le tampon avec une fonction dont le prototype pourrait être:
   

   Code :

   Sélectionner tout - Visualiser dans une fenêtre à part

   1
   2
   3
   4
   5
   6
   7
   8
   9
   10
   11
    
   /**
    * Analyse et valide une ligne du fichier
    *
    * IN: p_tmp - pointeur sur le tableau de caractère contenant la ligne 
    *                 courante chargée en mémoire.
    * OUT: p_data - pointe sur un objet de type struct entree en mémoire.
    *                        initialise cette structure avec les données de p_tmp.
    * RETURN: code d'erreur
    */
   int analyse_ligne(char const *p_tmp, struct entree *p_data);

Pour ouvrir les différents fichiers 1.csv, 2.csv, etc., tu peux utiliser la fonction sprintf.

Bonne chance

Thierry

[Skyounet]

nteur sur ta structure:

De toute façon il n'est pas conseillé de passer une structure en paramètres, il est conseillé de passer un pointeur sur une structure.

[semaj_james]

Voir ce qu'a dit semaj_james sauf que j'éviterais le typedef sur un pointeur (avis perso !)

De toute façon il n'est pas conseillé de passer une structure en paramètres, il est conseillé de passer un pointeur sur une structure.

Pourriez vous m'expliquer pourquoi ?

[crocodilex]

Pourriez vous m'expliquer pourquoi ?

En C le passage de paramètre à une fonction se fait par recopie. Imagine que ta structure, que tu souhaites passer en paramètre, contienne une très grosse quantité d'éléments. A chaque appel de la fonction en question, toute ta structure sera recopiée dans la pile. Ce qui peut poser problème au niveau de la perfo.
C'est pour cela qu'il est préférable de passer un pointeur plutot que la structure.

A+

[semaj_james]

ok je comprends mieux. je te remercie.
Et au sujet du typdef sur un pointeur ?

[crocodilex]

Et au sujet du typdef sur un pointeur ?

Eh bien, c'est juste pour une question de lisibilité. Le fait de faire un typedef sur un pointeur, cela a pour conséquence de masquer le pointeur dans la suite du code. Je ne sais pas si je suis très claire...........

[Médinoc]

Le problème est que beaucoup font des typedefs de pointeurs qui "cachent" leur nature de pointeur.

Si je te montre une fonction déclarée ainsi:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

int afficher(arbre a);

Le type arbre est-il un pointeur, un entier ou une structure ?

Évidemment, quand le type représente explicitement un pointeur (comme PENTREE), il n'y a pas trop de problème...

[Emmanuel Delahaye]

Je ne sais pas si je suis très claire...........

[semaj_james]

ok pour le typdef. je vous remercie

[crocodilex]

Peut-etre que je suis une fille.....Je n'ai mentionné nulle part mon sexe....

[Thierry Chappuis]

En C le passage de paramètre à une fonction se fait par recopie. Imagine que ta structure, que tu souhaites passer en paramètre, contienne une très grosse quantité d'éléments. A chaque appel de la fonction en question, toute ta structure sera recopiée dans la pile. Ce qui peut poser problème au niveau de la perfo.
C'est pour cela qu'il est préférable de passer un pointeur plutot que la structure.

A+

Et puis, la recopie d'une structure dont certains champs sont des pointeurs peut entraîner des surprises...

Thierry