Recherche un gourou du C ;-)

Bonjour,

J'ai un problème un peu compliqué a résoudre, ca fait quelques semaines que je suis dessus.

Voilà, j'ai dans les eaux de 1000 fichiers .csv dans un repertoire qu'il faut que je charge en mémoire pour pouvoir faire des traitements dessus.

Les données sont conservees dans chaque fichier sous la forme
char[10] char[10] int float float float float
char[10] char[10] int float float float float
char[10] char[10] int float float float float, etc.

La solution que j'ai trouvé était de créer une structure pour pouvoir faire des traitements dessus. Mais j'ai beaucoup de problèmes pour arriver à effectuer des traitements dessus depuis une fonction. Voici un bout de code. Il ne résoud que très partiellement le problème :

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33

#include <stdio.h>   struct entree {   char date[10], time[10]; int v; float a,b,c,d;   }   main () {   struct entree data[1000] ; # 1000 lignes pour le fichier   int i=0; FILE *fp; fp = fopen("1.csv", "r");   while(!(feof(fp))) {   fscanf(fp, "%s %s %d %f %f %f %f", &date, &time, &v, &a, &b, &c, &d);   strcpy(data[i].date, date); strcpy(data[i].time, time); data[i].v = v); data[i].a = a); data[i].b = b);   i++; }   }

---

J'ai 3 problèmes :
- j'arrive pas à creer une fonction distincte de main, qui mette les données dans la structure
- je sais pas comment gérer plusieurs fichiers
- je sais pas comment gérer un fichier de x lignes (x étant susceptible d'être supérieur à 200.000).

Je sais, ca fait beaucoup de mémoire vive qu'il va falloir acheter, mais c'est pas un problème ;-)

Salut,

Pour l'instant c'est pas un gourou qu'il faudrais pour resoudre ton probleme mais un voyant par ce que je ne voie pas ou est le probleme.

Citation:

---

Mais j'ai beaucoup de problèmes pour arriver à effectuer des traitements dessus depuis une fonction.

---

Quel type de traitement doit tu faire?
Que doit tu optimiser : le temps CPU, la ram ?

Code:

---

1 2 3 4 5 6 7 8

void fonction(void) { } int main (int argc, char *argv[]) { fonction(); return 0; }

---

Citation:

---

Envoyé par zedis

Voilà, j'ai dans les eaux de 1000 fichiers .csv dans un repertoire qu'il faut que je charge en mémoire pour pouvoir faire des traitements dessus.
- je sais pas comment gérer plusieurs fichiers
- je sais pas comment gérer un fichier de x lignes (x étant susceptible d'être supérieur à 200.000).

Je sais, ca fait beaucoup de mémoire vive qu'il va falloir acheter, mais c'est pas un problème ;-)

---

Quels genres de traitement veux tu faire ? peut etre que les bases de donnees seraient plus appropriees pour ton probleme.

Citation:

---

Envoyé par zedis

- j'arrive pas à creer une fonction distincte de main, qui mette les données dans la structure

---

utilise un pointeur sur ta structure:

Code:

---

1 2 3 4 5 6 7 8 9 10

struct entree { char date[10], time[10]; int v; float a,b,c,d; }*PENTREE;   void ajout_donnees(PENTREE donnees) { donnees->v = v; }

---

coucou,

1°) Est ce que les traitements se font de manière indépendante sur chaque fichier ou non ?
2°) Est ce que pour un fichier tu ne pourrais pas segmenter les traitements ?
3°) Je pense comme semaj_james qu'une BDD serait plus pertinente si pcela est possible !

Citation:

---

- j'arrive pas à creer une fonction distincte de main, qui mette les données dans la structure

---

Voir ce qu'a dit semaj_james sauf que j'éviterais le typedef sur un pointeur (avis perso !)

Citation:

---

- je sais pas comment gérer plusieurs fichiers

---

utilise un tableau de pointeur sur fichiers (FILE *).

voila

P.S : oublie pas le fclose à la fin du traitement du fichier (!= du traitement de la structure !!!)

Salut,

Citation:

---

Envoyé par zedis

Les données sont conservees dans chaque fichier sous la forme
char[10] char[10] int float float float float
char[10] char[10] int float float float float
char[10] char[10] int float float float float, etc.

---

Ton fichier est au format CSV (Comma separated value). Je suppose qu'on a donc:

Code:

---

1 2 3

char[10],char[10],int float,float,float,float\n char[10],char[10],int,float,float,float,float\n etc.

---

Voici quelques remarques sur ton code:

• La norme n'autorise que deux formes pour la fonction main qui doit impérativement retourner un entier de type int sous peine de comportement indéfinit. Voici les deux formes:
  
  Code:

  ---

  1 2 3 4 5

  int main(void) { /*...*/ return 0; }

  ---

  ou
  
  Code:

  ---

  1 2 3 4 5

  int main(int argc, char *argv[]) { /*...*/ return 0; }

  ---

• # n'est pas une marque de commentaire valide en C. Utilise soit /*...*/ ou // si tu programmes en C99.
• Les variables date, time, v, a, b, c, d que tu utilises en argument de fscanf ne sont pas définies
• Lorsque tu ouvres un fichier avec fopen, il faut le refermer avec fclose

A part cela, la stratégie adéquate pour lire un fichier au format CSV est de:

1. Lire chaque ligne du fichier avec la fonction fgets et stocker la ligne courrante dans un tampon.
2. Analyser la ligne stockée dans le tampon avec une fonction dont le prototype pourrait être:
   
   Code:

   ---

   1 2 3 4 5 6 7 8 9 10 11

   /**  * Analyse et valide une ligne du fichier  *  * IN: p_tmp - pointeur sur le tableau de caractère contenant la ligne  *                 courante chargée en mémoire.  * OUT: p_data - pointe sur un objet de type struct entree en mémoire.  *                        initialise cette structure avec les données de p_tmp.  * RETURN: code d'erreur  */ int analyse_ligne(char const *p_tmp, struct entree *p_data);

   ---

Pour ouvrir les différents fichiers 1.csv, 2.csv, etc., tu peux utiliser la fonction sprintf.

Bonne chance

Thierry

Citation:

---

Envoyé par semaj_james

nteur sur ta structure:

---

De toute façon il n'est pas conseillé de passer une structure en paramètres, il est conseillé de passer un pointeur sur une structure.

Citation:

---

Envoyé par hiko-seijuro

Voir ce qu'a dit semaj_james sauf que j'éviterais le typedef sur un pointeur (avis perso !)

---

Citation:

---

Envoyé par Skyrunner

De toute façon il n'est pas conseillé de passer une structure en paramètres, il est conseillé de passer un pointeur sur une structure.

---

Pourriez vous m'expliquer pourquoi ?

Citation:

---

Envoyé par semaj_james

Pourriez vous m'expliquer pourquoi ?

---

En C le passage de paramètre à une fonction se fait par recopie. Imagine que ta structure, que tu souhaites passer en paramètre, contienne une très grosse quantité d'éléments. A chaque appel de la fonction en question, toute ta structure sera recopiée dans la pile. Ce qui peut poser problème au niveau de la perfo.
C'est pour cela qu'il est préférable de passer un pointeur plutot que la structure.

A+

ok je comprends mieux. je te remercie.
Et au sujet du typdef sur un pointeur ?

Citation:

---

Envoyé par semaj_james

Et au sujet du typdef sur un pointeur ?

---

Eh bien, c'est juste pour une question de lisibilité. Le fait de faire un typedef sur un pointeur, cela a pour conséquence de masquer le pointeur dans la suite du code. Je ne sais pas si je suis très claire...........

Le problème est que beaucoup font des typedefs de pointeurs qui "cachent" leur nature de pointeur.

Si je te montre une fonction déclarée ainsi:

Code:

---

int afficher(arbre a);

---

Le type arbre est-il un pointeur, un entier ou une structure ?

Évidemment, quand le type représente explicitement un pointeur (comme PENTREE), il n'y a pas trop de problème...

Citation:

---

Envoyé par crocodilex

Je ne sais pas si je suis très claire...........

---

:love:

ok pour le typdef. je vous remercie

Citation:

---

Envoyé par Emmanuel Delahaye

:love:

---

Peut-etre que je suis une fille.....Je n'ai mentionné nulle part mon sexe....:P

Citation:

---

Envoyé par crocodilex

En C le passage de paramètre à une fonction se fait par recopie. Imagine que ta structure, que tu souhaites passer en paramètre, contienne une très grosse quantité d'éléments. A chaque appel de la fonction en question, toute ta structure sera recopiée dans la pile. Ce qui peut poser problème au niveau de la perfo.
C'est pour cela qu'il est préférable de passer un pointeur plutot que la structure.

A+

---

Et puis, la recopie d'une structure dont certains champs sont des pointeurs peut entraîner des surprises...

Thierry