Discussion :

[28matt04]

Bonjour, j'ai créé un programme C qui doit répéter certaines actions plusieurs milliers de fois, en gros il copie la première ligne d'un fichier dans un tableau et doit compter le nombres de fois où elle apparait dans les lignes d'un autre fichier puis prend ensuite la 2eme ligne du premier fichier et fait pareil..
Ainsi de suite, pendant plusieurs millions de fois...

Ces fichier font pour certains plusieurs Go et j'aimerais savoir comment focaliser toute la puissance de mon ordinateur sur l’exécution de ce seul programme.

Ensuite j'ai aussi pensé utiliser les différents coeurs de mon core i7 ainsi que pourquoi pas la puissance de calcul de mon GPU avec CUDA pour accélérer le processus.

Pourriez-vous m'indiquer comment focaliser toute la puissance de mon processeur sur ce programme et éventuellement me donner des pistes pour partager les operations entre les divers coeurs de mon processeur et le GPU de ma carte graphique ?

Merci Beaucoup, Matthieu.

[gangsoleil]

Bonjour,

Ta question n'a que peu a voir avec le langage de programmation.

En gros, tu as actuellement un algorithme naif, et tu cherches a l'ameliorer, voir a le paralleliser, eventuellement en utilisant un GPU.

1er probleme : ton traitement ne correspond pas aux calculs sur GPU. Du moins pas tel qu'il est decrit actuellement.

Ensuite, je pense que tu devrais revoir ton algorithme : si tu as N lignes, tu parcours chacun de tes fichiers N fois, ce qui n'est pas du tout optimal.
Une idee, par exemple, serait de calculer un hash de chaque ligne de ton fichier, puis de comparer ces hashs. Mais je suis certain qu'il existe de nombreuses autres idees, qui seront beaucoup mieux.

Une fois que tu auras un nouvel algorithme, alors seulement tu pourras songer a le paralleliser, sur CPU ou GPU s'il s'y prete.

[Acrim]

Pourriez-vous m'indiquer comment focaliser toute la puissance de mon processeur sur ce programme

Tu peux modifier la priorité de ton programme pour qu'il soit traité avant tout le reste.

Pour l'aspect algorithmique, c'est une question que beaucoup de monde s'est posé .

[Vakhyw]

J'ai bien quelques idées d'optimisation, mais je me demandais :

1) Quel est le but de ton programme ? J'entends par là est-ce que le choix de chercher ligne à ligne peut être amélioré ?

2) Comment tu recherches effectivement la présence de la ligne dans ton texte ? C'est une fonction maison ? Une fonction simple de C ? Un algorithme existant ?

[dba01]

Salut.
Ca manque un peu de précisions.

- On trouve des utilitaires de tri efficaces, ou bien d'indexation. Ensuite, descendre les deux fichiers en parallèle avec ruptures de séquences (changement de fichier au premier changement de valeur)
- Le fichier "premier" est-il de taille réduite ? Dans ce cas, vaudrait mieux en faire une table et descendre le plus gros une seule fois, en enrichissant la table à chaque valeur rencontrée.
- Fichiers "gros" : du fait du nombre de lignes, ou de la taille de chaque ligne ? Est-il possible d'en extraire des parties utiles, plus faciles/légères à traiter ensuite ?

Il est certain que la méthode " n fois" x "n fois" n'a jamais été la plus rapide.

.db.

[Jimmy_]

Bonjour,

Tu fais des i/o donc la vitesse de ton programme dépend des accès disques et non de ton processeur, qui va passer son temps à attendre le disque.

Pour accélérer ton programme c'est plus une optimisation des i/o qu'il te faut faire.

[Alikendarfen]

On peut aussi utiliser Lucene qui est extrêmement performant pour l'indexation et la recherche textuelle.

Egalement CouchDB + Lucene permettent de répartir les traitements sur plusieurs machines (sharding)...

... mais on sait trop peu de choses sur le contexte d'exécution de ce programme pour vraiment préconiser une solution... (enfin, à mon avis)