Discussion :

[erox44]

Bonjour,
je vous explique la situation :

J'ai une application dans laquelle j'ai un fichier .txt en entrée contenant une liste de tables (bdd) , mes threads sont sensés traiter ces lignes une à une, en respectant l'ordre du fichier.

Ce que j'aurais voulu faire, c'est avoir un ArrayList<String> dans ma classe principale (qui appelle les threads) qui contiendrait les noms de tables, et que mes threads bouclent sur cette liste et dès qu'ils ont traité un élément, le supprime de mon ArrayList.

Problème => exception de concurrence, forcement, mais dès le moment ou je fais une boucle for dans le run du thread.


J'ai essayé d'englober ma boucle par un bloc synchronized, sans résultats.


Avez-vous une piste?

[adiGuba]

Salut,

mes threads sont sensés traiter ces lignes une à une, en respectant l'ordre du fichier.

Tu pourrais préciser ce point ?
En quoi l'ordre est important ?

Parce que si le traitement d'une ligne requiert que la précédente soit fini, alors tes threads ne te serviront à rien...




Sinon depuis Java 5 tu peux utiliser les BlockingQueue, qui gère tout le coté concurrentielle.
Exemple vite fait :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
	// On crée une blocking queue avec 10 éléments
	// Remarque : si on ne connait pas le nombre d'élément
	// il peut être préférable d'utiliser un LinkedBlockingQueue
	final BlockingQueue<String> queue = new ArrayBlockingQueue<>(10);
	for (int i=0; i<10; i++) {
		queue.add("Ligne " + i);
	}
 
	// On crée un ExecutorService qui va executer les tâches :
	ExecutorService service = Executors.newFixedThreadPool(4);
 
	// On démarre les 4 threads :
	for (int i=0; i<4; i++) {
		service.submit(new Runnable() {
			@Override
			public void run() {
				String value;
				// On traite les données tant qu'il y en a :
				while ( (value=queue.poll()) != null ) {
					System.out.printf("%s : %s%n",
						Thread.currentThread().getName(),
						value);
					// sleep() pour simuler un traitement "long" :
					try {
						Thread.sleep(500);
					} catch (InterruptedException e) {
						// ignore
					}
				}
			}
		});
	}
 
	// On arrête l'ExecutorService
	// (il n'acceptera plus de nouvelle tâche)
	service.shutdown();
	// Et on attend la fin de toutes les tâches actives
	service.awaitTermination(1, TimeUnit.MINUTES);
	System.out.println("queue = " + queue);

a++

[erox44]

En fait:

Mon fichier texte contient une ligne de table, dont certaines sont liées via des clés étrangères, il est donc nécéssaire d'insérer d'abord la table parent puis enfant.

Mes threads sont là pour les grosses tables, dans lesquelles je vais devoir insérer plus de 20000 lignes, chaque thread gère 20000 lignes.

[adiGuba]

Ben si tu dois impérativement respecter l'ordre, les threads ne servent à rien...


a++

[erox44]

Hm, pour le coup je suis parti sur une :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

LinkedBlockingQueue<String>

Ca fonctionne pas mal là.

En fait, pour un schéma comme suit :

- table parente X => 9.000 lignes
- table enfant Y => 100.000 lignes => découpé en sous-fichiers de 20.000

on doit insérer en 1er le .sql de X, puis ceux de Y, mais ceux de Y , peut importe l'ordre, c'est là que les threads sont utilisés.