[Quartz] Utilisation du Cron Schedule pour CSV Reader

**Killkala** · 18/09/2017, 13h44

Bonjour,

J'ai un soucis et peut-être que vous pourrez m'aider !
Pour un projet, on m'a demandé de lire et récupérer les données de fichiers CSV. On m'a demandé que le programme récupère toutes les heures ces données. J'ai donc pour cela décidé d'utiliser Quartz et plus particulièrement Cron Schedule.
Je vous montre mon code pour que vous puissiez voir

GkaJob.java

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
 
package com.auscult.gka;
 
import org.quartz.Job;
import org.quartz.JobDataMap;
import org.quartz.JobExecutionContext;
import org.quartz.JobExecutionException;
 
import com.auscult.gka.OpenGka;
 
public class GkaJob implements Job {
 
	public void execute(JobExecutionContext context2) throws JobExecutionException {	
 
		JobDataMap data = context2.getJobDetail().getJobDataMap();
 
		String dir = data.getString("dir");
		System.out.println(dir);
 
		try (OpenGka gka = new OpenGka (dir)) 
		{
			System.out.println("test0");
		} catch (Exception e) {
			throw new JobExecutionException(e);
		}
	}
 
}

OpenGka.java

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
package com.auscult.gka;
 
import java.io.FileReader;
import java.io.IOException;
 
import au.com.bytecode.opencsv.CSVReader;
 
import java.lang.AutoCloseable;
 
public class OpenGka implements AutoCloseable {
 
	public OpenGka(String dir) throws IOException {
		System.out.println("test");
                File[] filesInDirectory = new File(dir).listFiles();
		for(File f : filesInDirectory){
		    String filePath = f.getAbsolutePath();
		    String fileExtenstion = filePath.substring(filePath.lastIndexOf(".") + 1,filePath.length());
		    if("csv".equals(fileExtenstion)){
		        System.out.println("CSV file found -> " + filePath);
		    }
		}    
                System.out.println("test1.2");
		try (CSVReader reader = new CSVReader(new FileReader(dir))) 
		{
		    System.out.println("test2");
			String[] line;
			while ((line = reader.readNext()) != null) {
				 for(String token : line)
			     {
					 System.out.println(token);
			     }
			}
		}
	}
 
	@Override
	public void close() throws Exception {
	}
}

QuartzGka.java

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
package com.auscult.gka;
 
import javax.servlet.ServletContextEvent;
import javax.servlet.ServletContextListener;
 
import org.quartz.CronScheduleBuilder;
import org.quartz.JobBuilder;
import org.quartz.JobDetail;
import org.quartz.Scheduler;
import org.quartz.SchedulerException;
import org.quartz.Trigger;
import org.quartz.TriggerBuilder;
import org.quartz.impl.StdSchedulerFactory;
 
 
public class QuartzGka implements ServletContextListener {
	Scheduler scheduler = null;
 
	@Override
    public void contextInitialized(ServletContextEvent servletContext) {
            System.out.println("Context Initialized2");
 
            try {
            	final JobDetail job2 = JobBuilder
         	           .newJob(GkaJob.class)
         	           .withIdentity("monJob2"   , "groupe_2" )
         	           .usingJobData("dir", "//192.168.7.192/TEST/")
         	           .build();
 
	             // Create a Trigger that fires every 30 minutes.
	             final Trigger trigger2 = (Trigger) TriggerBuilder
	             		.newTrigger()
			                .withIdentity("TriggerName2", "Group2")
			                .withSchedule(CronScheduleBuilder.cronSchedule("0 0/1 * * * ?")) //test 1mn
			                .build();
 
	              // Setup the Job and Trigger with Scheduler & schedule jobs
	              scheduler = new StdSchedulerFactory().getScheduler();
	              scheduler.start();
	              scheduler.scheduleJob(job2, trigger2);
        }
        catch (SchedulerException e) {
                e.printStackTrace();
        }
	}
 
	@Override
    public void contextDestroyed(ServletContextEvent servletContext) {
            System.out.println("Context Destroyed");
            try 
            {
                    scheduler.shutdown();
            } 
            catch (SchedulerException e) 
            {
                    e.printStackTrace();
            }
    }
 
}

Le soucis est dans mon "OpenGka.java" je pense car comme vous pouvez le voir j'ai mis des System.out.println un peu partout et seulement "Test" s'affiche en console
Du fait, mes données ne s'affiche pas en console

Si vous avez une idée, peut être un truc tout bête, je ne suis pas très à l'aise avec la librairie OpenCsv

**NoClassDefFound** · 18/09/2017, 16h12

Le groupe du job et le groupe du trigger ne sont pas les mêmes, essaie avec la même valeur

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
final JobDetail job2 = JobBuilder
         	           .newJob(GkaJob.class)
         	           .withIdentity("monJob2"   , "groupe_2" )
         	           .usingJobData("dir", "//192.168.7.192/TEST/")
         	           .build();

final Trigger trigger2 = (Trigger) TriggerBuilder
	             		.newTrigger()
			                .withIdentity("TriggerName2", "Group2")
			                .withSchedule(CronScheduleBuilder.cronSchedule("0 0/1 * * * ?")) //test 1mn
			                .build();

**Killkala** · 18/09/2017, 17h38

Bonjour,

Je viens d'essayer mais aucun changement :/

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
Context Initialized2
sept. 18, 2017 5:35:46 PM org.apache.coyote.AbstractProtocol start
INFOS: Starting ProtocolHandler ["http-bio-8080"]
sept. 18, 2017 5:35:46 PM org.apache.coyote.AbstractProtocol start
INFOS: Starting ProtocolHandler ["ajp-bio-8009"]
sept. 18, 2017 5:35:46 PM org.apache.catalina.startup.Catalina start
INFOS: Server startup in 1689 ms
//192.168.7.192/TEST
test

**NoClassDefFound** · 18/09/2017, 18h21

S'il affiche "test" dans tes logs c'est que le constructeur OpenGka(String dir) a été appelé, donc que la planification quartz fonctionne.
Le problème semble donc ailleurs, probablement dans la ligne ci-dessous car ""test1.2" n'est pas affiché:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
 File[] filesInDirectory = new File(dir).listFiles();

As-tu configuré une fichier log4J.properties ou un fichier logback.xml pour avoir plus de logs ?

**joel.drigo** · 19/09/2017, 00h00

Salut,

try (CSVReader reader = new CSVReader(new FileReader(dir))) ! Un FileReader c'est pour lire un fichier, pas un répertoire !!!

**Killkala** · 19/09/2017, 09h21

Bonjour,

Le problème est que même pour lire un fichier cela ne marche pas.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
 
package com.auscult.gka;
 
import java.io.FileReader;
import java.io.IOException;
 
import au.com.bytecode.opencsv.CSVReader;
 
import java.lang.AutoCloseable;
 
public class OpenGka implements AutoCloseable {
 
	public OpenGka(String dir) throws IOException {
		System.out.println("test");
 
 
		try (CSVReader reader = new CSVReader(new FileReader("//192.168.7.192/TEST/TEST.csv"))) 
		{
		    System.out.println("test2");
			String[] line;
			while ((line = reader.readNext()) != null) {
				 for(String token : line)
			     {
					 System.out.println(token);
			     }
			}
		}
	}
 
	@Override
	public void close() throws Exception {
	}
}

"test" s'affiche et"test2" ne s'affiche pas.
Mais je ne vois pas bien le problème dans mon try

**Killkala** · 19/09/2017, 09h47

Alors en faite le problème vient de CSVReader qui ne fonctionne pas (et je ne sais pas pourquoi)
J'ai remplacé par "BufferedReader reader = new BufferedReader(new FileReader(file))"
Et cela marche très bien.
Cela m'embête un peu que la librairie opencsv ne marche pas. Peut-être auriez vous des idées ?
Sinon je ferai sans !

**NoClassDefFound** · 19/09/2017, 10h14

Pas de raisons qu'opencsv ne fonctionne pas, il doit y avoir un autre problème mais sans logs c'est plus compliqué à débuger.
Je vois sur le site d'opencsv qu'il y a des dépendances maven sur commons-beanutils, commons-lang3 et commons-text.
As-tu bien ajouté ces dépendances dans le pom.xml de ton projet si tu utilises maven ou sinon en tant que librairie dans ton projet ?

**joel.drigo** · 19/09/2017, 10h26

Je ne connais pas la classe "au.com.bytecode.opencsv.CSVReader" (personnellement, j'utilise Apache Commons CSV), mais ça semble être une ancienne version (2.3 max de ce que je vois sur maven), Avec la dernière version d'OpenCSV (4.0), la classe c'est "com.opencsv.CSVReader".
Le fait que le fichier soit distant peut expliquer pourquoi une ancienne version ne fonctionne pas sans buffer (cela dit, je viens d'essayer et ça fonctionne dans mon cas). Avec un fichier distant, il peut aussi y avoir un problème d'authentification, que ne gérera pas la classe File (il faudrait utiliser une bibliothèque du type JCIFS). Et sur certains systèmes, cifs/smb peut aussi poser des soucis en lui-même (rien à voir avec Java).
Tu es sûre de ne pas avoir de stacktrace d'erreur. Tu es sûre que tu n'aurais pas un catch vide ou autre code qui empêcherait son affichage ?
Déjà, essaye de faire un code isolé qui ne fait que la lecture du csv, sans tout le reste. Si ça fonctionne, alors le problème est ailleurs. Si ça ne fonctionne pas, tu pourras plus facilement voir pourquoi.

**Killkala** · 19/09/2017, 14h04

Le problème est ailleurs car j'ai testé :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
 
package com.auscult.ftp;
 
import java.io.FileNotFoundException;
import java.io.FileReader;
import java.io.IOException;
 
import com.opencsv.CSVReader;
 
 
public class test {
 
	public static void main (String[] args) throws IOException {		
		try (CSVReader reader = new CSVReader(new FileReader("//192.168.7.190/web/FTP/Station1/test.csv"))) {
			System.out.println("test2");
			String[] line;
		} catch (FileNotFoundException e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		}
	}
 
}

Ca marche niquel
Donc j'essaye de chercher mais je ne trouve pas vraiment ^^ sinon je laisserai BufferedReader tant pis ! En effet quand le problème n'est pas dans les logs c'est très compliqué de le trouver ^^