Discussion :

[sil.b]

Bonjour la communauté
Je me décide à poster car après a voir essoré Google, je n'arrive pas à trouver une manière de faire
L'objectif est simple : supprimer tous les fichiers log qui ont plus de 6mois (à savoir que plusieurs dizaine de fichier log sont généré par jour)

Format des fichiers log : [LOG][160908]__2023-11-15_14-10-01_nom_du_job.log

- tFileList check mon répertoire
- tIterateToFlow me renvoi le nom des fichiers
- tSetGlobalVar créer la variable date6m contenant la date du jour -6mois : TalendDate.addDate(TalendDate.getDate("yyyy-MM-dd"), "yyyy-MM-dd", -6, "MM") --> 2023-04-15
- tMap pour filtrer

-> et c'est à partir d'ici que ça coince
Avec StringHandling.SUBSTR(row3.nom_fichier, 16, 10) je récupère la date contenu dans le nom --> 2023-11-15

Dans l'idée, il faut donc que
Si StringHandling.SUBSTR(row3.nom_fichier, 16, 10) > (String)globalMap.get("date6m")) -> envoi du fichier vers un tDelete

J'ai testé pas mal de possibilités (compareDate/diffDate/ avec des parseDate), toutes ko, mais maintenant je sèche
Si qqun avait une idée ....

Par avance merci

[andry.aime]

Bonjour,

Code java :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
Pattern p = Pattern.compile("(\\[LOG\\]\\[\\d+\\]__)(\\d{4}-\\d{2}-\\d{2})(.+)"); 
Matcher m = p.matcher((String) globalMap.get("...ton file list"));
String fileDate = m.group(1);

Tu utilises ensuite un trigger run if pour tester sur l'age pour la connexion sur le tFileDelete.


A+.

[andry.aime]

Pour les composants Talend:

tFileList --iterate-->tJava--trigger run if -->tFileDelete

Sinon il y a aussi le composant tFileProperties pour les details d'un fichier pour récupérer sa date de modification.

A+.

[sil.b]

Merci bcp @andry.aime pour tes pistes,
Jai réussi dans le tMap avec :
Integer.valueOf(StringHandling.EREPLACE((StringHandling.SUBSTR(row16.nom_fichier, 16, 10)), "-", "")) <
Integer.valueOf((String)globalMap.get("date3m")) ? row14.nom_fichier :
null

MAIS, je penses ta piste du composant tFileProperties est largement plus approprié. Ce qui me permettrais de l'utiliser pour d'autres job avec des logs non formatés
Et bien évidement ça coince aussi
je n'arrive pas à trouver la manière de formater la date mtime_string, pour passer de Wed Nov 23 12:08:11 CET 2023 à 2023-11-23

Si qqun avait une idée ????

Merci d'avance

[supergeoffrey]

Tu peux utiliser directement java pour transformer le mtime en Date

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

new java.util.Date(rowX.mtime)

[supergeoffrey]

Sinon j'ai fait un test en ligne de java


Le format de date du mtime_string est "EEE MMM dd HH:mm:ss z YYYY".

[andry.aime]

Bonjour,

Tu peux utiliser directement la classe TalendDate.

A+.

[sil.b]

Bon ......
J'ai résolu mon prob, c'est sans doute pas la solution la + propre ou la plus optimisée
à partir du mtime_string (Thu Dec 07 09:05:03 CET 2023)

Dans un tMap :

Pour l'année :
row7.mtime_string.contains("CEST") ?
StringHandling.SUBSTR(row7.mtime_string, 26, 4) :
StringHandling.SUBSTR(row7.mtime_string, 25, 4)

Pour le mois :
"Jan".equals(StringHandling.SUBSTR(row7.mtime_string, 5, 3)) ? "01" :
"Feb".equals(StringHandling.SUBSTR(row7.mtime_string, 5, 3)) ? "02" :
et ainsi de suite

Pour le jour :
StringHandling.SUBSTR(row7.mtime_string, 9, 2)


Ensuite je concatène tt ça dans une variable et je compare via un lien IF à ma variable de ma date il y a 6 mois
Integer.parseInt((String)globalMap.get("date_log")) < Integer.parseInt((String)globalMap.get("date6m"))

et je finis avec un tFileDelete

[sil.b]

La 1ère partie de mon job Talend concernant les fichiers étant résolu, je bute maintenant sur les Dossiers
Dans la premières partie je supprime les fichiers dans mon répertoire principale et sous-répertoire
Le but est maintenant de supprimer les répertoires vides

Listage des répertoires dans mon répertoire principale
-> tFileList (Répertoires) dans "D:/temp/"
-> tIterateToFlow - column : folder / ((String)globalMap.get("tFileList_3_CURRENT_FILE"))
-> tSetGlobalVar - clé: name_folder / Valeur : row3.folder

J'obtiens bien la liste
C'est a là que maintenant je coince :

check chaque répertoire pour obtenir le nb de fichier qu'il contient
-> tFileList (fichiers) dans "D:/temp/" + ((String)globalMap.get("name_folder"))
-> tIterateToFlow - Column : nb_file / Valeur : ((Integer)globalMap.get("tFileList_5_NB_FILE"))
-> lien IF avec ((Integer)globalMap.get("tFileList_5_NB_FILE")) == 0
-> tFileDelete

J'ai essayé bcp de possibilité et tjrs nok