Talend : V�rification de la validit� de dates dans un flux de donn�es

Netsoro — Mon, 27 Aug 2018 09:29:48 GMT

Voici un petit job Talend permettant de r�cup�rer les lignes d'un flux de donn�es dont les dates sont valides.

Supposons qu'on a un fichier contenant des donn�es avec des dates saisies dans des formats diff�rents, et que nous voulons r�cup�rer toutes les lignes dont les dates sont dans un des formats suivants:

yyyy-MM-dd HH:mm:ss
yy-MM-dd HH:mm:ss
dd/MM/yyyy

Exemple de donn�es sources:

1;2010-02-09 00:00:00
2;2010-02-09 00:00:00
3;2010-13-09 00:00:00
4;10-02-09 00:00:00
5;2010-13-09
6;10-02-09 00:00:120
7;11/07/2018

Ainsi, on utilise un composant de lecture des donnes, si les donn�es se trouvent

Dans un fichier Excel => tFileInputExcel
Dans un fichier plat => tFileInputDelimited
Dans une base de donn�es selon la BD => tOracleInput, tMySqlInput, etc..

Job permettant de faire ce traitement :

Configuration du composant de transformation tMap:

Expression de date valide :
Au niveau de la table cible valide_date, un click sur la petite fl�che blanche permet d'afficher la zone de texte o� on peut saisir notre expression de filtre permettant de d�finir ce qu'on consid�re comme �tant une date valide.
C'est dans cette zone o� on dira, si ma date est dans ce format l� ou dans cet autre format etc.. c'est qu'elle est valide.
L'Op�ration nous permettant de faire cette v�rification est une routine qui s'appelle isDate(String,String), elle est encapsul�e dans la classe statique TalendDate.
Code : S�lectionner tout - Visualiser dans une fen�tre � part
1
2
3
4
TalendDate.isDate(row1.date,"yyyy-MM-dd HH:mm:ss") || 
TalendDate.isDate(row1.date,"yy-MM-dd HH:mm:ss") || 
TalendDate.isDate(row1.date,"dd/MM/yyyy")
On pourra assez facilement r�cup�rer toutes les lignes contenant des dates non valides, en ajoutant une table cible de capture des rejets et en mettant simplement � true la propri�t� Catch output reject :

R�sultats :

On constate que les lignes 1,2,4,7 du tLogRow_1 sont les dates qui sont valides selon les expressions d�finis et qu'on r�cup�re les lignes rejet�es dans le tLogRow_2.

Export �l�ments sources :

test_valide_date.zip

Talend : Compter le nombre de r�p�tition d'un �l�ment dans un flux

Netsoro — Sun, 26 Aug 2018 12:40:23 GMT

Je partage ce billet suite a une question pos�e dans le forum Talend.

Voici mon probl�me : j'aimerais compt� le nombre de fois que mon �l�ment X (compt� le nombre de fois que ce r�p�te chaque num�ro de t�l�phone) ce r�p�te � la sortie de mon tMap. Comment faire cela ?
Si les num�ros de t�l�phones se trouvent dans une base de donn�es, dans ce cas un composant de lecture de la BDD avec une requ�te telle que :
Code sql : S�lectionner tout - Visualiser dans une fen�tre � part
1
2
3
SELECT Phone,COUNT(*) AS NBF from Phone_client
WHERE conditions
GROUP BY Phone;
Peut �tre relier au composant tMap soit en relation lookup ou en flux principale.
Si les donn�es se trouvent dans un fichier Excel ou plat, on peut utiliser le composant tAggregateRow, par exemple :

schema tAggregateRow :

Config tAggregateRow :

Tu arrivera au m�me r�sultat :
Une autre solution avec quelques lignes de codes serait d'utiliser une structure de donn�es comme un hashMap, ainsi on d�clare le hashMap dans un tJava ou dans un tSetGlobalVar comme ceci :

Config tSetGlobalVar :

Dans le tJavaRow on charge les donn�es dans le hashMap :

Dans le code ci-dessous, s'il trouve un num�ro pour la premi�re fois il compte 1, sinon il incr�mente et met � jour.
Code java : S�lectionner tout - Visualiser dans une fen�tre � part
1
2
3
4
5
6
7
8
9
Map m = (Map)globalMap.get("m");
 
if(m.get(input_row.phone_number)==null){
 
	m.put(input_row.phone_number,1);
}else{
	int cpt = 	m.get(input_row.phone_number)+1;
	m.put(input_row.phone_number,cpt);
}
Ensuite, dans le tJavaFlex on parcourt le map pour r�cup�rer les num�ros et le nombre de fois o� il le trouve dans le fichier, en sortie on branche les composants qu'on veux.

config tJavaFlex :

r�sultat :

Forum du club des d�veloppeurs et IT Pro - Blogs - Netsoro

Talend : V�rification de la validit� de dates dans un flux de donn�es

Talend : Compter le nombre de r�p�tition d'un �l�ment dans un flux