Discussion :

[sidewolf]

Bonjour à tous,

Je travail au service informatique d'un centre d'appel. Nous receptionnons des flux entrant provenant des clients, et nous envoyons des flux sortant à nos clients apres que le service de prestation ait été effectué.

Nous travaillons essentiellement avec des flux de type fichier plat (csv, txt, xml ...)

J'ai également constaté une problématique récurrente : les données sont saisies manuellement par des opérateurs, et les erreurs de saisies sont très courantes.

Mon job est d'harmoniser certains process pour les automatiser, car très souvent les flux sortant requièrent des ajustements à la mano, pour rectifier les erreurs de saisies des opérateurs.
Le problème c'est que se sont des opérations très chronophage, et l'objectif et de réduire ses opérations manuelle et de les automatiser.

Je pense qu'il n'y a pas de solutions miracle, mais j'aimerais vos avis sur ce sujet .

[Elros]

Bonjour,

Pour les données saisies manuellement, si elles sont stockées quelque part tu peux les récupérer par flux ETL. Mais si les données n'existent pas encore, si elles ne sont pas encore dans le SI, tu n'as pas de solutions miracles.

Pour la qualité de données, c'est un projet à part entière et tu as des outils (par exemple : Talend Data Quality) pour corriger les données. Mais, en fonction des outils tu ne peux pas faire toujours de miracle.

Tu peux aussi mettre en place un projet MDM - gestion des données de référence (par exemple : SQL Server Master Data Services), qui lui aussi est un vrai projet, qui te permet avec les métiers d'harmoniser les données d'entreprise. Cela évite d'exprimer un élément de ton SI avec plusieurs règles, donc, de faciliter les applications de tes opérateurs.

Tu as aussi la possibilité de réduire les zones de saisies libres par des listes déroulantes ou des zones d'auto-complétion.

Elros

[sidewolf]

j'utilise Talend DI en open studio pour mes intégration de données.

je ne connsais pas la version Talend data quality ... est ce que soft permet de prendre une val de référence par exemple et de faire une sorte d'annule et remplace en fonction de certaines conditions ???

les opérateurs saisissent au clavier, comme par exemple le changement d'adresse, de numéro de tel etc ... cela ne peux pas s'effectuer par de l'auto complétion ou par des liste déroulante.

mais il est vrai que certains champs peuvent etre formaté de cette manière.

je pensais à réaliser un classeur VBA pour définir des macros effectuant certains job manuels sur d'autres classeur excel... sauf que mes fichiers de sortie Talend ne sont pas toujours du xls ou du csv... j'ai aussi du txt, du xml du positionnal ....

j'imagine que je peux optimiser mes jobs talends afin de réduire mes traitements manuels, mais j'en aurais toujours notament de mettre en surbrillance certaines cellules sous certaines condition, et ca talend ne le fait pas encore (ou bien je ne suis pas au courant du process)

Enfin tu évoque la mise en place de projet MDM, la aussi je ne sais pas du tout comment ca fonctionne, tu pourrais m'en dire plus stp?

[Elros]

Bonjour,

Pour la qualité de données, j'ai trouvé un exemple de ce que l'on peut faire Talend : https://www.talendforge.org/tutorial...ench&idTuto=62
Pour nettoyer des adresses je sais que c'est plutôt efficace ! Toutefois, je ne sais pas si s'est toujours le cas, mais, anciennement il n'y avait pas les adresses françaises :/

Un projet MDM permet d'avoir un endroit centralisé pour les données de références d'une entreprise.
Souvent, dans une même entreprise, les services, logiciels peuvent avoir plusieurs façons d'appeler une information. L'objectif du MDM est d'avoir un référentiel de données (unique et nettoyé) pour que tous les outils et personnes puissent se comprendre.
Voici un exemple de ce que l'on peut faire avec Talend (il y'a quelques références sur le site officiel, mais les deux seuls clients qui ont éssayé de le mettre en place ont échoué) : http://decisionnel-open-source.smile...els/Talend-mdm

Les données que tu reçois sont stockées en base de données ?
Quels genres de traitements fais-tu avec tes macros VBA ?

Elros

[sidewolf]

Je reçois en effet des fichiers plats qui sont ensuite intégré dans l'application d'appel (sous une bdd sql serveur)
Nous mettons en place des formulaire d'appel toujours à l'aide du soft (c'est formulaire permettent de mettre à jour certaines informations)
Ensuite nous effectons une extraction journalières ou hebdo des saisies effectués, que nous transmettons au client au format qu'il nous a demandé.
J'effectue mon extraction via Talend, sauf que j'ai très souvent à intervenir sur les fichiers extraits (formatage conditionnelle, corrections d'erreur lié à la saisie des opérateurs etc )

je ne fais aucun traitement actuellement en macro, c'est seulement une piste de réflexion pour en quelque sorte automatiser mes interventions apres extractions...

[Elros]

Ensuite nous effectons une extraction journalières ou hebdo des saisies effectués, que nous transmettons au client au format qu'il nous a demandé.
J'effectue mon extraction via Talend, sauf que j'ai très souvent à intervenir sur les fichiers extraits (formatage conditionnelle, corrections d'erreur lié à la saisie des opérateurs etc )

C'est avant ton extraction qu'il faut ajouter la partie qualité de données pour corriger les erreurs de saisies. Toutes les erreurs ne seront pas corrigées :'(
Tu peux aussi répertorier toutes les erreurs de saisies pour en faire une table de transcodification. Comme ça, au fil du temps tu auras de moins en moins de corrections manuels à faire (phase d'apprentissage).

Quel genre de formatage conditionnel tu dois faire ?

[sidewolf]

Surligner en jaune des cellules si tel autre cellule de tel autre colonne est à 1.

par exemple.