Discussion :

[d3LTa7]

Je cherche une bonne méthode pour :
1 - Faire la comparaison de 2 array qui ont les même champs (un array BDD et un array CSV avec les champs [ numero | nom | type | note ] ) et trouver les identiques par rapport à leur numéro !
2 - comparer chaque champs des tableaux ayant ces numéro identiques, pour vérifier s'il y a une différence entre ces 2 versions
3 - Sortir les différences entre ces 2 tableaux

Un exemple :
tableau dans la BDD

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
 
| numero |    nom     |    type    | note |
|   245  |     café   |  boisson   |   5  |
|   158  |    banane  |   fruit    |   3  | 
|   954  |    poulet  |  viande    |   4  | 
|   335  |     brie   |  fromage   |   6  |

tableau dans le CSV

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
 
| numero |    nom     |    type    | note  |
|  655   |    pates   |  feculant  |   8   |
|  158   |    kiwi    |    fruit   |   2   |

En 1 ca va comparer les 2 tableau et me donner le numéro 158 car c'est le seul numero qui est identique dans les 2 tableaux
En 2 on va regarder les 2 entrées identique et voir qu'on a le nom et la note qui diffère
Et en 3 on va afficher
- nom : banane -> kiwi
- note : 3 -> 2

Pour le moment je suis parti la dessus :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
 
$records = $csv->getRecords();                   
foreach ($records as $record){                         
     $numCSV[] = $record['numero'];
}
foreach ($produits as $produit){
       $numDB[] = $produit->getNumero();
}
$numCommun = array_intersect(numCSV, $numDB)

J'ai bien les numéro en commun qui resortent mais après je bloc un peu sur la méthode

Merci

[JT Studio Web]

Salut ! Bon, je vais te dire franchement : tu te prends la tête pour rien 😄

Ta méthode avec array_intersect() et unset() ? Ça marche, mais c'est lourd. Y a vraiment plus simple.

Utilise juste array_diff() et c'est bon :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
$nouvelles = array_diff($array_csv, $array_bdd);
 
foreach ($nouvelles as $entree) {
// tu insères dans la BDD
}
 
Voilà. T'as tes nouvelles entrées, tu les mets en base. Fini.
 
Si vraiment tu veux passer par l'intersection (genre pour tracker les doublons), ok :
 
$doublons = array_intersect($array_csv, $array_bdd);
$cles = array_keys($doublons);
 
foreach ($cles as $cle) {
unset($array_csv[$cle]);
}

Mais honnêtement, c'est du surplus. array_diff() fait le job en une ligne.

Par contre, ça dépend vraiment de ce que tu compares. Si c'est des arrays simples avec juste des valeurs, pas de souci. Mais si t'as des structures plus complexes (genre des arrays avec plusieurs colonnes), faut qu'on regarde ça de plus près. C'est quoi exactement ta structure ?

[d3LTa7]

Merci JT mais j'ai légèrement modifié mon message entre temps ! Et quand j'ai enregistrer mon changement j'ai vu que tu m'avais répondu !
Du coup je sais pas si ta réponse colle toujours avec ma question ! :p

Désolé

[JT Studio Web]

Ah ok, là c'est différent ! T'es pas loin, mais tu bloques au mauvais endroit.

Le truc, c'est que tu récupères juste les numéros en commun, mais après tu sais plus d'où ils viennent. Faut que tu gardes la trace des données complètes.

Voici comment je ferais :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
$records = $csv->getRecords();
$produits = /* ta liste BDD */;
 
// Crée des arrays indexés par numéro pour y accéder facilement
$csv_par_numero = [];
foreach ($records as $record) {
    $csv_par_numero[$record['numero']] = $record;
}
 
$db_par_numero = [];
foreach ($produits as $produit) {
    $db_par_numero[$produit->getNumero()] = $produit;
}
 
// Trouve les numéros en commun
$numeros_communs = array_intersect(
    array_keys($csv_par_numero),
    array_keys($db_par_numero)
);
 
// Pour chaque numéro en commun, compare les champs
$differences = [];
foreach ($numeros_communs as $numero) {
    $csv_data = $csv_par_numero[$numero];
    $db_data = $db_par_numero[$numero];
 
    $diff_pour_ce_numero = [];
 
    // Compare chaque champ
    foreach (['nom', 'type', 'note'] as $champ) {
        $valeur_csv = $csv_data[$champ];
        $valeur_db = $db_data->{'get' . ucfirst($champ)}(); // ou getNote(), getNom(), etc
 
        if ($valeur_csv != $valeur_db) {
            $diff_pour_ce_numero[$champ] = [
                'avant' => $valeur_db,
                'apres' => $valeur_csv
            ];
        }
    }
 
    if (!empty($diff_pour_ce_numero)) {
        $differences[$numero] = $diff_pour_ce_numero;
    }
}
 
// Affiche les différences
foreach ($differences as $numero => $diffs) {
    echo "Numéro $numero :\n";
    foreach ($diffs as $champ => $valeurs) {
        echo "- $champ : {$valeurs['avant']} -> {$valeurs['apres']}\n";
    }
}

L'idée clé : au lieu de juste garder les numéros, tu indexe tes arrays par numéro. Comme ça tu peux accéder directement aux données complètes quand tu les compares.

Ça te paraît clair ou tu veux que je détaille un truc ?

[d3LTa7]

Merci JT ! Ca me semble pas mal effectivement je ne connaissais pas la fonction array_keys() !
Si j'ai bien compris dans l'ensemble, au lieu d'insérer uniquement les valeurs du champ numéro (et donc avoir une clé auto en incrémentation), tu insères dans un tableau vide les numéros pour en faire la clé et le reste des champs en valeurs !
Par contre je rencontre un autre souci pour l'étape d'après

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
 foreach (['nom', 'type', 'note'] as $champ) {
        $valeur_csv = $csv_data[$champ];
        $valeur_db = $db_data->{'get' . ucfirst($champ)}(); // ou getNote(), getNom(), etc

Si le nom des champs est différent ? par exemple sur le CSV on a "nom" et sur la db on a "name" ?
De plus certains titre de champs et certaines valeurs du CSV on des caractères spéciaux... J'ai regardé via notepad et les CSV sont en ASCII et je dois donc les changer en UTF-8 (si j'ai bien suivit) ! J'ai évidement fait quelques recherche sur internet pour pouvoir convertir ! j'ai pas vraiment trouvé! J'ai testé avec mb_detect_encoding() mais je ne crois pas l'utiliser correctement
exemple :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

$date = $record[mb_detect_encoding("Date déposé")];

De plus je crois que ca marche que pour des variable contenant des chaine de caractère, donc si je dois encodé tout un CSV je ne pense pas que ca soit la bonne méthode

[Séb.]

Si tu as des divergences de noms de colonnes alors il faut faire un mapping, c'est-à-dire un tableau de correspondance.

Montre-nous où tu en es et donne un exemple avec des noms de colonnes qui divergent.

[d3LTa7]

Salut ! Merci Séb !

alors voici mon code pour le moment (controller) :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
 
    #[Route('/signalement/upload', name: 'signalement.upload', methods:['GET', 'POST'])]
    public function upload(
        Request $request,
        SluggerInterface $slugger,
        EntityManagerInterface $manager,
        SignalementRepository $repository,
         #[Autowire('%kernel.project_dir%/public/uploads/')] string $fileDirectory
    )  : Response {
            $upload = new Upload();
            $form = $this->createForm(ImportType::class, $upload);
            $form->handleRequest($request);
            $signalements = $repository->findAll();           
            if ($form->isSubmitted() && $form->isValid()) {
                $csvFile = $form -> get('csvFile')->getData();           
                if($csvFile){
                    $originalFileName = pathinfo($csvFile->getClientOriginalName(), PATHINFO_FILENAME);             
                    $safeFileName = $slugger->slug($originalFileName);        
                    $newFileName = $safeFileName.'-'.uniqid().'.'.$csvFile->guessExtension();                   
                    $csvFile->move($fileDirectory, $newFileName);                    
                    $upload->setCsvFile($newFileName);              
                    $manager->persist($upload);           
                    $csv = Reader::createFromPath($fileDirectory.$newFileName);              
                    $csv->setHeaderOffset(0);
                    $csv->setDelimiter(';');
                    $csv->setEscape('');
                    $records = $csv->getRecords();  
                    $CSVParNum = [];                 
                    foreach ($records as $record){                        
                        $CSVParNum[$record['Identifiant de la fiche']] = $record;                        
 
                        $structure = $manager->getRepository(Structure::class)->findOneBy(['nom' => $record['Nom de la structure']]);                
                        $date = $record["Date d'emission de la fiche"];
                        $dbdate = \DateTimeImmutable::createFromFormat('d/m/Y', $date);
                        $signalement = (new Signalement())
                            ->setNumero($record['Identifiant de la fiche'])
                            ->setType($record['ESiN ou Portail'])
                            ->setDate($dbdate)
                            ->setCasO($record['Cas origine'])
                            ->setCasC($record['Cas cloture'])
                            ->setCommentaire($record['Commentaire'])
                            ->setEpidemie($record['Type de cas'])
                            ->setStructure($structure)                                                          
                            ;
 
                            $manager->persist($signalement);                       
                            $manager->persist($structure);
                    } 
 
                    $DBParNum = [];
                    foreach ($signalements as $signalement){
                        $nbxDsLaDB[] = $signalement->getNumero();  
                        $DBParNum[$signalement->getNumero()] = $signalement;                                                 
                    }
                    $NbenCommun = array_intersect(
                        array_keys($CSVParNum),
                        array_keys($DBParNum)
                    );
                    dd($NbenCommun, $CSVParNum, $DBParNum);
 
                    $diff = [];
                    foreach ($NbenCommun as $Nb){
                        $CSVdata = $CSVParNum[$Nb];
                        $DBdata = $DBParNum[$Nb];
                        $diffAvecCeNum = [];
                    }                                  
                }
                $manager->flush();
                $this->addFlash('success','Bien ajouté avec succès');
                return $this->redirectToRoute('signalement.index');
            }
        return $this->render('pages/signalement/upload.html.twig',
            ['form' => $form,]);
    }

Et voici un extrait du csv


Donc si on fait une liste des champs sur le csv -> dans la BDD on a :
Identifiant de la fiche -> numero
ESIN ou Portail -> type
Date d'emission de la fiche -> date
Cas origine -> CasO
Cas cloture -> CasC
Commentaire -> commentaire
Type de cas -> epidemie
Nome de la structure -> structure

Pour le moment, pour mes tests, il n'y pas de caractère spéciaux des 2 côté ! mais si j'en met par exemple sur "Date d'émission" dans le CSV, j'ai un message d'erreur : Warning: Undefined array key "Date d'emission de la fiche".

Si je change dans mon code en ligne 33 $date = $record["Date d'émission de la fiche"];, j'ai le même message d'erreur.

Edit :

J'ai tchecké la doc et un autre site pour faire le mapping avec notamment array_mapping()

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
 
                    function map_Alert(string $var1, string $var2): array{
                        return [$var1 => $var2];
                    }
 
                    $a = ['Identifiant de la fiche','ESiN ou Portail',"Date d'émission de la fiche",'Cas origine','Cas cloture', 'Commentaire Type de cas', 'Nom de la structure'];
                    $b = ['numero', 'type', 'date', 'casO', 'casC', 'commentaire', 'structure'];
 
                    $var3 = array_map('map_Alert', $a, $b);

Mais ca m'affiche une autre erreur ! array_map(): Argument #1 ($callback) must be a valid callback or null, function "map_Alert" not found or invalid function name Décidément !

Edit 2 :

j'ai remplacer $var3 = array_map('map_Alert', $a, $b); par $var3 = array_map(null, $a, $b); et j'ai enfin un résultat avec un "dd" cependant je me demande si c'est bien de mettre un null :/