Caractères BOM dans la lecture d'un CSV ?

Bonjour,
je crée cette nouvelle discussion pour avoir un titre plus approprié.

Je lis un fichier CSV, donc la première ligne me fournit le header sauf que le premier caractère du header est encadré par 2 double-quotes. Pourquoi ?

code pour déterminer le header :

Code:

---

1 2 3

if (isset(self::$handle)) { rewind(self::$handle);//pointer au début du fichier $header = fgetcsv(self::$handle,1024,",",'"');

---

début du fichier CSV (édité avec PHPSTORM) :

Citation:

---

"SESAID","ALTERNATEIDS","PLATFORM","PLATFORMOWNER","PUBLISHER","APPLICATIONNAME","HFMCODE",etc

---

var_dump de $header

Citation:

---

array(23) {
[0]=>
string(11) ""SESAID""
[1]=>
string(12) "ALTERNATEIDS"
[2]=>
string(8) "PLATFORM"
[3]=>
string(13) "PLATFORMOWNER"
[4]=>
string(9) "PUBLISHER"
[5]=>
string(15) "APPLICATIONNAME"
[6]=>
string(7) "HFMCODE"
etc

---

Bonjour Laurent,

Te connaissant, je suis persuadé que tu essaies de corriger des erreurs que tu as toi-même produites, ou provoquées en pensant en corriger d'autres...
Il faut que tu arrêtes de jouer aux apprenti-sorciers.

• -> Mets en pièce jointe un extrait de fichier csv (au moins la 1ère ligne, et la 2ème, avec faux-texte si tu préfères).

Explique-nous :

• comment sont générés ces fichiers csv, et par qui (par toi ? ... ?)
• sont-ils toujours de la même forme ?
• ... ?

Citation:

---

Envoyé par jreaux62

Te connaissant, je suis persuadé que tu essaies de corriger des erreurs

---

y a 10 minutes :

Citation:

---

Envoyé par laurentSc

En fait, c'est pour contourner le problème décrit dans https://www.developpez.net/forums/d2...lecture-d-csv/.

---

:D

Ces fichiers CSV sont en fait des extracts d'une autre base de données (je ne les maîtrise pas du tout). Ils ont toujours le même format que la pièce jointe (zippée car le format csv n'est pas accepté) et le même en-tête.

Dans le fichier csv joint (ouvert avec Notepad++ -> encodage : UTF-8-BOM) :

Code:

---

1 2	"SESAID,""ALTERNATEIDS"",""PLATFORM"",........,""MANAGEREMAIL""" "SESA1000,""(none)"",""Software Engineering"",........,""adresse_manager@se.com""".

---

la 1ère ligne commence par :

• "SESAID, : il manque un "
• ""ALTERNATEIDS"",..... : là, ils sont en double
• ,""MANAGEREMAIL""" : et en fin de ligne, on retrouve le " manquant !

(idem sur la ligne suivante !)

Comment veux-tu obtenir de bons résultats avec un fichier csv de départ aussi mal fichu ???

Citation:

---

Envoyé par laurentSc

Ces fichiers CSV sont en fait des extracts d'une autre base de données

---

AVANT d'essayer de le (mal)traiter, demande-toi COMMENT il a été généré (quel logiciel ou opération ? de quelle manière ?...).
Manifestement, le problème vient de là.

Citation:

---

Envoyé par laurentSc

(je ne les maîtrise pas du tout)

---

C'est le moins qu'on puisse dire.... :weird:

Re

Si tu ne peux pas faire rectifier la construction du CSV par le fournisseur, à mon avis il te faut, à coup de regexp, rendre le fichier valide pour enfin pouvoir l'utiliser.

Citation:

---

Envoyé par ProgElecT

...il te faut, à coup de regexp...

---

@ProgElecT
HOULA !! NE DIS PAS CA, MALHEUREUX !! :aie:

frankensteinSc fait déjà assez de dégâts tout seul !

NON : il faut D'ABORD identifier l'ORIGINE du problème.

Merci pour vos remarques à tous les 2. Je vais effectivement tenter les regexp. Si j'ai du mal (probable), je reviendrai.

EDIT :

Citation:

---

Envoyé par jreaux62

@ProgElecT
HOULA !! NE DIS PAS CA, MALHEUREUX !! :aie:

---

trop tard ;)

Tu n'as pas RÉPONDU à ma question !

• Comment et QUI génère ces fichiers csv, et via quelle appli/logiciel/... ?

Je ne connais pas la réponse. Tout ce que je sais, c'est que c'est fait en interne dans ma boîte, mais qui, quel logiciel (interne ou externe), aucune idée...

Puisque c'est "dans ta boîte", renseigne-toi !

Tu ne peux pas travailler correctement avec des documents mal configurés.

Il faut corriger le problème à la racine.

Ça m'étonnerait que le CSV arrive comme ça. (Double-codage CSV)

Dans une précédente discussion on avait même déterminé que c'était un passage par Excel qui provoquait cela ;)

Plus les idées claires ce soir, donc je reprendrai demain. :zzz:

Bonjour,

ce matin, ça va mieux. J'ai préparé un mail en anglais (j'ai 2 interlocuteurs, mon manager (français) et un américain (responsable de la base de donnée d'où sont extraits les CSV)). Je vous le soumets avant de l'envoyer (en espérant qu'ils n'ont pas pris les vacances scolaires) :

Citation:

---

example of the header:

"SESAID,""ALTERNATEIDS"",""PLATFORM"",""PLATFORMOWNER"",""PUBLISHER"",""APPLICATIONNAME"",""HFMCODE"",""CURRENTLYACTIVE"",""ACTIVATEDATE"",""DEACTIVATEDATE"",""GROUPNAME"",""OFFICECOUNTRY"",""FIRSTNAME"",""LASTNAME"",""COMPANYNAME"",""JOBCODE"",""REPORTINGENTITY"",""BUSINESSUNITNAME"",""LOCATION"",""INTERNETADDRESS"",""MANAGERFIRSTNAME"",""MANAGERLASTNAME"",""MANAGEREMAIL"""

1- the first element (SESAID) is only enclosed by one double-quote, so "SESAID instead of "SESAID", or SESAID as this simple string needs not to be enclosed.

2- the following elements except the last one are unusefully double-enclosed, as, for example ""ALTERNATEIDS"" instead of "ALTERNATEIDS" or even ALTERNATEIDS

3- around the last element, there is a third double-quote at the end: ""MANAGEREMAIL"""

The same faults exist on every lines (records).

It seems necessary that it would be corrected (my tool can't handle these CSV files). I don't know who could do that. I let you manage the problem.

---

Citation:

---

Envoyé par Séb.

Dans une précédente discussion on avait même déterminé que c'était un passage par Excel qui provoquait cela

---

Je pense que c'est une hypothèse que tu avais faite, mais qui s'est avérée fausse. En tous cas, je n'ai pas trouvé trace d'une telle discussion et d'ailleurs, avant d'écrire le texte en anglais, j'ai refait un extract, qui a confirmé le problème (sans jamais passer par Excel).

Dans le message en anglais, je n'ai pas mentionné que j'avais la possibilité de contourner les défauts...

PS : pour me rendre service, j'ai depuis hier après-midi un problème d'affichage de DVP que je ne sais pas résoudre : la hauteur du texte est devenue très petite et je ne sais pas la remettre à une taille normale. Sauriez-vous me dire comment ?

Salut

Pour la hauteur du texte, touche Ctrl plus roulette de la souris ?

Merci ProgElecT, je n'ai pas de souris (ordinateur portable et trackpad) ; néanmoins, tu m'as proposé la touche CTRL et je me suis rappelé que je l'utilise dans PHPSTORM pour mettre en commentaires un paquet de lignes : je sélectionne ces lignes puis CTRL et / (touche du clavier numérique). Donc j'ai fait presque pareil : CTRL et + (touche du clavier numérique). Bingo !

Sinon, SVP, as-tu un commentaire à faire sur mon mail en anglais ?

Je me suis aperçu qu'il manquait un bout sur mon mail en anglais :

Citation:

---

subject: not correct format of csv files exported from ARM

text:
to show the problems, I show you as example the header:

"SESAID,""ALTERNATEIDS"",""PLATFORM"",""PLATFORMOWNER"",""PUBLISHER"",""APPLICATIONNAME"",""HFMCODE"",""CURRENTLYACTIVE"",""ACTIVATEDATE"",""DEACTIVATEDATE"",""GROUPNAME"",""OFFICECOUNTRY"",""FIRSTNAME"",""LASTNAME"",""COMPANYNAME"",""JOBCODE"",""REPORTINGENTITY"",""BUSINESSUNITNAME"",""LOCATION"",""INTERNETADDRESS"",""MANAGERFIRSTNAME"",""MANAGERLASTNAME"",""MANAGEREMAIL"""

1- the first element (SESAID) is only enclosed by one double-quote, so "SESAID instead of "SESAID", or SESAID as this simple string needs not to be enclosed.

2- the following elements except the last one are unusefully double-enclosed, as, for example ""ALTERNATEIDS"" instead of "ALTERNATEIDS" or even ALTERNATEIDS

3- around the last element, there is a third double-quote at the end: ""MANAGEREMAIL"""

The same faults exist on every lines (records).

It seems necessary that it would be corrected (my tool can't handle these CSV files). I don't know who could do that. I let you manage the problem.

---

ARM est le nom de la bdd.

Ta description n'est pas bonne.
Concernant les points n°1 et 3: En fait, c'est toute la ligne qui est entre double-quotes, celui du début avant SESAID ouvre, celui de la fin après la dernière colonne ferme.
Tous les autres double-quotes à l'intérieur (point n°2) sont en fait des double-quotes échappés par un autre double quote.

C'est précisément la syntaxe de chaîne "textuelle" (verbatim string) utilisée dans les langages .net et probablement d'autres produits Microsoft. Par exemple en C#, pour représenter SESAID,"ALTERNATEIDS","PLATFORM", je peux soit écrire:

Code:

---

string toto = "SESAID,\"ALTERNATEIDS\",\"PLATFORM\"";

---

en utilisant des antislashes pour échapper comme on le ferai en PHP, soit au format verbatim:

Code:

---

string toto = @"SESAID,""ALTERNATEIDS"",""PLATFORM""";

---

où là ce sont les double-quotes eux-mêmes qui sont utilisés pour l'échappement.

Au final les lignes que tu as dans ton csv, ne sont rien d'autre que la représentation de la chaîne que tu devrais avoir.

---

Pour enlever un éventuel BOM de ta ligne de header:

Code:

---

$line = preg_replace('~^\xef\xbb\xbf~', '', $line);

---

ou plus élégamment en le désignant par son code point plutôt que par les octets qui le composent:

Code:

---

$line = preg_replace('~^\N{U+FEFF}~u', '', $line);

---

Merci pour ta réponse.

En fait, j'ai pas pu lire très vite ta réponse, car j'étais très occupé :zoubi: :Pièce jointe 610441

Revenons aux choses sérieuses : pour extraire le header, je fais :$header = fgetcsv(self::$handle,1024,",",'"');. Donc c'est tout de suite un tableau alors que ta solution suppose manipuler une string. Que faudrait-il faire ?

La solution c'est de prévenir ceux qui produisent le fichier que le format n'est pas bon.

Le dépannage, ce serait de charger ta ligne de header avec fgets, d'enlever le BOM, le premier et dernier quote, de remplacer les doubles -quotes consécutifs par un seul, pour enfin obtenir le tableau avec str_getcsv. Sachant que, mis à part le BOM, tu devras le faire j'imagine, pour toutes les autres lignes, ça n'améliorera pas tes problèmes de lenteurs.

Code:

---

1 2 3 4 5 6 7

if (false !== $line = fgets(self::$handle,1024)) { $line = preg_replace('~^\N{U+FEFF}~u', '', $line); $line = rtrim($line); $line = substr($line, 1, -1); $line = str_replace('""', '"', $line); $headers = str_getcsv($line); }

---

ou

Code:

---

1 2 3 4

if (false !== $line = fgets(self::$handle,1024)) { $line = preg_replace_callback('~"(.*)"~', fn($m) => strtr($m[1], ['""' => '"']), $line); $headers = str_getcsv($line); }

---

ou encore:

Code:

---

1 2 3 4

if (false !== $line = fgets(self::$handle,1024)) { $line = preg_replace('~(?:^\N{U+FEFF}?")?([^"]*")"(?:"\R)?~Au', '$1', $line); $headers = str_getcsv($line); }

---

Ces scripts supposent que ta ligne est telle que tu l'a décrite, ils ne vérifient pas le format. Appliquer une variante de ceux-ci (sans gestion du BOM) pour les autres lignes fonctionnera tant qu'aucun champs ne contient de saut de ligne.

Attention aux ours cachés derrière les sapins!

Bonsoir,

le format n'est pas bon pour un traitement en PHP mais j'ai cru comprendre qu'il conviendrait pour d'autres langages (par exemple C#).

Le dépannage a l'air de fonctionner sachant que du coup, le header est correct. De ce fait, pas sûr de demander une correction du format.

Je regarderai demain le traitement des autres lignes du CSV. Ce soir, chu pas très clair.