Redirections awk PHP et Affichage [Résolu]

[flotho]

Bonjour à tous,

Je travaille actuellement sur un script qui mélange du PHP et du awk dans un bash.
J'ai procédé à des redirections qui me semblent subtiles et me permettent de gagner du temps :
(awk1 <fich1 & php) | awk2 >fich2

Code :

1
2
( awk -F";" 'BEGIN { OFS=";"}{ gsub(/ *  /," "); print;fflush()}' < icecat_data.csv & php Recup_Icecat.php) | awk -F";" 'BEGIN { OFS=";"}{ gsub(/\"\"\"/,"\""); print; fflush()}1' > icecat_data_net.csv ;

Le script PHP génère un fichier icecat_data.csv qui est lu en tâche de fond pour nettoyer les espaces et les guillemets doubles. Tout cela fonctionne correctement. Il me reste toutefois une problématique que je n'ai pas réussi à régler.
En effet, le script PHP génère des messages sur la sortie standard via de simple echo. Lorsque je le lance seul, pas de problèmes, en revanche dans cette succession de process, plus rien en affichage! Pour des petits traitements ce n'est pas grave mais pour un fichier de plusieurs dizaines de milliers de ligne, on aura l'impression que la chose est figée.

D'où ma question, comment faire pour conserver l'affichage sur la sortie standard dans cette succession de commande?

J'ai essayé :
- (awk1 <fich1 | awk2 >fich2 ) & php affiche la sortie php mais ne restitue pas correctement fich2
- ( awk2 >fich2 & awk1 <fich1 ) & php affiche la sortie php mais ne restitue pas correctement fich2

je suis ouvert à d'autres propositions ;-)

Merci d'avance de vos propositions.

[Alek-C]

Je peux me gourer, mais tout cela me semble bien compliqué pour pas forcément grand chose

Tu ne voudrais pas ré-expliquer un peu plus clairement ce que tu veux avoir au final ?

J'ai compris que tu as un script php qui écrit dans un fichier icecat_data.csv et qui écrit des infos sur stdout.
Le fichier généré passe ensuite dans awk pour le nettoyer. Pour ce que j'en comprends, tu souhaites que awk parse le fichier au fur et à mesure qu'il est renseigné par le script php ?
Pour finir, il y a un second nettoyage (pourquoi pas directement dans le premier ?).

Envoyé par flotho

Code :

Peut-être que je ne connais pas assez certains points, mais tu es sûr que ce que tu as ci-dessus va fonctionner ? Notamment la lecture en continue du premier awk sur ton fichier...
De plus, pour moi, si ton php écrit en sortie standard, ce qu'il produit va rentrer dans le second awk tout comme la sortie du premier awk !

Bon, après, je me gourre peut-être, mais j'ai vraiment pas l'impression que ça puisse marcher Peut-être que la méthode retenue n'est pas la bonne ?

[flotho]

Envoyé par Alek-C

Tu ne voudrais pas ré-expliquer un peu plus clairement ce que tu veux avoir au final ?
J'ai compris que tu as un script php qui écrit dans un fichier icecat_data.csv et qui écrit des infos sur stdout.
Le fichier généré passe ensuite dans awk pour le nettoyer. Pour ce que j'en comprends, tu souhaites que awk parse le fichier au fur et à mesure qu'il est renseigné par le script php ?
Pour finir, il y a un second nettoyage (pourquoi pas directement dans le premier ?).

Dans le principe c'est exactement cela. Je vais tenter de mettre les deux nettoyage ensemble!

Peut-être que je ne connais pas assez certains points, mais tu es sûr que ce que tu as ci-dessus va fonctionner ? Notamment la lecture en continue du premier awk sur ton fichier...
De plus, pour moi, si ton php écrit en sortie standard, ce qu'il produit va rentrer dans le second awk tout comme la sortie du premier awk !

La lecture en continue du premier fichier semble fonctionner et cela me permet de gagner un temps considérable. Et en effet j'ai un problème pour le second nettoyage. Je ne l'avais pas remarqué!

[flotho]

Suite à vos conseils éclairés j'ai donc abouti à la commande suivante :

Code :

1
2
 
(awk -F";" '{ gsub(/ *  /," ");gsub(/\"\"/,""); gsub(/\";\"/,";"); gsub(/;/,"\";\"");print;fflush()}' < icecat_data.csv > icecat_data_net.csv) & php Recup_Icecat.php ;

Et là tout fonctionne comme il faut et j'ai même optimisé d'autres parties de mon code grâce à vos conseils.

Cordialement,

[Alek-C]

Intéressant, je ne connaissais pas ce truc pour lire un fichier en continue par awk !

[flotho]

Magique !
http://www.crl.univ-paris-diderot.fr.../kb/unix/pipes

;-)

[Alek-C]

Nan mais ça, je connais

Ce que je ne savais pas, c'est que awk pouvait traiter un fichier en flux continue (avec fflush() ?) et gérer les nouvelles lignes qui y sont ajoutées.

A moins que ton fichier icecat_data.csv n'en soit pas un... je n'y avais pas pensé !

Bref, faut que je regarde ça chez moi un jour :p