Discussion :

[mederik]

Bonjour,

avez vous une idée de ce qui pourrait causer le probleme suivant, plutot vachement emmerdant et inatendu.

J'ai deux serveur : A et B.
Sur le serveur A je génére des fichiers plats. Puis je transfere ces fichiers plats par SFTP via un ksh grâce à un spawn et expect.

90% de mes fichiers sont incomplets après le SFTP. LE SFTP semble corrompre mes fichiers.

Pourtant dans la fenêtre, il n'y a aucun message ou indication qui laisserait penser que le transfert n'a pas été fait ou incomplet.

Avez vous une idée ?

Merci d'avance

[frp31]

Bonjour,

90% de mes fichiers sont incomplets après le SFTP. LE SFTP semble corrompre mes fichiers.

Avez vous une idée ?

Merci d'avance

avec un taux d'erreur aussi élevé, il faut repartir de zéro et tester les transferts en "commandes FTP" natives sans script autour

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
sftp -i you@truc << EOT
cd truc
get bidule
cd ../machin
get machin
...
bye
EOT

Si là ça marche tu peux éliminer toute hypothèse coté serveur FTP ainsi que coté réseau et c'est donc ton script qui chie...pote...
à l'inverse si là ça chie c'est forcément coté réseau et/ou serveur que se pose ton problème.

Probablement un timeout de session lié au mode de connexion avec ces conneries d"expect ou le spawn.

[mederik]

Bon j'ai fais ce que tu m'as dit. J'ai trouvé où ça déconnait. Je ne comprends pas pourquoi mais j'ai trouvé.

Voici le bout de script complet

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
#!/bin/ksh
echo "\n"
echo "************************************************************************"
echo "*   JTMS$i : connection SSH pour lancement génération fichiers plats    *"
echo "************************************************************************"
echo "\n"  
sleep 2    
/usr/bin/expect <<EOF
set timeout 5
set USER user
set PASS datastage
set HOST serveur
set INF_PATH_KSH mon_chemin/Param
set INF_PATH_OUT mon_chemin/TgtFiles
 
#connection SSH pour lancement des scripts de génération des fichiers des cubes
spawn ssh \$USER@\$HOST
expect password:
send "\$PASS\r"
expect $
send "cd \$INF_PATH_KSH\r"
expect $
send "./JTMSF.ksh\r"
expect $
send "exit\r"
 
#connection SFTP pour rapatrier les fichiers générés en FTP sur serveur local
spawn sftp \$USER@\$HOST
expect password:
send "\$PASS\r"
  
expect sftp>
#Positionnement dans le dossier où le fichiers doivent être déposés par le STFP et à partir duquel le .ksh doit être exéxuté
send "cd $INF_PATH_OUT\JTMSF\r" 
   
expect sftp>
send "get *.txt\r"
 
expect sftp>
send "exit\r"
EOF

Dans ce qui script il y a deux spawn expect qui se suivent : un premier pour lancer un ksh et un deuxième pour du SFTP.

Quand je supprime la partie spawn expect SSH, le SFTP fonctionne tres bien. Dès que je les mets à la suite, SFTP foire.

Quelqu'un sait pourquoi ?

[jack-ft]

Juste pour éliminer une éventualité (au cas où...).

Si ton script './JTMSF.ksh' de génération des fichiers des cubes travaille en background, il n'aura peut-être pas fini de générer les fichiers au moment du transfert!

Peux-tu essayer d'insérer une ligne pour voir le contenu du répertoire après exécution du script, afin de vérifier que les fichiers sont bien complets:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
expect $
send "./JTMSF.ksh\r"
expect $
send "ls -lR JTMSF > /tmp/ls-lR-JTMSF\r"
send "exit\r"

[disedorgue]

Bonjour,

Ou bien, mieux écrire les commandes expect $ car le caractère '$' peut avoir d'autre signification que le '$' comme par exemple fin de ligne (ou fin de bloc en expect)...

Et donc, comme le dit Jack-ft, la commande n'est pas fini lors du sftp

[mederik]

'tain..... @&$%#

Mais qu'est-ce t'as fait ?!? C'est quoi cet ordre avec un ls en plus. Apparemment en ajoutant ça ca fonctionne effectivement. J'ai testé deux fois de suite avec et sans pour vérifier mais ca a bien l'air de corriger le truc.

Tu peux m'expliquer stp ?

[mederik]

Bon, fausse joie....
Tu devais t'en douter peut être.
Ca fonctionne pour mon fichier test mais pas pour les autres...
pffff

[mederik]

En fait je crois je suis coinçé par la structure de mon ksh. Je pense que je ne peux pas récupérer dans mon ksh le code retour des ksh qui sont lançés sur les machines distantes à cause du spawn...

L'enchainement des lancements est le suivant :
ksh_mère > script_1 > script-2

Le ksh "script_2" envoi bien un code retour mais, comme je le disais, il est exécuté via script_1.

script_1 et script2 sont sur une autre machine que ksh_mère...

C'est le binz quoi...Je vois pas de solution

[disedorgue]

Essaye le code suivant:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
#!/bin/ksh
echo "\n"
echo "************************************************************************"
echo "*   JTMS$i : connection SSH pour lancement génération fichiers plats    *"
echo "************************************************************************"
echo "\n"  
sleep 2    
/usr/bin/expect <<EOF
set timeout 5
set USER user
set PASS datastage
set HOST serveur
set INF_PATH_KSH mon_chemin/Param
set INF_PATH_OUT mon_chemin/TgtFiles
 
#connection SSH pour lancement des scripts de génération des fichiers des cubes
spawn ssh \$USER@\$HOST
expect password:
send "\$PASS\r"
expect '$'
send "cd \$INF_PATH_KSH\r"
expect '$'
send "./JTMSF.ksh\r"
expect '$'
send "exit\r"
expect eof
 
#connection SFTP pour rapatrier les fichiers générés en FTP sur serveur local
spawn sftp \$USER@\$HOST
expect password:
send "\$PASS\r"
  
expect sftp>
#Positionnement dans le dossier où le fichiers doivent être déposés par le STFP et à partir duquel le .ksh doit être exéxuté
send "cd $INF_PATH_OUT\JTMSF\r" 
   
expect sftp>
send "get *.txt\r"
 
expect sftp>
send "exit\r"
expect eof
EOF

[jack-ft]

Désolé, je n'ai pas grand-chose à proposer...

Une question bête:
Ne pourrais-tu truster tes machines?
De cette manière, tu pourrais faire des vrais appels à 'ssh' et 'scp' qui me paraissent plus simples à gérer que les scripts 'expect'.

De plus, le fait de mettre des mots de passe en clair dans des scripts ne passerait jamais les contraintes de sécurité de pas mal de boîtes où j'ai travaillé!