ftp curl avec gros fichier

Version imprimable

Bonjour, je fais actuellement une recherche sur l'utilisation de curl avec de très gros fichier.
J'ai un client qui souhaite lancer le téléchargement d'un fichier sur son serveur et le stocker dans un dossier.Cependant je me demande si curl serai capable via FTP de réaliser cela avec des fichiers assez conséquent.

Seulement je ne sais pas si la directive du php.ini entre en ligne de compte via FTP de curl ?
Je suppose que la méthode sera plus ou moins dans ce gout ci :
Code:

1 2 3 4 5 6 7 $fp = fopen('http://www.montest.com/test.xml', 'r'); curl_setopt($ch, CURLOPT_URL, 'ftp://ftp_login:password@ftp.domain.com/filename.xml'); curl_setopt($ch, CURLOPT_UPLOAD, 1); curl_setopt($ch, CURLOPT_INFILE, $fp); curl_setopt($ch, CURLOPT_INFILESIZE, filesize('http://www.montest.com/test.xml')); curl_exec ($ch);
Merci
Aurélien

18/04/2012, 14h02
RunCodePhp

Salut

Je ne parviens pas à percevoir l'utilité de cURL ?

Apparemment l'idée serait de récupérer un fichier sur son serveur et le déposer sur un autre serveur via FTP.
Pourquoi alors ne pas utiliser directement les fonctions ftp_* ?

Théoriquement il suffirait de récupérer le fichier en binaire (genre readfile), et utiliser une fonction comme ftp_fput() (en binaire) pour le déposer, non ?

Tu as le nom du serveur FTP, les login/passe, où est le problème ?
18/04/2012, 14h05
grunk

Citation:

Envoyé par gtraxx

Seulement je ne sais pas si la directive du php.ini entre en ligne de compte via FTP de curl ?

Quelles directives en particulier ? Si tu pense au temps d'execution c'est fortement probable.
Sinon pourquoi passer par curl et pas par le flux ftp:// voir l'extension ftp ?
18/04/2012, 14h26
gtraxx

Bonjour,
En faites je dois télécharger un fichier venant d'un serveur distant pour le rapatrier sur le serveur courant.
En gros je dois télécharger un fichier XML très conséquent et ensuite le manipuler une fois terminé(mais c'est une autre histoire).
Le processus de téléchargement peut se faire durant la nuit, une seul fois par jour.je me demande si je peux lancer une tâche cron pour faire sa (j'ai jamais utilisé cron -_-).
D'ou ma question avec Curl ou voir la fonction ftp de PHP ;)

Je ferais juste un cron ou une tache planifiée selon le système avec quelque chose comme ça :

Code:

1
2
3
4
5
//FTP ou l'on veux déposer le fichier
$dest = 'ftp://login:pass@domain.fr/dossier/monfichier.xml';
//Fichier sourceà télécharger , ici sur un serveur web
$source = 'http://domain.com/dossier/atelecharger.xml';
file_put_contents($dest,fopen($source));

18/04/2012, 14h48
gtraxx

le système, c'est un linux centeos (en principe)

Citation:

//FTP ou l'on veux déposer le fichier
$dest = 'ftp://login:pass@domain.fr/dossier/monfichier.xml';
//Fichier sourceà télécharger , ici sur un serveur web
$source = 'http://domain.com/dossier/atelecharger.xml';
file_put_contents($dest,file_get_contents($source));

Je pensais pas que ce serai aussi simple, je m'attendais à lancer une ligne de commande via php ou bash ou encore une fonction ftp de php lancer via le bash pour la tâche planifié (cpanel).
Je vais peut être vous donner la taille minimal du fichier 60MO jusqu'a 120 MO je suppose que c'est important de le savoir :mrgreen:
18/04/2012, 15h40
grunk
~~Tu peux rencontrer des problème si PHP ne peux pas allouer au moins la taille du fichier en mémoire. Donc le memory limit de ton php devrait être au moins à 120mo.~~

Pour éviter les problème de mémoire utiliser ceci plutôt :
Code:

1 2 file_put_contents($dest,fopen($source));
De cette manière l'écriture se fait depuis le stream du fichier source. C'est donc en flux tendu et ne bouffe pas toute la mémoire de PHP.
Je viens de faire un test avec un fichier de 310Mo = 650ko de memoire au max.

Éventuellement bien penser à augmenter voir supprimer le temps d’exécution max pour pas avoir de surprise.
08/05/2012, 08h50
gtraxx

Bonjour je reviens sur le sujet ayant reçu plus d'informations.
J'ai appris que je dois télécharger via ftp dans un dossier donc par d'url fournie pour le flux mais des données FTP.
Je suppose alors que la donne change, dois je utilisé ftp_connect ?
Ou existe-t-il un autre moyen dans php 5.3
08/05/2012, 14h30
ascito

J'avais ouvert un topic avec les mêmes questions

Code:

copy('tonfichier', 'ftp://user:password@tonserverftp/ledossier);

http://www.developpez.net/forums/d12...er-volumineux/

qui peu aussi donner

Code:

copy('ftp://user:password@tonserverftp/tonfichier', 'ftp://user:password@tonserverftp/ledossier/tonfichier');

Citation:

Envoyé par gtraxx

Bonjour je reviens sur le sujet ayant reçu plus d'informations.
J'ai appris que je dois télécharger via ftp dans un dossier donc par d'url fournie pour le flux mais des données FTP.
Je suppose alors que la donne change, dois je utilisé ftp_connect ?
Ou existe-t-il un autre moyen dans php 5.3

Sans trop m'avancer , il me semble que ça ne change rien au problème :
Code:

1 2 3 4 5 //FTP ou l'on veux déposer le fichier $dest = 'ftp://login:pass@domain.fr/dossier/monfichier.xml'; //Fichier sourceà télécharger , ici sur un serveur web $source = 'ftp://login2:pass2@domain2.fr/dossier/atelecharger.xml'; file_put_contents($dest,fopen($source));
Suffit de changer la source et ou la destination pour que ça colle à tes besoins.

Bonjour j'ai tester avec ftp_connect et cela fonctionne très bien.
Exemple :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
 
$folder_path = "YOUR FOLDER PATH";
        $local_file = "test.xml";
        $server_file = "test.xml";
 
        //-- Connection Settings
        $ftp_server = "mondomaine.com"; // Address of FTP server.
        $ftp_user_name = "********"; // Username
        $ftp_user_pass = "***********"; // Password
        #$destination_file = "FILEPATH";
 
        // set up basic connection
        $conn_id = ftp_connect($ftp_server,21);
 
        // login with username and password
        $login_result = ftp_login($conn_id, $ftp_user_name, $ftp_user_pass);
        // Récupération du délai de connexion du flux FTP courant
        $timeout = ftp_get_option($conn_id, FTP_TIMEOUT_SEC);
        // try to download $server_file and save to $local_file
        if (ftp_get($conn_id, $local_file, $server_file, FTP_BINARY)) {
            echo "Successfully written to $local_file\n";
        } else {
            echo "There was a problem\n";
        }
 
        // close the connection
        ftp_close($conn_id);

il télécharge bien le fichier sur le serveur manque plus qu'a lier sa avec une tâche cron :)

Citation:

Envoyé par gtraxx

Bonjour j'ai tester avec ftp_connect et cela fonctionne très bien.
Exemple :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
 
$folder_path = "YOUR FOLDER PATH";
        $local_file = "test.xml";
        $server_file = "test.xml";
 
        //-- Connection Settings
        $ftp_server = "mondomaine.com"; // Address of FTP server.
        $ftp_user_name = "********"; // Username
        $ftp_user_pass = "***********"; // Password
        #$destination_file = "FILEPATH";
 
        // set up basic connection
        $conn_id = ftp_connect($ftp_server,21);
 
        // login with username and password
        $login_result = ftp_login($conn_id, $ftp_user_name, $ftp_user_pass);
        // Récupération du délai de connexion du flux FTP courant
        $timeout = ftp_get_option($conn_id, FTP_TIMEOUT_SEC);
        // try to download $server_file and save to $local_file
        if (ftp_get($conn_id, $local_file, $server_file, FTP_BINARY)) {
            echo "Successfully written to $local_file\n";
        } else {
            echo "There was a problem\n";
        }
 
        // close the connection
        ftp_close($conn_id);

il télécharge bien le fichier sur le serveur manque plus qu'a lier sa avec une tâche cron :)

ton code reviens à faire un copy

10/05/2012, 10h29
gtraxx

Effectivement mais je garde votre idée pour mon système de rapatriement des images étant plus léger mais souvent lancer en arrière plan.
Oui pendant le traitement du XML je dois rapatrier des images venant d'un serveur distant héberger complètement ailleurs, massivement et relativement toutes x secondes pendant tout le traitement -_-
10/05/2012, 10h34
stealth35

avec le copy tu peux faire un notification callback pour suivre le chargement ;)