Discussion :

[ptrs32]

Bonjour à tous,

Pour un script j'ai besoin d'aller chercher un fichier texte sur internet, donc d'après un url. Je n'ai pas forcément besoin de le lire entièrement, tout dépend de la date de dernier mise à jour présente en première ligne du fichier.
Ce fichier est très lourd et sa simple ouverture en lecture prend du temps qui n'est probablement pas nécessaire si la date de maj est la même qu'au précédent run.

Je pense que ma demande est vaine mais dans le doute, pensez vous qu'il y aurait moyen de ne lire que la première ligne d'un fichier txt depuis un url, sans ouvrir tout le document ?

Et sinon peut être connaissez vous une façon rapide et efficace de l'ouvrir en lecture ?

Actuellement j'utilise ce genre de code :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
txtdata = list(urllib.request.urlopen(url_grpG))
upDate = txtdata[0].decode("utf-8").split(":")[1].strip()

[Arioch]

Bonjour,

regardez le module requests et notamment les chunk_encoded_requests qui permettent de télécharger un fichier par petits bouts.

Comme votre fichier distant est du texte, vous devriez pouvoir récupérer une partie de ce qui vous intéresse, en l'occurrence la ligne 1.

[wiztricks]

Salut,

tout dépend de la date de dernier mise à jour présente en première ligne du fichier.

Normalement, il y a une en-tête de requête HTTP (If-Modified-Since) pour tester çà. Reste à voir si le serveur HTTP sait la gérer (a essayer quoi).

- W

[ptrs32]

Merci pour vos réponses !

En revanche désolé mais j'ai beau chercher je ne comprend pas comment utiliser chunk_encoded_requests et s'il permet bien de n'ouvrir et lire qu'une partie du fichier.

Pour ta solution wiztricks malheureusement il semble que la date de mise à jour n'est pas inclue dans l'entête de la requête.

[jurassic pork]

hello,
voici un exemple pour ne lire que les 1024 premiers octets d'un fichier texte csv. Le paramètre stream à True permet de ne pas charger le fichier entièrement en une seule fois mais de travailler en flux :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
import requests
url="https://raw.githubusercontent.com/selva86/datasets/master/BostonHousing.csv"
response = requests.get(url, stream = True)
for chunk in response.iter_content(chunk_size=1024):
    print(chunk)
    break

Ami calmant, J.P

[wiztricks]

Pour ta solution wiztricks malheureusement il semble que la date de mise à jour n'est pas inclue dans l'entête de la requête.

C'est à vous de construire l'en-tête...

- W

[ptrs32]

Merci à tous, j'ai finalement utilisé la méthode de jurassic pork et Arioch. Ca fonctionne très bien pour ne lire qu'une partie d'une fichier txt.

Mon code :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
 
reponse = requests.get(url, stream = True)
for line in reponse.iter_content(chunk_size=516):
    for l in line.decode("utf-8").split('\n'):
        if "date" in l:
            upDate = l.split(":")[1].strip()
            break  
    break