Discussion :

[rockley]

Bonjour à tous,

Je suis développeur mais sur d'autres langages que Python.
J'ai choisit Python pour me former d'une part, et d'autre part car je pense que ça va plus vite qu'avec d'autres langages.

Je voudrais réaliser un projet assez simple dans l'idée.
Le but est de faire appelle à pleins d'API (tweeter, FB, insta, ...), alimenter une DB puis l'afficher sur une page.

Comme ça je pense qu'il y a plusieurs points à réaliser :
- Une page d'authentification
- Création de la BDD
- Une page pour présenter les données aux utilisateurs.

Assez simple donc.
Mon problème c'est surtout l'alimentation des données en DB.

Mes questions sont les suivante :
1)
Pour la récupération des données depuis les différents API, cela s'effectuera de manière batch la nuit.
Les API ayant des limitations, cela prends plusieurs heures et le faire entre 00H00 et 6H00 de matin me semble logique.
Je pense utiliser quelque chose comme django-crontab.

Est ce que dans un même projet django on peut avoir l'application en temps réel et des batch qui tournent le soir sans problème ?

2)
Parfois il y a des données que je ne peux pas récupérer via API car tout simplement certains sites n'ont pas d'API.
Pour ça je voulais utiliser CasperJS (+nodeJS) qui permet se simuler un utiliser web.

Là je ne sais pas trop comment m'y prendre. Existe-il un équivalent de capserJs en Python ?
Si ça n'existe pas, peut-on lancer l'exécution d'un programme js depuis django ? (en batch)
Enfin, est ce que le programme nodeJS peut se connecter et alimenter les DB de python ?

3)
Si vous avez des idées autres, sur la mise en place de tout ça je serais ravi d'entendre vos suggestions.

Merci d'avance pour votre aide.

[wiztricks]

Salut,

Si vous utilisez une base de données plus élaborée que sqlite3, alimenter les tables depuis d'autres process que ceux démarrés par "django" est possible.

- W

[fred1599]

Bonjour,

J'avoue ne pas avoir tout compris, je vais essayer de répondre...

Le but est de faire appelle à pleins d'API (tweeter, FB, insta, ...), alimenter une DB puis l'afficher sur une page.

Ok donc si je comprend bien, il faut un client HTTP et un serveur de base de données. Django est un serveur HTTP...
Je proposerai si on en restait là par exemple, d'utiliser un serveur PostgreSQL et le module python psycopg2 avec un client comme le module python requests

Comme ça je pense qu'il y a plusieurs points à réaliser :
- Une page d'authentification
- Création de la BDD
- Une page pour présenter les données aux utilisateurs.

Là on arrive sur Django, ok !

Plus haut tu dis alimenter une base de données, qu'appelles-tu alimenter ? Si c'est écrire sur la BDD, attention de ne pas être en conflit entre l'écriture depuis le serveur et le client.

Est ce que dans un même projet django on peut avoir l'application en temps réel et des batch qui tournent le soir sans problème ?

Oui un serveur peut faire des tâches asynchrones, heureusement...

Existe-il un équivalent de capserJs en Python ?

Je ne connais pas casperJS, mais à ce que j'ai pu en lire, il permet des tests fonctionnels, ce qui me semble être un équivalent de Selenium souvent utilisé pour des tests fonctionnels sur Python-Django

Si ça n'existe pas, peut-on lancer l'exécution d'un programme js depuis django ?

J'ai pas compris, depuis où lancerais-tu ce programme ?

est ce que le programme nodeJS peut se connecter et alimenter les DB de python ?

Oui on peut, mais python fait ça très bien avec des modules tels que requests et psycopg2, mais encore une fois, que veut dire alimenter ? écrire ?

Si vous avez des idées autres, sur la mise en place de tout ça je serais ravi d'entendre vos suggestions.

Utiliser Python - Django - Selenium avec une base de données PostgreSQL, tout cela est full python !

[wiztricks]

Plus haut tu dis alimenter une base de données, qu'appelles-tu alimenter ? Si c'est écrire sur la BDD, attention de ne pas être en conflit entre l'écriture depuis le serveur et le client.

Il n'y a que le serveur qui accède aux données de la base. Son boulot est de gérer les conflits entre les différents clients/applications qui accèdent à ces données.

- W