Sauvegarder des trames GPS dans MySQL en Python

Version imprimable

08/07/2015, 12h22
Lprofessionnelle

Sauvegarder des trames GPS dans MySQL en Python

Bonjour,
je viens vers vous car j'ai un problème.

Je reçois des données sur un port de mon serveur chaque minute et j'aimerais sauvegarder ces données dans une BDD MySQL pour les exploiter(données GPS). J'arrive à les voir dans la console avec netcat que je laisse en permanance, mais je ne sais pas comment les récupérer pour les envoyer dans MySQL. Actuellement, je passe par un fichier et ça me va pas.
On ma dit que ça serait plus facile en python et surtout plus sécurisé, mais je ne connais rien dans ce langage.

Pouvez vous m'aider SVP ? Ca fait 5 jours que je cherche sans relâche des méthodes sans succès et je continue.
08/07/2015, 12h55
Bktero

Bonjour,

Si tu ne connais pas Python, ce n'est sûrement pas la meilleure solution, sauf si tu n'es pas pressé et que tu as le temps d'apprendre.

Quel langage connais-tu ?

Quelque soit le langage (ça marche aussi avec Python), il te faut déjà être capable de recevoir les données du réseau, avec une socket. Il faut aussi être capable de faire des requêtes SQL pour mettre des données arbitraires dans la BDD. Quand tu sais faire les 2, tu peux mettre les données reçues du réseau dans la BDD.
08/07/2015, 13h02
f-leb

Bonjour,

Il te faut notamment un connecteur MySQL (une 'tite recherche Google, MySQLdb pour Python 2, pourquoi pas MySQL Connector pour version 3). La version de Python est importante, tu ne la précises pas.
08/07/2015, 13h52
Lprofessionnelle

Je connais surtout le couple PHP/MYSQL et un tout petit peut de commande linux.

Moi au départ je voulais faire ça en bash car j'arrive avec la commande netcat à voir les données qui arrivent chaque minute et qu'il me restait qu'à mettre ces données dans ma table, mais je n'y suis jamais arrivé vu que je suis ici.
Puis on m'a dit que c'était pas top niveau sécurité et on m'a dit fait ça en python c'est facile^^.

Merci pour votre attention.
Ps: j'ai vu une grosse faute dans le titre je reviens et plus de faute^^. Désolé, j'essaye de pas en faire.
08/07/2015, 16h26
f-leb

Citation:

Envoyé par Lprofessionnelle

Je connais surtout le couple PHP/MYSQL

Et bien pourquoi ne le ferais-tu pas en PHP dans ce cas ?

Je dois exécuter mon script en continu sans aucune interruption, le PHP marche pas de cette façon normalement ?

J'ai trouvé ce code pour testé, mais je ne reçois rien dans la console:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
import socket
Sock = socket.socket(socket.AF_INET,socket.SOCK_STREAM)
Host = '127.0.0.1' # l'ip locale de l'ordinateur
Port = 13242         # choix d'un port
 
print "On commence:"
 
# on bind notre socket :
Sock.bind((Host,Port))
 
# On est a l'ecoute d'une seule et unique connexion :
Sock.listen(1)
 
# Le script se stoppe ici jusqu'a ce qu'il y ait connexion :
client, adresse = Sock.accept() # accepte les connexions de l'exterieur
print "L'adresse",adresse,"vient de se connecter au serveur !"
while 1:
        RequeteDuClient = client.recv(1000) # on recoit 255 caracteres grand max
        if not RequeteDuClient: # si on ne recoit plus rien
                break  # on break la boucle (sinon les bips vont se repeter)
        print RequeteDuClient,"\a"         # affiche les donnees envoyees, suivi d'un bip sonore

Mais d'après les commentaires, il à l'air parfait(sans le break), il manque juste la requête SQL..

PS: le python c'est cool

08/07/2015, 18h37
Bktero

Citation:

Ps: j'ai vu une grosse faute dans le titre je reviens et plus de faute^^. Désolé, j'essaye de pas en faire.

Ouais, c'est la magie des modérateurs :)

Citation:

Je connais surtout le couple PHP/MYSQL et un tout petit peut de commande linux.

Si tu connais bien ce couple, essaye de t'y tenir, ce sera sans doute plus simple de trouver comment faire en PHP que d'apprendre Python.

Hier, quelqu'un me racontait un projet où un microcontrôleur envoyait des données à un serveur, à une page PHP pour être exact, et la page PHP mettait tout ça dans une BDD SQL. Cela doit donc être possible. Je n'ai jamais touché à PHP, je ne pourrai pas t'aider là-dessus.

As-tu la main sur le client ? Pourrais-tu modifier la façon dont il t'envoie les données ou pas ?

Impossible, c'est un tracker TK-102 qui peut envoyer les données que sur une ip et un port. Je peux rien faire d'autre malheureusement c'est pour ça qu'au début que je voulais faire une redirection vers une page de mon site OU y ajouter directement dans ma BDD.
Je vais essayer de le faire en python, ça a l'air mieux quand PHP, mais je ne vois pas les données contrairement a la commande netcat, ça na pas l'air de marcher.

EDIT:
Je progresse:
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 import socket # Import socket module import time s = socket.socket() # Create a socket object host = socket.gethostname() # Get local machine name port = 13242 # Reserve a port for your service. s.bind((host, port)) # Bind to the port s.listen(5) # Now wait for client connection. while True: c, addr = s.accept() # Establish connection with client. RequeteDuClient = c.recv(1000) # on recoit 255 caracteres grand max print 'Got connection from', time.strftime('%d/%m/%y %H:%M:%S', time.localtime()), ' ', addr, ' ', RequeteDuClient # c.send('Thank you for connecting') c.close() # Close the connection
Je vois la date de la connexion, les données reçus et même l'ip et le port du tracker qui envoi les données... D'ailleurs son ip et son port change à chaque fois normal ?

Il me reste plus qu'a mettre la requête SQL, je bloque

08/07/2015, 22h35
Bktero

C'est étonnant que l'IP change ; en revanche, c'est normal que le port change. Il est alloué pour la communication et n'a pas d'importance en tant que tel. Le seul numéro de port important est celui sur lequel le serveur écoute.

Je vois que tu fais un accept() à faire itération ; je trouve étonnant que tu ne puisses pas gérer ça en PHP mais si tu y arrives facilement en Python, tant mieux ;)

J'ai jamais codé ce genre de chose en PHP^^, mais en PHP tout est possible...

Pour l'ip par exemple j'ai:

Citation:

('37.160.103.8', 45000)
('37.162.9.134', 9000)
('37.165.122.138', 58000)

EDIT:
J'ai cette erreur:

Code:

1
2
3
4
5
6
7
8
9
 
Traceback (most recent call last):
  File "python2.py", line 25, in <module>
    cursor.execute("""INSERT INTO gps (id, info, datetime, texte) VALUES(NULL, %(info)s, %(datetime)s, %(texte)s)""", user)
  File "/usr/lib/python2.7/dist-packages/MySQLdb/cursors.py", line 174, in execute
    self.errorhandler(self, exc, value)
  File "/usr/lib/python2.7/dist-packages/MySQLdb/connections.py", line 36, in defaulterrorhandler
    raise errorclass, errorvalue
_mysql_exceptions.OperationalError: (1241, 'Operand should contain 1 column(s)')

Le code:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
 
import socket               # Import socket module
import time
import MySQLdb
 
print 'On commence:'
 
conn = MySQLdb.Connect(host="127.0.0.1",user="gps",passwd="mdp",db="gps")
cursor = conn.cursor()
# conn.close()
 
 
s = socket.socket()         # Create a socket object
host = socket.gethostname() # Get local machine name
port = 13242                # Reserve a port for your service.
s.bind((host, port))        # Bind to the port
 
s.listen(5)                 # Now wait for client connection.
while True:
   c, addr = s.accept()     # Establish connection with client.
   RequeteDuClient = c.recv(1000) # on recoit 255 caracteres grand max
   timetrame = time.strftime('%y-%m/-%d/ %H:%M:%S', time.localtime())
   print 'Date: ', timetrame, '\n ', addr, '\n ', RequeteDuClient
   # curs.execute("INSERT INTO gps (id, text) VALUES (NULL, RequeteDuClient)")
   user = {"info": addr, "datetime": timetrame, "texte": RequeteDuClient}
   cursor.execute("""INSERT INTO gps (id, info, datetime, texte) VALUES(NULL, %(info)s, %(datetime)s, %(texte)s)""", user)
 
   # c.send('Thank you for connecting')
   c.close()                # Close the connection
   conn.close()

09/07/2015, 09h08
Bktero

Tu pourrais nous montrer le message d'erreur ?

Il semble aussi possible d'utiliser pip pour installer MySQL pour Python : http://codeinthehole.com/writing/how...hon-on-ubuntu/

Je crois que j'ai réussi:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
import socket               # Import socket module
import time
import MySQLdb
 
print 'On commence:'
 
conn = MySQLdb.Connect(host="127.0.0.1",user="gps",passwd="mdp",db="gps")
cursor = conn.cursor()
 
 
s = socket.socket()         # Create a socket object
host = socket.gethostname() # Get local machine name
port = 13242                # Reserve a port for your service.
s.bind((host, port))        # Bind to the port
 
s.listen(5)                 # Now wait for client connection.
while True:
   c, addr = s.accept()     # Establish connection with client.
   RequeteDuClient = c.recv(1000) # on recoit 255 caracteres grand max
   timetrame = time.strftime('%Y-%m-%d %H:%M:%S', time.localtime())
   print 'Date: ', timetrame, '\nIP: ', addr, '\nTrame: ', RequeteDuClient
 
   ip_port = str(addr)
   trame = str(RequeteDuClient)
   client=(ip_port, timetrame, trame)
   # print client, "\n"
 
   sqlvar = ('Insert into gps(info, datetime, texte) Values(%s, %s, %s)')
   cursor.execute(sqlvar, client)
 
 
   c.close()                # Close the connectio

J'ai pas d'erreur comme de possible injections SQL ?

14/07/2015, 20h49
Lprofessionnelle

up, quelqu'un peut me répondre si ma requête SQL est bonne ? En PHP je sais, mais en python je sais pas^^.
15/07/2015, 04h46
VinsS
Salut,

La doc [0] est claire:

Citation:

You shouldn’t assemble your query using Python’s string operations because doing so is insecure; it makes your program vulnerable to an SQL injection attack
...

Instead, use the DB-API’s parameter substitution. Put ? as a placeholder wherever you want to use a value

Donc, tu devrais plutôt utiliser:
Code:

1 2 sqlvar = 'Insert into gps(info, datetime, texte) Values(?, ?, ?)'
[0] https://docs.python.org/2/library/sqlite3.html

J'ai l'erreur:

Code:

1
2
3
4
5
6
Traceback (most recent call last):
  File "python.py", line 29, in <module>
    cursor.execute(sqlvar, (ip_port, timetrame, trame))
  File "/usr/lib/python2.7/dist-packages/MySQLdb/cursors.py", line 159, in execute
    query = query % db.literal(args)
TypeError: not all arguments converted during string formatting

Mon code:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
 
import socket               # Import socket module
import time
import MySQLdb
 
print 'On commence:'
 
conn = MySQLdb.Connect(host="127.0.0.1",user="gps",passwd="mdp",db="gps")
cursor = conn.cursor()
 
 
s = socket.socket()
host = socket.gethostname()
port = 13242
s.bind((host, port))
 
s.listen(5)
while True:
   c, addr = s.accept()
   RequeteDuClient = c.recv(1000)
   timetrame = time.strftime('%Y-%m-%d %H:%M:%S', time.localtime())
   print 'Date: ', timetrame, '\nIP: ', addr, '\nTrame: ', RequeteDuClient
 
   ip_port = str(addr)
   trame = str(RequeteDuClient)
   # client=(ip_port, timetrame, trame)
   # print client, "\n"
 
   sqlvar = ('Insert into gps(info, datetime, texte) Values(?, ?, ?)')
   cursor.execute(sqlvar, (ip_port, timetrame, trame))
 
 
   c.close()

Alors que lui il marche:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
 
import socket               # Import socket module
import time
import MySQLdb
 
print 'On commence:'
 
conn = MySQLdb.Connect(host="127.0.0.1",user="gps",passwd="mdp",db="gps")
cursor = conn.cursor()
 
 
s = socket.socket()
host = socket.gethostname()
port = 13242
s.bind((host, port))
 
s.listen(5)
while True:
   c, addr = s.accept()
   RequeteDuClient = c.recv(1000)
   timetrame = time.strftime('%Y-%m-%d %H:%M:%S', time.localtime())
   print 'Date: ', timetrame, '\nIP: ', addr, '\nTrame: ', RequeteDuClient
 
   ip_port = str(addr)
   trame = str(RequeteDuClient)
   # client=(ip_port, timetrame, trame)
   # print client, "\n"
 
   sqlvar = ('Insert into gps(info, datetime, texte) Values(%s, %s, %s)')
   cursor.execute(sqlvar, (ip_port, timetrame, trame))
 
 
   c.close()

15/07/2015, 12h36
VinsS
Ouais, je n'avais pas fait attention à tes parenthèses. Par ailleurs inutiles.

Essaye ceci plutôt:
Code:

1 2 3 sqlvar = 'Insert into gps Values(?, ?, ?)' cursor.execute(sqlvar, (ip_port, timetrame, trame))
Ce que tu aurais vu si tu avais regardé le lien de la doc que j'ai mis dans mon message.

Ne marche toujours pas:

Code:

1
2
3
4
5
6
7
 
Traceback (most recent call last):
  File "python.py", line 29, in <module>
    cursor.execute(sqlvar, (ip_port, timetrame, trame))
  File "/usr/lib/python2.7/dist-packages/MySQLdb/cursors.py", line 159, in execute
    query = query % db.literal(args)
TypeError: not all arguments converted during string formatting

En PHP c'est bien plus simple^^

15/07/2015, 21h58
VinsS

TypeError: not all arguments converted during string formatting signifie simplement que tu donnes un nombre d'arguments différent de ce qui est nécessaire.

Le traceback ne montre pas ton code, donc on ne peut rien dire de plus. Sauf que c'est une erreur basique en général simple à résoudre.

J'ai juste modifié comme tu me la montré:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
 
import socket               # Import socket module
import time
import MySQLdb
 
print 'On commence:'
 
conn = MySQLdb.Connect(host="127.0.0.1",user="gps",passwd="mdp",db="gps")
cursor = conn.cursor()
 
 
s = socket.socket()
host = socket.gethostname()
port = 13242
s.bind((host, port))
 
s.listen(5)
while True:
   c, addr = s.accept()
   RequeteDuClient = c.recv(1000)
   timetrame = time.strftime('%Y-%m-%d %H:%M:%S', time.localtime())
   print 'Date: ', timetrame, '\nIP: ', addr, '\nTrame: ', RequeteDuClient
 
   ip_port = str(addr)
   trame = str(RequeteDuClient)
   # client=(ip_port, timetrame, trame)
   # print client, "\n"
 
   sqlvar = 'Insert into gps Values(?, ?, ?)'
   # sqlvar = ('Insert into gps(info, datetime, texte) Values(%s, %s, %s)')
   cursor.execute(sqlvar, (ip_port, timetrame, trame))
 
 
   c.close()

Qu'est ce que j'ai mal fait ?

20/07/2015, 19h05
Lprofessionnelle

up, pour clore le sujet, j'aimerais pas me faire pirater
20/07/2015, 22h16
Bktero

Le lien montré par VinsS est pour sqlite3 ; le site de MySQL semble dire que les ? sont OK : http://dev.mysql.com/doc/connector-p...r-execute.html

Moi, ce qui me fait surtout peur, c'est ton mdp inscrit en clair dans le code. Ce n'est pas sécurisé du tout.
23/07/2015, 09h00
Lprofessionnelle

Je ne vois pas ou tu vois mon MDP :ccool:. De toute façon chacune de mes BDD différente à un mot de passe différent, c'est rare que je sois connecté en root directement. Donc si la personne se connecte elle aura juste accès à ma bdd gps. Je trouve ça pratique quand je dois travailler sur un projet avec quelqu'un^^.
Le seul truck qui m'inquiète c'est que j'ai une autre BDD qui s'affiche à chaque fois aussi qui est: information_schema, mais d'après ce que je vois on ne pourrait rien modifier.

Bon bas si c'est protéger c'est ok alors. En PHP je sais comment faire chaque requête SQL dans chaque circonstance, mais en python c'est pas pareil(je c'est pas coder python). Il faut maintenant que j'arrive à bien identifier les "trames", car quelqu'un pourrait envoyer des "choses" et ça ferait un peut buger mon code :evilred:.
Quelqu'un connait une méthode pour tester ça ? En gros je veux envoyer des données a mon serveur comme le fait mon appareil pour pourvoir détecter les fausses trames

Merci, :hola:
23/07/2015, 10h15
f-leb

Bonjour,

Citation:

Envoyé par Lprofessionnelle

Il faut maintenant que j'arrive à bien identifier les "trames", car quelqu'un pourrait envoyer des "choses" et ça ferait un peut buger mon code :evilred:.
Quelqu'un connait une méthode pour tester ça ? En gros je veux envoyer des données a mon serveur comme le fait mon appareil pour pourvoir détecter les fausses trames

Il suffit d'étudier la doc du protocole utilisé pour tes trames. Il y a surement un cheksum ou un calcul de CRC en fin de trame pour vérifier les erreurs de transmission.
23/07/2015, 13h21
Lprofessionnelle

Ce que je voulais dire c'est identifier "les fausses trames" que des personnes malintentionnées pourraient vouloir envoyer, car on doit pouvoir faire ça si mon tk-102 peut le faire^^
23/07/2015, 17h34
Bktero
Code:

1 2 conn = MySQLdb.Connect(host="127.0.0.1",user="gps",passwd="mdp",db="gps")
:roll: (mais peut-être était-ce de l'ironie ?)

Tu as peur des injections SQL mais tu n'as pas peur qu'on récupère le mot de passe de la BDD et qu'on puisse corrompre tes données ou en supprimer ? C'est une façon de voir les choses.

Citation:

Ce que je voulais dire c'est identifier "les fausses trames"

C'est quoi une trame fausse ? Si tu réponds à cette question, tu n'auras plus qu'à coder ta réponse.
23/07/2015, 19h52
Lprofessionnelle

Ce que je voulais dire c'est que d'une certaine manière avec toute mes sauvegardes(3 fois par jours, il me semble) avec mes bdd séparés... Je me sens pas trop mal sécurisé surtout que je sais toujours comment faire mes requêtes SQL en PHP correctement.
Il faudrait vraiment que ça vienne d'un soft installé mal sécu ou d'un langage que je ne maitrise pas comme ici le python pour avoir une injection SQL. Pour finir, vous vous doutez bien que j'ai un MDP différent par BDD et que je l'ai modifié^^.

Les fausses trames seraient des données envoyées sur le port ou je suis censé recevoir mes données et qu'elles ne viennent pas d'ou elles sont censées venir^^, car certaines personnes testent les ports des serveurs et on peut sans doute envoyé n'importe quoi dessus.
Je pense avoir trouvé comment faire...
30/07/2015, 12h57
Lprofessionnelle

Dernière petite chose, j'ai eu une interruption de donnée de plus de deux heures alors que le script python n'affichait pas d'erreur(ça m'est déja arrivé), c'est comme si il recevait plus rien. Je l'ai arrêté et relancé et les données ont recommencé à arriver.
Dans le pire des qu'a je peux me faire une alerte SMS si j'ai pas de données pendant 10minutes, mais si je suis pas devant le PC ça ne sert à rien^^. Donc si quelqu'un sait d'ou vient le problème je suis preneur, je cherche encore, car ça doit venir du scrypt python.
03/08/2015, 14h07
Lprofessionnelle

up, j'ai pas trouvé de solution c'est à croire que mon script à "une durée de vie", car dès que je le redémarre plus aucun problème. Est ce une subtilité du python qui ferme mon socket au bout de quelques jours ?
03/08/2015, 15h15
wiztricks

Citation:

Envoyé par Lprofessionnelle

up, j'ai pas trouvé de solution c'est à croire que mon script à "une durée de vie", car dès que je le redémarre plus aucun problème. Est ce une subtilité du python qui ferme mon socket au bout de quelques jours ?

écrire une application qui fonctionne 24 heures sur 24 "sans problème", c'est déjà lui faire cracher des messages d'erreurs explicite en cas de problème et/ou un keep alive qui assure quelle n'est pas coincée et/ou la redémarrer automatiquement suite à certains évènements "ingérables".

Python n'est qu'un langage de programmation:le boulot du programmeur (i.e. ajouter les fonctionnalités adaptées au contexte) c'est à vous de le faire.

- W