Discussion :

[Röyksopp]

Salut tout le monde !

J'ai un projet qui contient 2 dossiers :

sources (qui contient mes fichiers sources)
test (qui contient les tests unitaires du code source)

J'aimerais que mon dossier test import des modules contenus dans sources pour les tester. Mon problème est que pour l'instant je n'ai réussi à faire marcher mes tests qu'en modifiant le sys.path dans tous les fichiers contenus dans le dossier test or je n'ai pas l'impression que ce soit une bonne méthode. Si je dois modifier l'arborescence, cette méthode entraîne beaucoup de duplication de code et n'est pas très adaptable.

J'ai l'impression que la bonne technique (n'hésitez pas à me dire si je me trompe) serait de modifier le sys.path d'un seul fichier dans le répertoire test qui pourrait ensuite transmettre l'info à tous les autres fichiers. Le problème c'est que cette méthode ne fonctionne qu'avec les fichiers qui se trouvent au même endroit. Dans le répertoire test les fichiers sont réparties en plusieurs dossiers qui contiennent eux-mêmes plusieurs sous-dossiers donc je ne pourrais pas indiquer le même chemin pour tous les fichiers, il faudra que je m'adapte.

J'ai essayé de faire un import relatif depuis les fichiers situés dans les sous-dossiers vers mon répertoire test mais je me retrouve avec cette erreur :

ImportError: attempted relative import with no known parent package

Quelqu'un aurait une idée pour avoir un répertoire test en dehors du répertoire du code source qui puisse importer le package sources depuis tous les fichiers de test ? J'imagine que je ne suis pas le seul à adopter une configuration avec un dossier test séparé des sources. Pourtant après plusieurs heures de recherche je n'ai pas trouvé la solution...

Merci d'avance !

[tyrtamos]

Bonjour

Je ne suis pas sûr d'avoir bien compris le problème, mais il me semble que la technique des "packages" seraient appropriées:
https://docs.python.org/fr/3.10/tuto....html#packages

Ainsi, on ajoute dans le fichier test la racine du répertoire source avec sys.path, et on importe les modules en citant le chemin des fichiers à importer avec les sous-répertoires dans les instructions d'importation. Cela nécessite simplement la présence de fichier "__init__.py", même vide, sous le répertoire racine et ses sous-répertoires concernés:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

import sousrep1.sousrep2.source

[Röyksopp]

Merci pour ta réponse !

Je peux lancer les tests depuis un script dans mon dossier test mais mes fichiers de test qui sont dans l'arborescence en dessous n'arrive pas à importer le code à l'intérieur de mon dossier source. Pour cela j'ai dû faire des ajouts dans le sys.path :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
sys.path.append(home/user/monprojet/source)
sys.path.append(home/user/monprojet/test/utils)

puis utiliser un import absolu :

from sources import module1.
from sources import module2
Si je retire le sys.path j'ai cette erreur :

ModuleNotFoundError: No module named 'sources'

Si j'essaie de mettre des relative imports j'ai cette erreur :

ValueError: attempted relative import beyond top-level package

[Sve@r]

Bonjour

J'ai un projet qui contient 2 dossiers :

sources (qui contient mes fichiers sources)
test (qui contient les tests unitaires du code source)

J'aimerais que mon dossier test import des modules contenus dans sources pour les tester.

Un code Python part toujours du dossier qui le contient. Si tu lances un script "test/toto.py", ou si tu te places dans "test" et que tu appelles "./toto.py" c'est pareil, le code partira du dossier "test" pour ses imports.
Rajoute donc sys.path.append("..") pour que le dossier "source" soit connu depuis le script situé dans "test" puis tu pourras taper from sources import ... dans les scripts dudit dossier "test". Attention toutefois, il existe aussi un dossier nommé "test" dans les lib Python. Cela peut causer de la confusion.

Donc exemple
A la racine j'ai un fichier "main.py"

Code python :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
#!/usr/bin/env python3
# coding: utf-8
 
from tests import ttt
 
ttt.fctT()

J'ai un dossier "tests" (avec un "s" pour pas créer de conflit avec celui de la lib Python) contenant un fichier "ttt.py"

Code python :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
#!/usr/bin/env python3
# coding: utf-8
 
from sources import sss
 
def fctT():
	print("fctT")
	sss.fctS()

Et un dossier "sources" contenant le code "sss.py"

Code python :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
#!/usr/bin/env python3
# coding: utf-8
 
def fctS(): print("fctS")

Le tout s'articule parfaitement

Mon problème est que pour l'instant je n'ai réussi à faire marcher mes tests qu'en modifiant le sys.path dans tous les fichiers contenus dans le dossier test or je n'ai pas l'impression que ce soit une bonne méthode.

Oui et non.
A la base, quand on code un projet, on est présumé partir d'un programme situé à la racine du projet. Ce programme pourra importer "test/trucA" puis "sources/trucB". Et depuis un script situé dans "test" tu peux importer un truc situé dans "sources" sans souci puisque le code a démarré à la racine donc au niveau du dossier principal qui contient "test" et "sources" donc qui les connait tous les deux.
Dans ce cas, pas besoin de modifier sys.path.
Il peut toutefois arriver qu'on veuille faire des tests unitaires, et que ces tests aient besoin d'un import situé ailleurs. Dans ce cas, vu que le test unitaire se passe cette fois depuis le script testé, là oui il aura besoin de rajouter dans sys.path le chemin permettant de voir le dossier contenant l'import.
Exemple: je veux pouvoir vérifier que "ttt.py" fonctionne. Je le réécris donc ainsi

Code python :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
#!/usr/bin/env python3
# coding: utf-8
 
if __name__ == "__main__":
	import sys
	sys.path.append("..")
# if
from sources import sss
 
def fctT():
	print("fctT")
	sss.fctS()
 
if __name__ == "__main__":
	fctT()

De là je peux aller dans "tests" et appeler "ttt.py" et je vois qu'il fonctionne.

J'ai l'impression que la bonne technique (n'hésitez pas à me dire si je me trompe) serait de modifier le sys.path d'un seul fichier dans le répertoire test qui pourrait ensuite transmettre l'info à tous les autres fichiers. Le problème c'est que cette méthode ne fonctionne qu'avec les fichiers qui se trouvent au même endroit. Dans le répertoire test les fichiers sont réparties en plusieurs dossiers qui contiennent eux-mêmes plusieurs sous-dossiers donc je ne pourrais pas indiquer le même chemin pour tous les fichiers, il faudra que je m'adapte.

Effectivement si l'arborescence depuis "test" est plus complexe, ça devient fatalement plus complexe à gérer. La seule chose à faire alors est de toujours se souvenir qu'un script Python démarre son arborescence depuis l'endroit où il se trouve quand il est appelé.

[Röyksopp]

Merci pour ta réponse !

Donc en gros, j'ai déjà implémenté la méthode qui correspond à mon problème. Je suis bel et bien obligé de renseigner le sys.path dans chaque fichier que je suis destiné à exécuter.

Au moins, je peux arrêter de chercher une solution à présent parce que cette situation me prenait la tête depuis un moment !

[wiztricks]

Mon problème est que pour l'instant je n'ai réussi à faire marcher mes tests qu'en modifiant le sys.path dans tous les fichiers contenus dans le dossier test or je n'ai pas l'impression que ce soit une bonne méthode.

Vu les répertoires, il faudra modifier sys.path directement où via la variable d'environnement PYTHONPATH (ce qui évite de modifier des lignes de code).

- W

[Röyksopp]

Je ne suis pas sûr de pouvoir modifier le PYTHONPATH car mon projet est juste un utilitaire dans un projet plus volumineux. Après ça dépend de ce que cela implique.

[wiztricks]

Une variable d'environnement du shell se fait et se défait quand on veut...
Après si vous préférez modifier sys.path dans vos scripts python, c'est vous qui voyez.

- W

[Röyksopp]

En gros, il faudrait que je définisse le PYTHONPATH dans un fichier .sh puis que j'utilise ce fichier .sh comme runner pour lancer des commandes sur mon code ? Ça pourrait être une solution mais je préfère l'éviter pour l'instant car je pense que ça augmente un peu la complexité pour rien. Mais c'est un avis personnel.

[wiztricks]

Cette affirmation:

Je suis bel et bien obligé de renseigner le sys.path dans chaque fichier que je suis destiné à exécuter.

est fausse.
Après si malgré tout vous préférez mettre à jour sys.path dans vos différents scripts... c'est vous qui bossez.

- W

[Sve@r]

Mais c'est un avis personnel.

.. que je rejoins aussi. J'aime bien ton idée de "runner dédié" mais je préfère la solution du sys.path. Certes plus de travail mais chaque script décrit (déclare) explicitement les dossiers dont il a besoin.
Et puis bon le travail n'est en réalité pas si grand car on rajoute au sys.path non pas les dossiers à importer mais juste l'unique dossier parent les contenant. Ca couplé à un modèle de base qu'on récupère quand on veut créer un nouveau script...
Ici un tutoriel très bien détaillé sur le fonctionnement des import: https://datajourney.io/le-pythonpath.html.