Discussion :

[jonathanQC]

Bonjour,

Je ne connais en rien la programmation et encore moins python, mais un collègue m'a dit que ma demande serait facilement faisable.

J'ai un Dataset de plus de 100 000 images de microscopie. Les noms du dataset sont écrits selon cette forme :

A01_s01_w1
A01_s01_w2
A01_s01_w3

A01_s02_w1
A01_s02_w2
A01_s02_w3

(...)

A01_s25_w1
A01_s25_w2
A01_s25_w3

(...)

A02_s01_w1
A02_s01_w2
A02_s01_w3

(...)

A02_s25_w1
A02_s25_w2
A02_s25_w3

Ainsi la syntaxe A** correspond au puits d'acquisition (A01 à A12; B01 à B12; C01 à C12 etc). La syntaxe S** correspond au site d'acquisition. La syntaxe W1, W2, ou W3 correspond aux couleurs d'acquisition.

Pour chaque puits, le microscope acquiert au total 25 sites différents (S01 a S25) et chacun d'eux en 3 couleurs.
Cependant dans ce dataset j'ai des images manquantes. Toutes les images qui me manquent sont celles dans la couleur w1.
Donc je me retrouve parfois avec des images W2 et W3 orpheline de W1.

Je voudrais pouvoir supprimer toutes les images W2 et W3 qui n'ont pas d'images W1. Ou plus largement tous les sites d'acquisition qui n'ont pas les trois couleurs W1, W2, W3.

Faire cela à la main est quasi impossible sans parler d'erreur possible.

Je vous remercie de votre aide

Jonathan

[wiztricks]

Salut,

Il faut commencer par une double boucle qui fabrique les chaines de caractères de la forme AX_sY ou X et Y sont les indices de chaque boucle.
Soit P cette chaine de caractère, une 3ème boucle interne qui teste l'existence des différents P_w1, 2, 3 pour, s'il en manque un, détruire la série.

La plus grosse difficulté sera la mise au point de votre code... car il ne va pas falloir détruire des fichiers que vous vouliez garder.

- W

[jonathanQC]

Merci pour l'information !

[BufferBob]

salut,

sur un principe à peine différent; on considère la liste des noms dans un fichier :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
>cat dataset_names
A01_s01_w1
A01_s01_w2
A01_s01_w3
A01_s02_w2
A01_s02_w3
A01_s25_w1
A01_s25_w2
A01_s25_w3
A02_s01_w1
A02_s01_w3
A02_s25_w1
A02_s25_w2
A02_s25_w3

on découpe chaque nom lu en un préfixe et un suffixe, d'un côté A01_s02 et de l'autre w1, w2 etc.
le but étant de créer un dictionnaire (une table de hashage) ayant pour clé le préfixe et comme valeur la liste non-ordonnée (set) des suffixes que l'on trouve

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
hash = dict()
with open('dataset_names', 'r') as fichier:
   for nom in fichier:
      prefix, suffix = nom[:7], nom[8:-1]
      hash.setdefault(prefix, set()).add(suffix)

à la fin il suffit de parcourir le dictionnaire et de filtrer toutes les clés qui ne correspondent pas exactement aux 3 valeurs

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
>>> print(', '.join([nom for nom in hash if hash[nom] != {'w1', 'w2', 'w3'}]))
A01_s02, A02_s01

[jonathanQC]

Parfait merci !
J'ai donné ces infos a un amis qui code un peu et il a réussi à me faire un petit programme pour trier mon dataset. Je vais pouvoir avancer dans mon travail

Je vous remercie de votre aide !!