Discussion :

[lohofora]

Bonjour à toutes et tous,

Je découvre progressivement python et essaye de m'entrainer en le mettant en application mais je bloque sur un élément du code que j'écris me renvoyant toujours une erreur.

Mon objectif : je souhaite partir de ce texte et l'importer dans un dataframe python et indiquer à python que pour chaque ligne débutant par une minuscule, je souhaite ajouter le texte à la ligne précédente et supprimer la ligne.

Texte de travail :

Narration: Mon début de texte.
suite du texte
ça continue
encore et toujours
c'est la fin

Nouvelle narration : etc

En l'important dans python, aucun souci, le df créé bien une ligne par ligne du texte. Par contre au moment de la jointure aie aie aie

Ce que je voudrais avoir c'est :

0 Narration : Mon début de texte. suite du texte ça continue encore et toujours c'est la fin
1 Nouvelle narration : etc


Voici le code que j'essaye :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
 
for i in text_brut.index:
    if text_brut.iloc[i,0][0].islower():
        text_brut.iloc[(i-1),0] = text_brut.iloc[(i-1),0] + " " + text_brut.iloc[i,0]

cela fonctionne mais cela me donne ce rendu :
0 Narration : Mon début de texte. suite du texte
1 suite du texte ça continue
2 ça continue encore et toujours
3 encore et toujours c'est la fin
4 Nouvelle narration : etc


Aussi je me dis qu'il faudrait supprimer la ligne qui vient d'être ajoutée à la précédente mais je n'arrive pas à comprendre la méthode drop. Ce code-ci ne fonctionne pas :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
 
for i in text_brut.index:
    if text_brut.iloc[i,0][0].islower():
        text_brut.iloc[(i-1),0] = text_brut.iloc[(i-1),0] + " " + text_brut.iloc[i,0]
    text_brut.drop(text_brut.iloc[i,0].index, inplace=True)

Le message d'erreur :

index 1 is out of bounds for axis 0 with size 0

Auriez-vous une idée d'une manière de faire ?

Merci et belle journée !

[wiztricks]

Salut,

Auriez-vous une idée d'une manière de faire ?

Si vous débutez avec Python, une liste de listes serait bien plus abordable que des dataframes pandas... et trouver un tuto dans lequel il y a des exercices corrigés plutôt que d'inventer des challenges où sans aucune idée sur les concepts à maîtriser pour avoir une chance de les résoudre sans demander de l'aide...

- W

[lohofora]

Salut,



Si vous débutez avec Python, une liste de listes serait bien plus abordable que des dataframes pandas... et trouver un tuto dans lequel il y a des exercices corrigés plutôt que d'inventer des challenges où sans aucune idée sur les concepts à maîtriser pour avoir une chance de les résoudre sans demander de l'aide...

- W

Bonjour Wiztricks,

Merci pour votre lecture et votre réponse constructive . Je n'ai pas inventé le challenge, il s'agit d'une problématique régulièrement rencontrée quand on fait du data cleaning, je l'ai juste simplifiée parce que je débute sur les df.

Belle journée !

[papajoker]

bonjour
ok, c'est pour faire du ménage après une mauvaise importation (faite par un autre bien sûr)
Ce qui me parait le plus simple c'est de plutôt de créer une df_propre

Dans la boucle, une chose de ce type

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
 
    if not lower():
        if agrégé:
            propre.add (agrégé)   # pas top mais, 1 ajout contre 4 drop() ?
        agrégé = ''
    agrégé += " "+df[i,0]
# voir si il reste quelque chose dans "agrégé" a la fin de la boucle...
# Le mieux : propre est un tableau python que l'on va transformer en df à la fin

ps: truc + " " + machin (ou mon speudo code) c'est pas top en vitesse on doit éviter dans une boucle

text_brut.drop(text_brut.iloc[i,0].index, inplace=True)

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
if ...islower()::  # ton code n'a pas de sens si pas dans block if
    text_brut.drop(i, inplace=True)

[wiztricks]

il s'agit d'une problématique régulièrement rencontrée quand on fait du data cleaning, je l'ai juste simplifiée parce que je débute sur les df.

Il est plus simple de nettoyer les données avant d'en faire un dataframe plutôt qu'après (sauf à créer un nouveau df).
Mais la logique est la même avec des listes de listes.

Pour ce qui est de la méthode .drop, vous avez une documentation à lire, des tas d'exemples à consulter sur Internet... et si vous voulez un truc plus convivial, le baratineur ChatGPT est pour vous.


- W

[lohofora]

Merci beaucoup pour vos aides. Effectivement l'action la plus avisée était de cleaner avant d'importer

[wiztricks]

Effectivement l'action la plus avisée était de cleaner avant d'importer

Ce qui fait que lorsqu'on débute en programmation, on suit des idées parfois farfelues (mais parfois aussi intéressantes) qu'on ne va pas suivre juste parce que...

- W

[papajoker]

Dommage que tu ne nous dise pas ce que tu as en fait fait ...

Effectivement l'action la plus avisée était de cleaner avant d'importer

Je ne vais pas suive les autres, pour moi NON !

Dans tous les cas il faut importer les datas, simplement ce qui change c'est la façon de les importer !

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
On importe ...
   on boucle
     on transforme/ajoute dans nouvelle table

Que la boucle soit une lecture ligne à ligne d'un fichier csv, une boucle sur un dataframe ou le résultat d'une requete sql ne change strictement rien.

De plus le data-cleaning c'est surtout l'art de ne rien casser !!!! Et malheureusement il n'y a rien dans ton code donc tu n'as fait que mumuse avec pandas.
Une majuscule peut toujours exister au milieu d'une phrase (et se retrouver ici au début d'un champ), donc le minimum est de tester le dernier caractère de la phrase précédente et si il y a doute, créer un fichier log. Et il y a certainement d'autres tests à faire sur la table résultante qui n'est encore que temporaire. Pour moi, le vrai travail est ici (dans la validation de la nouvelle table)