Peut-on réaliser une regression avec plusieurs fichiers ?

Bonjour,

Je suis actuellement étudiant et je dois réaliser une étude.

Je voudrais savoir si il est possible de faire une régression linéaire avec plusieurs fichiers ?

Si cela ce n'est pas le cas, je souhaiterais joindre les fichiers (chose que j'ai essayé de faire, sauf qu'il me fait un produit cartésien du coup je ne sais pas comment résoudre le problème).

Il faut que je fasse une jointure avec deux conditions.

Et j'ai un autre problème aussi quand je joint les fichiers, c'est qu'il faut que j'augmente la capacité de mémoire allouer, sauf que je ne sais pas comment faire

Je sais qu'il y a plusieurs problème que j'expose ici, mais si vous avez des infos, je sui preneur.

En vous remerciant.

Salut,

Je ne vois pas comment faire de régression linéaire sans lire les données en mémoire que ces données viennent d'un ou de plusieurs fichiers...

- W

Je veux bien, mais est ce qu'il est nécessaire dans la régression de mette qu'une seul table ou ou peut mettre plusieurs tables lors de la régression ?

Salut,

Citation:

---

Envoyé par pun79

Je veux bien, mais est ce qu'il est nécessaire dans la régression de mette qu'une seul table ou ou peut mettre plusieurs tables lors de la régression ?

---

Soit vous utilisez la fonction d'une bibliothèque pour.... et c'est la documentation de la fonction qui dira ce qu'elle accepte.
Soit vous écrivez çà vous même et vous faites un peu ce que vous voulez côté arguments/paramètres à passer.

- W

D'après ce que vous me dite, il est donc possible d'utiliser plusieurs fichiers pour réaliser une régression (pas besoin de les fusionner pour créer un seul vecteur en mémoire) ?

à partir du moment où vous écrivez le code...

- W

Et pour faire ça je suppose qu'il est possible d'augmenter la capacité de la mémoire vive allouer à Python ?

Citation:

---

Envoyé par pun79

Et pour faire ça je suppose qu'il est possible d'augmenter la capacité de la mémoire vive allouer à Python ?

---

L'allocation de la mémoire vive est gérée par le système d'exploitation (Linux, Windows,...). Il est généralement possible de privilégier certains processus mais pour ce qui est du comment çà ne dépend pas de Python.

- W

Ok, très bien merci.

Du coup, Python prendra en charge lui même la mémoire vive nécessaire pour le traitement de la donnée ?

Citation:

---

Envoyé par wiztricks

à partir du moment où vous écrivez le code...

- W

---

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25

from pandas import * from matplotlib.pyplot import * from sklearn.linear_model import LinearRegression import numpy as np import matplotlib.pyplot as plt   file=read_csv("essai.csv",header=0,sep=";") file.head() #créer un objet reg lin modeleReg=LinearRegression()   #créer y et X list_var=file.columns.drop("Sexe") y=file.Population X=file[list_var]   modeleReg.fit(X,y)   #Calcul des coefs print(modeleReg.intercept_) print(modeleReg.coef_) print(modeleReg._residues)   #calcul du R² print(modeleReg.score(X,y))

---

J'ai réussi à effectuer ça en code, il ne me reste plus que d'intégrer plusieurs fichiers pour faire la régression.

Faut-il faire une jointure entre les fichiers ? Si oui, comment faire pour éviter le produit cartésien ?

Salut,

Citation:

---

Envoyé par pun79

J'ai réussi à effectuer ça en code, il ne me reste plus que d'intégrer plusieurs fichiers pour faire la régression.

---

Vous n'avez pas codé grand chose puisque c'est une bibliothèque externe qui fait le job...
Reste à lire sa documentation pour arriver à faire ce que vous voulez "avec".

- W

Citation:

---

Envoyé par wiztricks

Salut,

Reste à lire sa documentation pour arriver à faire ce que vous voulez "avec".

---

D'après vous, cela est possible avec ses bibliothèques ?

Citation:

---

Envoyé par pun79

D'après vous, cela est possible avec ses bibliothèques ?

---

Avant de coder, vous devez définir un algorithme/procédé qui conforte comment obtenir le résultat attendu.

Avoir vos données dans des fichiers différents ou dans un seul ne dit pas ce qu'il faut en faire pour faire fonctionner l'algorithme que vous voulez utiliser, ni comment traduire cet algorithme avec Python (ou utiliser une bibliothèque externe).

Après vous pouvez dire "régression linéaire" est l'algorithme que je veux.
Si les données sont dans plusieurs fichiers, comment les lire pour que çà fonctionne reste à définir: vous connaissez vos données et vous savez ce que "regression linéraire" impose dans leur organisation pour fonctionner.

Ce travail de conception est préalable à l'écriture du code (qui sera possible si on sait formuler ce qu'on veut qu'il fasse).

- W