Discussion :

[zargooo04]

Bonjour

J'ai un dataset (fichier csv, ci-joint en extension txt).
Il contient des features de type texte.
Le fichier original contient beaucoup de lignes (+50000)

Je veux travailler avec ce fichier dans sklearn.
Quand le nombre de lignes est réduit à 1000 les choses marchent normales.
Mais avec un nombre de lignes (+50000) l''ordinateur Bug cause de mémoire est c'est normal, car j'ai fait:

1- Encoding categorical data (colonne 3,4,5 et 6)
2- Splitting the dataset into the Training set and Test set
3- Feature Scaling

Bag word model est une solution
C'est normal que l'ordinateur bloque à cause de ça, car il y a un très grand nombre de colonnes à cause des points 1 et 3.

Proposez-moi des solutions
Merci.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
# Simple Linear Regression
 
# Importing the libraries
import numpy as np
import matplotlib.pyplot as plt
import pandas as pd
 
# Importing the dataset
dataset = pd.read_csv('Data_Small.csv', header = None)
X = dataset.iloc[:, :-1].values
y = dataset.iloc[:, 7].values
 
# Encoding categorical data
# Encoding the Independent Variable
from sklearn.preprocessing import LabelEncoder, OneHotEncoder
 
labelencoder_X_3 = LabelEncoder()
X[:, 3] = labelencoder_X_3.fit_transform(X[:, 3])
labelencoder_X_4 = LabelEncoder()
X[:, 4] = labelencoder_X_4.fit_transform(X[:, 4])
labelencoder_X_5 = LabelEncoder()
X[:, 5] = labelencoder_X_5.fit_transform(X[:, 5])
labelencoder_X_6 = LabelEncoder()
X[:, 6] = labelencoder_X_6.fit_transform(X[:, 6])
 
onehotencoder = OneHotEncoder(categorical_features = [3,4,5,6])
X = onehotencoder.fit_transform(X).toarray()
 
# Splitting the dataset into the Training set and Test set
from sklearn.cross_validation import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size = 0.2, random_state = 0)
 
# Feature Scaling
from sklearn.preprocessing import StandardScaler
sc_X = StandardScaler()
X_train = sc_X.fit_transform(X_train)
X_test = sc_X.transform(X_test)
 
# Fitting Logistic Regression to the Training set
from sklearn.linear_model import LogisticRegression
classifier = LogisticRegression(random_state = 0)
classifier.fit(X_train, y_train)
 
# Predicting the Test set results
y_pred = classifier.predict(X_test)