Discussion :

[theocbr]

Bonjour, j'ai une table contenant une trentaine de colonnes et + 100 000 lignes , une ligne = 1 minute , donc 1 jour = à peu près 1400 lignes.
J'ai un formulaire qui permet de choisir la date de début et date de fin , quand je choisis du 01/01/2019 au 01/02/2019 , pas de soucis , quand je commence a vouloir prendre beaucoup plus , genre du 01/01/2019 au 01/07/2019 j'ai plus aucune données dans le CSV, trop de lignes ? une solution ?

[escartefigue]

bonjour,

des éléments sur la limitation d'un fichier CSV ici :
https://kb.tableau.com/articles/issu...ces?lang=fr-fr

Par ailleurs, si le fichier est si gros, est-ce que ça a encore un intérêt de le présenter à un gestionnaire ? que va -t- il bien pouvoir faire de cette volumétrie ?
Des données consolidées ne seraient elles pas plus intéressantes ? (agrégées sur des périodes plus longues ou présentées sous forme de moyennes, variations, tendances...)

[theocbr]

J'ai pas tout compris pour être franc , pour vous expliquer mon CSV je l'importe ensuite dans Excel pour qu'ensuite les graphiques déjà fait se lient avec le tableau.
J'ai besoin parfois de données /jour ou /semaine ou /mois ou /année ou même le total.


Je ne peux pas me permettre de ne pas faire 1 ligne /minute car on a besoin pour les erreurs ( c'est une table qui récup des données d'un automates d'une usine de production).

Donc si quelqu'un a une solution sans modifier la table je suis preneur !

[Artemus24]

Salut à tous.

Combien de lignes peut-on importer en csv ?

Comme nous sommes dans le forum MySql, et que vous parlez d'import, j'ai supposé que le sens de l'import était depuis le fichier Excel vers une table MySql.
Je dis cela car après vous avoir relu, j'ai pas compris s'il s'agissait d'un import ou d'un export !

quand je commence a vouloir prendre beaucoup plus , genre du 01/01/2019 au 01/07/2019 j'ai plus aucune données dans le CSV, trop de lignes ?

A bien comprendre, c'est un export ou pas ?

Si c'est un problème de volumétrie, pourquoi ne pas créer un fichier CSV par mois, puisque cela à l'air de fonctionner.
Voire même, créer une procédure stockée pour effectuer un export par volumétrie disons de 1 000 lignes.
Ne pas oublier de gérer un point de reprise en cas de problème.

@+

[theocbr]

Bonjour, Désolé j'ai été tête en l'air je crois
C'est un export de la table pour ensuite importer dans Excel

Le problème avec votre solution c'est que l'utilisateur choisit une date qui peut être d'un jour comme d'un mois comme d'une semaine comme de 5 mois.....ect ect
Et qu'on a besoin de tout dans un seul CSV.
__________________________________________________________________________________________________

J'ai fait des test en choisissant des dates , j'ai choisit ces dates ci :

Et sur mon CSV j'ai les lignes du 22/10/2019 à 6:08:01 au 23/10/2019 à 20:26:01 seulement
Alors que dans la table il y a bien des données après le 23/10/2019 à 20:26:01.

Ensuite : J'ai choisit ces dates ci : 30/10/2019 au 22/01/2020

Et j'obtiens les lignes du 30/10/2019 à 06:00:01 au 21/11/2019 à 01:26:01 , alors que j'ai bien des données dans ma table après le 21/11/2019 à 01:26:01.

PS: du 23/11/2019 au 26/11/2019 l'usine était à l'arret dû à Noel donc il n'y pas de données

[Artemus24]

Salut theocbr.

Avez-vous essayé d'augmenter la taille du paramètre "innodb-buffer-pool-size" ?

@+

[theocbr]

Personnellement non mais mon tuteur peut être, voici la valeur actuelle:

[Artemus24]

Salut theocbr.

Soit 128M. Faudrait peut-être l'augmenté à 1G et refaire les tests.

@+

[theocbr]

C'est donc en octets je me trompe pas ?

Erreur :

[Artemus24]

C'est donc en octets je me trompe pas ?

Ca dépend comment vous l'écrivez.
Si vous ne précisez rien, oui, c'est en octet.
Mais si vous mettez K pour kilo (c'est 1024 octets), alors cela s'écrit 131072K.
Ou encore, si vous mettez M pour mega (c'est 1024K) alors cela s'écrit 128M.

Je rappelle que 128 * 1024 * 1024 = 134 217 728‬
Et que 128 * 1024 = 131 072‬

Pour l'erreur, c'est normal, car vous devez faire la modification dans le fichier my.ini et non dans votre script.
Et bien sûr, redémarrer le service MySql afin que la modification soit prise en compte.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

innodb-buffer-pool-size = 1G

@+

[theocbr]

Merci pour ton aide, j'ai peur d’être trop chiant mais jsp comment modifier le fichier my.ini , et j'ai rien trouvé sur internet qui pourrait m'aider :c
Si ta un petit lien ou juste le temps de me dire comment faire , merci d'avance

[escartefigue]

bonjour

Voici la doc officielle : https://dev.mysql.com/doc/refman/5.7...ol-resize.html

[theocbr]

Bonjour, c'est pas ce que je recherche , là c'est pour modifier depuis shell comme je compter faire au début sauf que j'ai eu cette erreur :

[Artemus24]

Salut à tous.

Merci pour ton aide, j'ai peur d’être trop chiant

Je ne vois pas pourquoi. Si tu ne sais pas, il faut bien poser la question.

comment modifier le fichier my.ini

Le fichier My.ini est un fichier texte.
Sous windows, il se trouve à la racine du répertoire contenant MySql.

Sous linux, le nom du fichier st my.cnf.

Comment modifier le paramètre en question ?
Vérifier que le paramètre existe ou pas.
S'il n'existe pas, l'insérer après la section "[mysqld]" ou "[wampmysqld]".
Et tu l'écris comme je l'ai indiqué :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

innodb-buffer-pool-size = 1G

Si la valeur ne passe pas, mettre alors "512M".

Il existe des variables systèmes que l'on ne peut pas modifier d'une manière interactive.
Le message d'erreur indique que tu ne peux que lire son contenu mais pas la modifier comme tu le fais.
La seule façon de faire est d'intervenir dans le fichier My.ini.

@+

[theocbr]

J'ai my.cnf.fallback mais pas my.cnf


Je me trouve dans /etc/mysql

[Artemus24]

Vous avez un répertoire "my.cnf" qui est aussi un lien. Qu'est-ce qu'il contient ?

[theocbr]

J'arrivais pas à l'ouvrir , mtn c'est good j'ai bien le bon fichier : my.cnf

Mais voilà ce qu'on trouve dans celui-ci :



Normal qu'il soit aussi vide ? Dois-je rajouter [mysqld] ?

[Christophe]

Normal qu'il soit aussi vide ?

Oui, car la conf est modulaire.

Tu vois qu’il y a un dossier conf.d. Celui-ci va contenir plusieurs fichiers de conf qui seront lus. Tu peux donc créer un fichier de conf spécifique et y mettre ton paramètre, ou l'ajouter dans le my.cnf.

Il faudra par contre redémarrer le service.

Et si tu regardes les 1ères lignes commentées, tu as des recommendations.

[theocbr]

donc je met ça :

[Christophe]

Tu peux avoir 2 probs:

1 problème d'export - le fichier trop volumineux n'est pas correctement généré
1 problème d'import - le fichier trop volumineux n'est pas correctement exploitable par Office

Dans le php.ini, tu as une variable max_execution_time. Si le script PHP faisant l'export CSV dépasse le temps imparti, il sera stoppé.