[MYSQL] Combien de lignes peut-on exporter en csv ?

Version imprimable

05/02/2020, 08h38
theocbr

[MYSQL] Combien de lignes peut-on exporter en csv ?

Bonjour, j'ai une table contenant une trentaine de colonnes et + 100 000 lignes , une ligne = 1 minute , donc 1 jour = à peu près 1400 lignes.
J'ai un formulaire qui permet de choisir la date de début et date de fin , quand je choisis du 01/01/2019 au 01/02/2019 , pas de soucis , quand je commence a vouloir prendre beaucoup plus , genre du 01/01/2019 au 01/07/2019 j'ai plus aucune données dans le CSV, trop de lignes ? une solution ?
05/02/2020, 09h35
escartefigue

bonjour,

des éléments sur la limitation d'un fichier CSV ici :
https://kb.tableau.com/articles/issu...ces?lang=fr-fr

Par ailleurs, si le fichier est si gros, est-ce que ça a encore un intérêt de le présenter à un gestionnaire ? que va -t- il bien pouvoir faire de cette volumétrie ?
Des données consolidées ne seraient elles pas plus intéressantes ? (agrégées sur des périodes plus longues ou présentées sous forme de moyennes, variations, tendances...)
05/02/2020, 09h50
theocbr

J'ai pas tout compris pour être franc , pour vous expliquer mon CSV je l'importe ensuite dans Excel pour qu'ensuite les graphiques déjà fait se lient avec le tableau.
J'ai besoin parfois de données /jour ou /semaine ou /mois ou /année ou même le total.

Je ne peux pas me permettre de ne pas faire 1 ligne /minute car on a besoin pour les erreurs ( c'est une table qui récup des données d'un automates d'une usine de production).

Donc si quelqu'un a une solution sans modifier la table je suis preneur ! :D
05/02/2020, 17h32
Artemus24

Salut à tous.

Citation:

Envoyé par theocbr

Combien de lignes peut-on importer en csv ?

Comme nous sommes dans le forum MySql, et que vous parlez d'import, j'ai supposé que le sens de l'import était depuis le fichier Excel vers une table MySql.
Je dis cela car après vous avoir relu, j'ai pas compris s'il s'agissait d'un import ou d'un export !

Citation:

Envoyé par theocbr

quand je commence a vouloir prendre beaucoup plus , genre du 01/01/2019 au 01/07/2019 j'ai plus aucune données dans le CSV, trop de lignes ?

A bien comprendre, c'est un export ou pas ?

Si c'est un problème de volumétrie, pourquoi ne pas créer un fichier CSV par mois, puisque cela à l'air de fonctionner.
Voire même, créer une procédure stockée pour effectuer un export par volumétrie disons de 1 000 lignes.
Ne pas oublier de gérer un point de reprise en cas de problème.

@+
06/02/2020, 08h46
theocbr

1 pièce(s) jointe(s)

Bonjour, Désolé j'ai été tête en l'air je crois:aie:
C'est un export de la table pour ensuite importer dans Excel :D

Le problème avec votre solution c'est que l'utilisateur choisit une date qui peut être d'un jour comme d'un mois comme d'une semaine comme de 5 mois.....ect ect
Et qu'on a besoin de tout dans un seul CSV.
__________________________________________________________________________________________________

J'ai fait des test en choisissant des dates , j'ai choisit ces dates ci : Pièce jointe 536286

Et sur mon CSV j'ai les lignes du 22/10/2019 à 6:08:01 au 23/10/2019 à 20:26:01 seulement :aie:
Alors que dans la table il y a bien des données après le 23/10/2019 à 20:26:01.

Ensuite : J'ai choisit ces dates ci : 30/10/2019 au 22/01/2020

Et j'obtiens les lignes du 30/10/2019 à 06:00:01 au 21/11/2019 à 01:26:01 , alors que j'ai bien des données dans ma table après le 21/11/2019 à 01:26:01.

PS: du 23/11/2019 au 26/11/2019 l'usine était à l'arret dû à Noel donc il n'y pas de données
06/02/2020, 16h48
Artemus24

Salut theocbr.

Avez-vous essayé d'augmenter la taille du paramètre "innodb-buffer-pool-size" ?

@+
07/02/2020, 08h40
theocbr

1 pièce(s) jointe(s)

Personnellement non mais mon tuteur peut être, voici la valeur actuelle: Pièce jointe 536586
07/02/2020, 08h43
Artemus24

Salut theocbr.

Soit 128M. Faudrait peut-être l'augmenté à 1G et refaire les tests.

@+
07/02/2020, 09h10
theocbr

1 pièce(s) jointe(s)

C'est donc en octets je me trompe pas ?

Erreur :

Pièce jointe 536598
07/02/2020, 10h32
Artemus24

Citation:

Envoyé par theocbr

C'est donc en octets je me trompe pas ?

Ca dépend comment vous l'écrivez.
Si vous ne précisez rien, oui, c'est en octet.
Mais si vous mettez K pour kilo (c'est 1024 octets), alors cela s'écrit 131072K.
Ou encore, si vous mettez M pour mega (c'est 1024K) alors cela s'écrit 128M.

Je rappelle que 128 * 1024 * 1024 = 134 217 728‬
Et que 128 * 1024 = 131 072‬

Pour l'erreur, c'est normal, car vous devez faire la modification dans le fichier my.ini et non dans votre script.
Et bien sûr, redémarrer le service MySql afin que la modification soit prise en compte.

Code:

innodb-buffer-pool-size = 1G

@+
07/02/2020, 10h57
theocbr

Merci pour ton aide, j'ai peur d’être trop chiant mais jsp comment modifier le fichier my.ini , et j'ai rien trouvé sur internet qui pourrait m'aider :c
Si ta un petit lien ou juste le temps de me dire comment faire , merci d'avance
07/02/2020, 11h23
escartefigue

bonjour

Voici la doc officielle : https://dev.mysql.com/doc/refman/5.7...ol-resize.html
07/02/2020, 11h34
theocbr

1 pièce(s) jointe(s)

Bonjour, c'est pas ce que je recherche , là c'est pour modifier depuis shell comme je compter faire au début sauf que j'ai eu cette erreur :

Pièce jointe 536646
07/02/2020, 12h51
Artemus24

Salut à tous.

Citation:

Envoyé par theocbr

Merci pour ton aide, j'ai peur d’être trop chiant

Je ne vois pas pourquoi. Si tu ne sais pas, il faut bien poser la question.

Citation:

Envoyé par theocbr

comment modifier le fichier my.ini

Le fichier My.ini est un fichier texte.
Sous windows, il se trouve à la racine du répertoire contenant MySql.

Sous linux, le nom du fichier st my.cnf.

Comment modifier le paramètre en question ?
Vérifier que le paramètre existe ou pas.
S'il n'existe pas, l'insérer après la section "[mysqld]" ou "[wampmysqld]".
Et tu l'écris comme je l'ai indiqué :

Code:

innodb-buffer-pool-size = 1G

Si la valeur ne passe pas, mettre alors "512M".

Il existe des variables systèmes que l'on ne peut pas modifier d'une manière interactive.
Le message d'erreur indique que tu ne peux que lire son contenu mais pas la modifier comme tu le fais.
La seule façon de faire est d'intervenir dans le fichier My.ini.

@+
07/02/2020, 14h17
theocbr

1 pièce(s) jointe(s)

J'ai my.cnf.fallback mais pas my.cnf

Je me trouve dans /etc/mysql
07/02/2020, 14h24
Artemus24

Vous avez un répertoire "my.cnf" qui est aussi un lien. Qu'est-ce qu'il contient ?
07/02/2020, 14h27
theocbr

1 pièce(s) jointe(s)

J'arrivais pas à l'ouvrir , mtn c'est good j'ai bien le bon fichier : my.cnf

Mais voilà ce qu'on trouve dans celui-ci :

Pièce jointe 536705

Normal qu'il soit aussi vide ? Dois-je rajouter [mysqld] ?
07/02/2020, 18h12
Christophe

Citation:

Normal qu'il soit aussi vide ?

Oui, car la conf est modulaire.

Tu vois qu’il y a un dossier conf.d. Celui-ci va contenir plusieurs fichiers de conf qui seront lus. Tu peux donc créer un fichier de conf spécifique et y mettre ton paramètre, ou l'ajouter dans le my.cnf.

Il faudra par contre redémarrer le service.

Et si tu regardes les 1ères lignes commentées, tu as des recommendations.
10/02/2020, 08h19
theocbr

1 pièce(s) jointe(s)

donc je met ça :

Pièce jointe 537214
10/02/2020, 08h34
Christophe

Tu peux avoir 2 probs:

1 problème d'export - le fichier trop volumineux n'est pas correctement généré
1 problème d'import - le fichier trop volumineux n'est pas correctement exploitable par Office

Dans le php.ini, tu as une variable max_execution_time. Si le script PHP faisant l'export CSV dépasse le temps imparti, il sera stoppé.
10/02/2020, 08h48
theocbr

1 pièce(s) jointe(s)

Citation:

Envoyé par chrtophe

1 problème d'import - le fichier trop volumineux n'est pas correctement exploitable par Office

Impossible car si j'exporte le total des données de la table directement depuis ma BDD , je peux les importer dans Excel.

La valeur initiale dans mon php.ini :

Pièce jointe 537219

Je met combien ?
10/02/2020, 19h39
Christophe

Citation:

Impossible car si j'exporte le total des données de la table directement depuis ma BDD , je peux les importer dans Excel.

Tu veux dire export depuis PHPMyadmin ?

Dans ce cas, ton code doit être buggé.

Je vois pas comment le problème peut venir du code, c'est un code tout simple , je let post ici quand même :

Code qui permet l'export en csv :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
<?php
$tableau    = unserialize(file_get_contents('datefindeb.txt'));// Récupération de la date choisie
$datedebut1 =$tableau['datechoixdeb'];
$datefin1 = $tableau['datechoixfin'];
 
//echo $datedebut1;
//echo 'ttt';
//echo $datefin1;
//echo 'ttt';
$date       = (new DateTimeImmutable($datedebut1))->setTime(6, 0); 
$datedebut   = $date->format('Y-m-d H:i'); // Changement du format
$stampdebut = strtotime($datedebut);
$date2       = (new DateTimeImmutable($datefin1))->setTime(6, 0); 
$datefin   = $date2->format('Y-m-d H:i'); // Changement du format
$stampfin = strtotime($datefin);
 
//echo $datedebut;
//echo 'aaaaaaaaaaaa';
//echo $datefin;
//echo 'aaaaaaaaaaaaaa';
//echo $stampdebut;
//echo 'aaaaaaaaaa';
//echo $stampfin;
 
error_reporting(0); // Désactiver le rapport d'erreurs
$semaine = date("W");
$semaineavant = date("W") -1;
$mysqli = new mysqli("localhost", "anniv", "anniversaire", "AUTOMATES");
if ($mysqli->connect_errno) {
printf("echec de la connexion : %s\n", $mysqli->connect_error);
exit();
}
header('Content-Type: text/csv; charset=utf-8');  
header('Content-Disposition: attachment; filename=simaproddateschoisies.csv');  
$output = fopen("php://output", "w");  
fputcsv($output, array('ID','TIMER','WEEK','OF','CODE','LINK','EQUIPE','DESCRIPTION','LINE','compteur','SPEED','STATUS','D1','D2','D3','D4','D5','D6','D7','D8','D9','D10','D11','D12','JOUR','THEORIQUE','NUMEQUIPE','JOURPROD','STERILISATION','FV','OSCAR','AP_NP','COMMENTAIRES','TYPE_2','EQUIPEMENT','CAUSE_1','CAUSE_2','FARINE','TV','OSCAR1','STERILISATION45','DATE_CONVERTIE','TEMPS_PERDU_SOUS_CADENCE_STD','TEMPS_DE_PRODUCTION_NOMINAL','SOUS_CADENCE_TV','SOUS_CADENCE_OSCAR','SOUS_CADENCE_STERILISATION','TOTAL_SOUS_CADENCE','CADENCE_NOMINALE_35','CADENCE_NOMINALE_45','ANNEE','MOIS','SEMAINE','CONCATENATION_CAUSE','TEMPS_ARRET','NB_CAUSE','NB_OF'));  
$sqlsimatimer = "SELECT * FROM AUTOMATES.SIMAPROD WHERE TIMER <='$stampfin' AND TIMER >='$stampdebut'";
$result = mysqli_query($mysqli, $sqlsimatimer);  
      while($row = mysqli_fetch_assoc($result))  
      {  
           fputcsv($output, $row);  
      }  
      fclose($output);  
?>

code où l'utilisateur saisie la date :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
 
      <div data-role="content">
	   <div class="ui-grid-b my-breakpoint">
 <div class="ui-block-a">
 
<center><b><p> DATE DE DEBUT ACTUEL : </b> <!-- AFFICHER LA DATE   -->
<?php
$tableau = unserialize(file_get_contents('datefindeb.txt'));
echo $tableau['datechoixdeb'];
?>
</center></p>
<center><p> 
  <!--  CHOIX DE LA DATE  -->
<form action="http://10.17.178.179/STATS2/datefindeb.php" method="POST">
<p><b> CHOISIR LA DATE DE DEBUT: 
<input type="date" name="datechoixdeb" min="2019-10-21">
<br />
 DATE DE FIN ACTUEL :  </b>
<?php
$tableau = unserialize(file_get_contents('datefindeb.txt'));
echo $tableau['datechoixfin'];
?>
<br></br>
<b> CHOISIR LA DATE DE FIN:  
<input type="date" name="datechoixfin" min="2019-10-21">
<button type="submit" data-mini="true" data-inline="true" id="envoiedatedeb" name="envoiedatedeb">Envoyer</button>
</form>
</center></p></b> 
</div>
 
<div class="ui-block-b">
<p><center>
 
 <a href="http://10.17.178.179/STATS2/exportcsvsimaprod.php" rel="external" data-role="button" data-icon="info" data-mini="true" data-iconpos="left"><h2>Récupération du CSV(datedébut à datefin)</h2></a>
</center></p>
 
</div>
<div class="ui-block-c">
   <p><center>
  <a href="https://10.17.178.179:12322/?server=localhost&username=OEEMTBO&db=AUTOMATES&select=SIMAPROD" rel="external" data-role="button" data-icon="info" data-mini="true" data-iconpos="right"><h2>Récupération TOTAL des données</h2></a>
</center></p>
</div>
</div>
</body>
</html>
 <script>
$(function () {   //ECRIRE DANS FICHIER TXT
 
  //save data to hidden field before submiting the form
 $('#envoiedatedeb').click(function () {                      // = nom de bouton d'envoie du formulaire
 //now submit form 
document.forms[0].submit();
  });
 });
 
 
 
</script>

Code pour le fichier txt :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
<!DOCTYPE html> 
<?php
 $_POST ['datechoixdeb'];
  $_POST ['datechoixfin'];
 $tableau = serialize($_POST);
file_put_contents('datefindeb.txt',$tableau);
?>
<html>
<head>
 <meta http-equiv="refresh" content="2; URL=http://10.17.178.179/STATS2/exportsimaprod.php">  
 <b><p>Si il n'y a pas de retour automatique :</p></b>
 <a href="http://10.17.178.179/STATS2/exportsimaprod.php" target="_blank"> <input type="button" value="Retour"> </a>
 </head>
 </html>

Voilà ce que donne le fichier txt : a:2:{s:12:"datechoixdeb";s:10:"2020-01-01";s:12:"datechoixfin";s:10:"2020-01-31";}

12/02/2020, 18h18
Christophe

Fais un echo $sqlsimatimer après son affectation et regarde si la requête SQL est bonne, et essayes de l’exécuter dans phpmysql.
13/02/2020, 09h40
theocbr

2 pièce(s) jointe(s)

Date choisit :
Pièce jointe 538227
Alors voilà ce que j'obtiens :
Pièce jointe 538235

Quand je convertie les timestamps : 1580446800 = 31/01/2020 à 06:00:00 et 1580446800= 01/01/2020 à 06:00:00.

L'erreur ne provient donc pas de mon code
13/02/2020, 20h00
Christophe

As-tu exécuté la requête dans phpmyadmin ?
14/02/2020, 11h45
theocbr

Oui , et il y a aucun soucis