fetch query avec data elevés

Version imprimable

Bonjour, je voudrai savoir s'il y avait une meilleure facon de gérer le fetching de données dans une table , je me retrouve avec 4 $companyIds dont le premier contient plus de 100000 enregistrements le 2eme 5000 etc, et ma requete prend un temps fou..

Merci a vous

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
 
public static function getStockByItemGroup(string $companyName, $grouped, $to = null)
    {
        $data = [];
        $companyIds = $companyName != 'all' ? [$companyName] : array_keys(config('app.company_ids'));
        foreach ($companyIds as $companyId) {
            $result = self::selectRaw("group_id, dates_format(posting_date, '" . $grouped . "') as posting_date, items.unit_cost * sum(quantity) as cost");
            if ($to) {
                $result = $result->where('posting_date', '<=', $to);
            }
 
            $data[] = $result->where('stocks.company_id', $companyId)
                ->join('items', 'stocks.item_id', 'items.item_id')
                ->where('items.company_id', $companyId)
                ->groupBy('group_id', 'unit_cost', 'posting_date')
                ->orderBy('posting_date', 'asc')
                ->get();
 
        }
        return Arr::flatten($data);
    }

19/09/2020, 15h54
Séb.

~100 000 enregistrements c'est pas grand chose

Combien de temps prend ta requête ?
Tes tables sont correctement indexées ?
Es-tu sûr que c'est bien la requête qui prend du temps et pas autre chose ?
As-tu essayé de tester la requête directement dans ton client SQL ?

Citation:

Envoyé par Séb.

~100 000 enregistrements c'est pas grand chose

Combien de temps prend ta requête ?
Tes tables sont correctement indexées ?
Es-tu sûr que c'est bien la requête qui prend du temps et pas autre chose ?
As-tu essayé de tester la requête directement dans ton client SQL ?

Hello, merci de ta réponse, en soi la requête ne prend pas de temps, les tables sont indexées, je reprends le code de quelqu'un et je pense que cela prend du temps au niveau de php car il y a une imbrication faramineuse de foreach. Voici le code utilisant la requete, le foreach passe pour chaque enregistrement.....
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 $stockGroupedByGroup = Stock::getStockByItemGroup($company, $grouped, $to); foreach ($stockGroupedByGroup as $row) { $realGroup = self::stockGroups($row->group_id); if (!isset($resultSum[$row->group_id])) { $resultSum[$row->group_id] = 0; } if (!isset($resultByDays[$realGroup][$row->posting_date])) { $resultByDays[$realGroup][$row->posting_date] = 0; } $resultSum[$row->group_id] += $row->cost; $resultByDays[$realGroup][$row->posting_date] += $row->cost; }

20/09/2020, 15h16
Séb.

Mesure où ça prend du temps exactement => microtime()
Essaie de faire tout ce qui est groupement et calculs directement avec SQL

Citation:

Envoyé par Séb.

Mesure où ça prend du temps exactement => microtime()
Essaie de faire tout ce qui est groupement et calculs directement avec SQL

Merci de ta reponse, il est impossible pour moi de tout passer en SQL car il y a trop de traitement niveau metier je dois le gerer auniveau PHP,
J'ai installe une librairie pour voir le temps d'execution et j'ai teste en utilisant cursor() au niveau de la requête, je passe de 160mb de memoire a 15mb , mais le temps reste toujours le même apres le foreach : 15s

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
 $query = self::selectRaw("group_id, date_format(posting_date, '" . $grouped . "') as posting_date, items.unit_cost * sum(quantity) as cost");
        if ($to) {
                $query = $query->where('posting_date', '<=', $to);
        }
 
        $data  = $query->where('stocks.company_id', 'idai')
                ->join('items', 'stocks.item_id', 'items.item_id')
                ->where('items.company_id', 'idai')
                ->groupBy('group_id', 'unit_cost', 'posting_date')
                ->orderBy('posting_date', 'asc');
 
        foreach($data->cursor() as $items){
            $realGroup = self::stockGroups($items->group_id);
            if (!isset($resultSum[$items->group_id])) {
                $resultSum[$items->group_id] = 0;
            }
            if (!isset($resultByDays[$realGroup][$items->posting_date])) {
                $resultByDays[$realGroup][$items->posting_date] = 0;
            }
            $resultSum[$items->group_id] += $items->cost;
            $resultByDays[$realGroup][$items->posting_date] += $items->cost;
        }

J'avoue que je commence a etre perdu, j'ai juste besoin de recuperer un JSON a la fin, je ne fais pas d'operations CRUD

22/09/2020, 15h00
Dendrite

Tu peux essayer en mettant $to en dernier dans tes filtres ?

Citation:

Envoyé par Dendrite

Tu peux essayer en mettant $to en dernier dans tes filtres ?

Hello, actuellement je fais :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
 
 foreach ($companyIds as $companyId) {
            $result = self::selectRaw("group_id, date_format(posting_date, '" . $grouped . "') as posting_date, items.unit_cost * sum(quantity) as cost")
            ->where('stocks.company_id', $companyId)
                ->join('items', 'stocks.item_id', 'items.item_id')
                ->where('items.company_id', $companyId)
                ->groupBy('group_id', 'unit_cost', 'posting_date')
                ->orderBy('posting_date', 'asc');
 
            if ($to) {
                 $result->where('posting_date', '<=', $to);
            }
 
            $data[] = $result
                ->toBase()
                ->get();
 
        }
        return Arr::flatten($data);

Je teste le toBase(), et je reduis de moitié le temps d'execution , a voir si je peux améliorer qutre chose

22/09/2020, 17h26
Dendrite

Tu as compris pourquoi ?

Quand tu dis "filtre-moi toutes les femmes de france puis celles qui vivent à Trifouilly les oies"
Tu comprends bien que ça va être plus long que "filtre-moi tous les gens qui vivent à "Trifouilly les oies" puis les femmes parmi eux.

Donc dans tes "where", prends l'habitude, en SQL comme en DQL de filtrer du plus restreint vers le plus large pour optimiser.
Dans le même genre, pose-toi la question des items ou des stocks, lequel renvoie le moins de tuples et mets le en premier.