Discussion :

[sramitator]

Bonjour, je voudrai savoir s'il y avait une meilleure facon de gérer le fetching de données dans une table , je me retrouve avec 4 $companyIds dont le premier contient plus de 100000 enregistrements le 2eme 5000 etc, et ma requete prend un temps fou..

Merci a vous

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
 
public static function getStockByItemGroup(string $companyName, $grouped, $to = null)
    {
        $data = [];
        $companyIds = $companyName != 'all' ? [$companyName] : array_keys(config('app.company_ids'));
        foreach ($companyIds as $companyId) {
            $result = self::selectRaw("group_id, dates_format(posting_date, '" . $grouped . "') as posting_date, items.unit_cost * sum(quantity) as cost");
            if ($to) {
                $result = $result->where('posting_date', '<=', $to);
            }
 
            $data[] = $result->where('stocks.company_id', $companyId)
                ->join('items', 'stocks.item_id', 'items.item_id')
                ->where('items.company_id', $companyId)
                ->groupBy('group_id', 'unit_cost', 'posting_date')
                ->orderBy('posting_date', 'asc')
                ->get();
 
        }
        return Arr::flatten($data);
    }

[Séb.]

~100 000 enregistrements c'est pas grand chose

Combien de temps prend ta requête ?
Tes tables sont correctement indexées ?
Es-tu sûr que c'est bien la requête qui prend du temps et pas autre chose ?
As-tu essayé de tester la requête directement dans ton client SQL ?

[sramitator]

~100 000 enregistrements c'est pas grand chose

Combien de temps prend ta requête ?
Tes tables sont correctement indexées ?
Es-tu sûr que c'est bien la requête qui prend du temps et pas autre chose ?
As-tu essayé de tester la requête directement dans ton client SQL ?

Hello, merci de ta réponse, en soi la requête ne prend pas de temps, les tables sont indexées, je reprends le code de quelqu'un et je pense que cela prend du temps au niveau de php car il y a une imbrication faramineuse de foreach. Voici le code utilisant la requete, le foreach passe pour chaque enregistrement.....

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
 
 $stockGroupedByGroup = Stock::getStockByItemGroup($company, $grouped, $to);
        foreach ($stockGroupedByGroup as $row) {
            $realGroup = self::stockGroups($row->group_id);
            if (!isset($resultSum[$row->group_id])) {
                $resultSum[$row->group_id] = 0;
            }
            if (!isset($resultByDays[$realGroup][$row->posting_date])) {
                $resultByDays[$realGroup][$row->posting_date] = 0;
            }
            $resultSum[$row->group_id] += $row->cost;
            $resultByDays[$realGroup][$row->posting_date] += $row->cost;
 
        }

[Séb.]

Mesure où ça prend du temps exactement => microtime()
Essaie de faire tout ce qui est groupement et calculs directement avec SQL

[sramitator]

Mesure où ça prend du temps exactement => microtime()
Essaie de faire tout ce qui est groupement et calculs directement avec SQL

Merci de ta reponse, il est impossible pour moi de tout passer en SQL car il y a trop de traitement niveau metier je dois le gerer auniveau PHP,
J'ai installe une librairie pour voir le temps d'execution et j'ai teste en utilisant cursor() au niveau de la requête, je passe de 160mb de memoire a 15mb , mais le temps reste toujours le même apres le foreach : 15s

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
 $query = self::selectRaw("group_id, date_format(posting_date, '" . $grouped . "') as posting_date, items.unit_cost * sum(quantity) as cost");
        if ($to) {
                $query = $query->where('posting_date', '<=', $to);
        }
 
        $data  = $query->where('stocks.company_id', 'idai')
                ->join('items', 'stocks.item_id', 'items.item_id')
                ->where('items.company_id', 'idai')
                ->groupBy('group_id', 'unit_cost', 'posting_date')
                ->orderBy('posting_date', 'asc');
 
        foreach($data->cursor() as $items){
            $realGroup = self::stockGroups($items->group_id);
            if (!isset($resultSum[$items->group_id])) {
                $resultSum[$items->group_id] = 0;
            }
            if (!isset($resultByDays[$realGroup][$items->posting_date])) {
                $resultByDays[$realGroup][$items->posting_date] = 0;
            }
            $resultSum[$items->group_id] += $items->cost;
            $resultByDays[$realGroup][$items->posting_date] += $items->cost;
        }

J'avoue que je commence a etre perdu, j'ai juste besoin de recuperer un JSON a la fin, je ne fais pas d'operations CRUD

[Dendrite]

Tu peux essayer en mettant $to en dernier dans tes filtres ?

[sramitator]

Tu peux essayer en mettant $to en dernier dans tes filtres ?

Hello, actuellement je fais :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
 
 foreach ($companyIds as $companyId) {
            $result = self::selectRaw("group_id, date_format(posting_date, '" . $grouped . "') as posting_date, items.unit_cost * sum(quantity) as cost")
            ->where('stocks.company_id', $companyId)
                ->join('items', 'stocks.item_id', 'items.item_id')
                ->where('items.company_id', $companyId)
                ->groupBy('group_id', 'unit_cost', 'posting_date')
                ->orderBy('posting_date', 'asc');
 
            if ($to) {
                 $result->where('posting_date', '<=', $to);
            }
 
            $data[] = $result
                ->toBase()
                ->get();
 
        }
        return Arr::flatten($data);

Je teste le toBase(), et je reduis de moitié le temps d'execution , a voir si je peux améliorer qutre chose

[Dendrite]

Tu as compris pourquoi ?

Quand tu dis "filtre-moi toutes les femmes de france puis celles qui vivent à Trifouilly les oies"
Tu comprends bien que ça va être plus long que "filtre-moi tous les gens qui vivent à "Trifouilly les oies" puis les femmes parmi eux.

Donc dans tes "where", prends l'habitude, en SQL comme en DQL de filtrer du plus restreint vers le plus large pour optimiser.
Dans le même genre, pose-toi la question des items ou des stocks, lequel renvoie le moins de tuples et mets le en premier.