Discussion :

[JakeGrafton]

Bonjour,
Je me heurte au problème suivant : manipuler des images de 10000*10000 pixels sous delphi (appliWin32)... et oh joie (et néanmoins pas très étrange), j'obtient une erreur "EOutOfMemory".

Pour cituer un brin plus le problème : je dois remplir une image avec des sites (petits points de couleurs) et créer les liaisons entre les sites (traits de liaison) d'après une base de donnée.
J'ai choisi l'impression sur le canvas d'une image Bitmap (je ne crois pas qu'il y ait d'autres solutions), mais voila, cela marche sur des images < 500*500 voir 1000*1000 mais pas plus ... d'où mon désaroi.

D'où la question : existe t-il une méthode plus fine pour effectuer le même travail en minimisant la place mémoire ? ou existe t-il une méthode pour minimiser l'utilisation de la mémoire avec la méthode courante ?

D'avance merci
Jake

Edit : Environnement WinXP, Delphi Studio Developpeur 9.0

[Mac LAK]

Oh, la belle erreur de conception...

Question bête : et l'écran en 10.000 par 10.000, tu l'as ?
Parceque même à l'impression sur du A4 en 1200 dpi, tu arrives péniblement à 10.000 x 14.000 !!!

Ma solution :
1) Utiliser un canvas affichable, c'est à dire un maximum de 1600x1200 (et encore, c'est déjà beaucoup trop) pour la visualisation.

2) Mémoriser les points et tracés sous forme de graphe, en mémoire. Comme l'allocation se fait bout par bout, tu pourras éventuellement utiliser la mémoire virtuelle et/ou un tas privé pour avoir la paix.
Le tracé est fait dans le canvas de visualisation avec une réduction d'échelle.

3) A l'impression, (re)dessiner directement sur le canvas de l'imprimante ton graphe, à la résolution adaptée (compter les dpi et la taille du papier).

Tout est clair ?

[JakeGrafton]

Oh, la belle erreur de conception...
Question bête : et l'écran en 10.000 par 10.000, tu l'as ?
Parceque même à l'impression sur du A4 en 1200 dpi, tu arrives péniblement à 10.000 x 14.000 !!!

Le truc c'est que l'image n'est pas destinée à être imprimée, donc pas tant une erreur de conception .

L'appli représente l'affichage d'une solution de Recherche Opérationnelle sur un réseau de télécom avec le coût minimal des liaisons du réseau.
En bref, la carte sur laquelle nous avons nos sites clients est très très grande, et c'est normal.
Je souhaite faire une image certe très grande, mais seulement destinée à être visualisée sur l'écran, par morceaux si nécessaire
Le hic : la taille de la carte en 10000*10000 est déja calculée en supposant que chaque client a la taille d'un pixel, et même avec ça la carte est déja gigantesque.

Ma solution :
1) Utiliser un canvas affichable, c'est à dire un maximum de 1600x1200 (et encore, c'est déjà beaucoup trop) pour la visualisation.
2) Mémoriser les points et tracés sous forme de graphe, en mémoire. Comme l'allocation se fait bout par bout, tu pourras éventuellement utiliser la mémoire virtuelle et/ou un tas privé pour avoir la paix.
Le tracé est fait dans le canvas de visualisation avec une réduction d'échelle.

Donc si je veux utiliser un Canvas Affichable, il va falloir que je morcelle mon image et la retrace à chaque scroll de la fenêtre.... (c'est bien ce que tu proposes ?). Et ça n'est pas facile étant donné que les différents morceaux ont tous des liens entre eux... et dans tous les sens...

Tout est clair ?

... les nuages s'éloignent un brin, mais restent dans les parages

[phplive]

Bjr,

Comment ca la carte est déjà "calculée" ?
Et la base de donnée elle sert à quoi alors ?

D'où sort cette idée géniale ? De l'opérateur télécom ? Dans ce cas donne moi le nom de cette société afin que je ne m'abonne jamais chez eux !

Que tu utilises une carte numérisée de la France voir du monde même à l'échelle 1 en mettons 600 dpi ca te regarde (mais ca doit prendre un max de place ) mais à la limite la carte est juste là comme image de fond pour faire joli.
Ce qui compte c'est que tu puisses localiser précisemment des coordonnées terrestres dessus.


Il faut absolument que tu utilisent un facteur d'échelle et que tu recalcules en temps réels (si possible) uniquement la fenêtre visible de la carte. Cela inclus de recaluler le graphe et d'élmiminer les détails inutiles. Et oui faut le faire à chaque fois qu'on scroll ou qu'on utilise le zoom !

Comment font les GPS sur Palm voir maintenant directement sur les téléphones à ton avis ?
Tient ca se serait bien vue comme option : synchronisée ta carte avec le signal reçu par un GPS !

@+
Php

[JakeGrafton]

Un peu plus loin dans la réflexion :

Une image de taille 10.000 * 10.000 pixels ça fait 100.000.000 pixels au total. J'utilise un "PixelFormat := pf4bit" (16 couleurs si j'ai bien compris, soit 4 bit par pixel) donc un volume de données égal à 100.000.000 pixels * 4 bit/pixel / 8 = 50.000.000 Octets de données soit environ 50 Mo d'image bitmap...

Je suis donc entrain de me demander si ça ne serait pas une limite de Delphi et des fichiers BMP en général (en taille max de canvas d'une image BMP)...

En créant une image Jpg (10000*10000) sous Photoshop et en l'important sous paint, je ne peux pas l'enregister au format BMP, l'application retourne une erreur. Par contre en 5000*5000 ça a l'air de passer...

Qu'en pensez vous ?

[JakeGrafton]

Bjr,

Comment ca la carte est déjà "calculée" ?
Et la base de donnée elle sert à quoi alors ?

D'où sort cette idée géniale ? De l'opérateur télécom ? Dans ce cas donne moi le nom de cette société afin que je ne m'abonne jamais chez eux !

Que tu utilises une carte numérisée de la France voir du monde même à l'échelle 1 en mettons 600 dpi ca te regarde (mais ca doit prendre un max de place ) mais à la limite la carte est juste là comme image de fond pour faire joli.
Ce qui compte c'est que tu puisses localiser précisemment des coordonnées terrestres dessus.


Il faut absolument que tu utilisent un facteur d'échelle et que tu recalcules en temps réels (si possible) uniquement la fenêtre visible de la carte. Cela inclus de recaluler le graphe et d'élmiminer les détails inutiles. Et oui faut le faire à chaque fois qu'on scroll ou qu'on utilise le zoom !

Comment font les GPS sur Palm voir maintenant directement sur les téléphones à ton avis ?
Tient ca se serait bien vue comme option : synchronisée ta carte avec le signal reçu par un GPS !

@+
Php

Houla, c'est un projet étudiant... pas de lynchage d'opérateur comme ça ^^

On reste très vague : on ne parle pas de carte de france ou autre, on parle d'un rectangle de x, y de coté (1000 < x,y < 10.000). Quand je dis que la carte est déja calculée c'est qu'on a déja la liste des 1000+ terminaux téléphoniques, avec leurs coordonnées spatiales sur la carte considérée. Certains terminaux peuvent être considérés comme des commutateurs sur lequel les autres terminaux viennent se brancher. Ainsi, en reliant les terminaux aux commutateurs, puis les commutateurs entre eux, on obtient un réseau télécom. Le but du projet et d'utiliser des méthodes de Recherche Opérationnelle pour minimiser le coût du raccordement du réseau.

Ca c'est fait, il faut maintenant visualiser le réseau "solution" de notre problème. C'est pour ça que je dois en faire une image qu'on puisse visualiser.

Donc affichage des terminaux, des concentrateurs et des liens entre eux. En prennant comme taille : 1 pixel pour chaque concentrateur ou terminal, on obtient une image de 1000 à 10.000 pixels de coté...

Alors est-il possible de faire une réprésentation plus petite ?
Je ne crois pas étant donné que chaque site représente la taille min de ce qu'on peut représenter.

Est-il possible d'émettre quand même une image (jpg) qui contient l'ensemble de la solution ?
C'est là la question

[/dev/null]

Je ne suis pas sur de dire une chose interessante... Mais, si tu as des sites de 1 pixels de coté... les liens entre les differents site fait combient de pixel .

[JakeGrafton]

Je ne suis pas sur de dire une chose interessante... Mais, si tu as des sites de 1 pixels de coté... les liens entre les differents site fait combient de pixel .

Heu... en fait je place mes sites au pixel près, alors que les points qui représentent mes sites font 4 à 8 pixels de coté, donc deux sites très proches sont à moitié superposés mais c'est pas grave. Ensuite c'est la fonction Delphi "LineTo" qui se charge du tracé.

[/dev/null]

Dans ce cas... +1 pour ma claque...

[Pedro]

Salut
je pencherais comme il a été dit pour une colution dans laquelle tu "recalcules" uniquement la partie visible de ton image...
Tu as un double problème:
- Un image immense
- beaucoup de données
Tu es donc "obligé" de séparer tes donnée : visibles/invisibles.
Donc, comme on te l'a dit, fait une liste avec toutes tes données puis affiche sur la carte uniquement ce qui doit l'être...

[phplive]

Je plaisantais

Le format JPG ne sert qu'à la compression, il n'entre pas en ligne de compte.

La dimension maxi théorique d'un BMP : 2^32 par 2^32
puisque les dimensions sont stockées dans le header du fichier bitmap sous forme de DW (double word) soient 4 octets.


Mais dans ton cas l'image BMP ne sert en fait qu'au rendu.
Tu dois la calculer dynamiquement et si possible en temps réel.

Le nbre de pixels à lui seul ne suffit pas, tu dois aussi faire intervenir un rapport d'échelle, définir une origine, tenir compte la résolution native de l'écran ou de l'imprimante etc ...


Ensuite tu travailles essentiellement avec des vecteurs : les coordonnées de tes terminaux et les liens.

Donc pour un rectangle donné tu dois déterminer quels sont les terminaux ainsi que les liens visibles.

A la base déterminer si une droite coupe un rectangle ou si un point fait parti d'un rectangle est simple.

Cependant si tu as bcp de terminaux et de liens le temps calcul risque de croître de façon importante (exponentielle ?)

Dans ce cas tu tombes sur le pb que rencontre les concepteurs de jeu : comment optimiser le temps de calcul des collisions entres objets ...

Il existe de nombreux algorithmes d'optimisation


Bonne chance !

@+
php

[JakeGrafton]

Je comprend bien les solutions que vous proposez, cependant l'idéal serait d'émettre un fichier accessible en externe, hors de l'application et non visible uniquement au travers de l'application, d'où l'émission d'un JPG...

Je vois peut être une autre solution : recréer un fichier bitmap en remplissant un fichier text avec les données que je veux, en recréant les entêtes et en sauvant le tout dans un fichier .bmp

Est ce que ça ne résoudrait pas le pb de place mémoire étant donné que je ne passe plus par l'intermédiaire de Delphi qui ne stocke donc plus rien ?

[Pedro]

Je pense que tu ferais mieux de créer le bitmap entier normalement seulement au moment où l'utilisateur demande de l'avoir!
Et puis ce n'est pas le header qui prend la place dans un bitmap mais plutot les pixels!!

[JakeGrafton]

Je pense que tu ferais mieux de créer le bitmap entier normalement seulement au moment où l'utilisateur demande de l'avoir!

Si tu entends par "normalement" le fait d'utiliser les TBitmap prédéfinis de Delphi, c'est exactement ce que je fais, et je ne crée le bitmap que lorsque l'utilisateur en a besoin...

[Pedro]

Si tu entends par "normalement" le fait d'utiliser les TBitmap prédéfinis de Delphi

Oui c'est ça...

c'est exactement ce que je fais, et je ne crée le bitmap que lorsque l'utilisateur en a besoin...

Ben c'est bien
Mais on voyait lors de tes premiers posts que tu voulais faire l'affichage "temps réel" avec ce même -immense- TBitmap... Et faire ça, c'est mal

[Mac LAK]

En tout cas, pour un truc pareil, j'aurais plutôt tendance à regarder les metafiles que les bitmaps...

Et je continue de dire qu'avoir besoin d'un bitmap 10.000 x 10.000, c'est une erreur de conception, ou au minimum une erreur dans la spécification des besoins. Ca me fait penser à un topic récent sur une combobox à 100.000 éléments...

[JakeGrafton]

Je n'avais pas pensé au coup des métafiles et c'est effectivement un fonctionnement vectoriel qu'il me faut. L'image aura beau être très grande, le traitement n'impliquant pas de stocker tous les pixels me permettrait théoriquement de faire ce que je veux...

Par contre je ne sais pas comment les utiliser, et surtout comment les créer et dessiner dessus. J'ai fait une recherche sur le forum sans franc succès (sauf erreur de ma part). Est ce que vous avec des liens, tutoriaux ou autre qui pourraient m'en dire plus sur la gestion des métafiles en Delphi ?

D'avance merci

[Mac LAK]

Je n'avais pas pensé au coup des métafiles et c'est effectivement un fonctionnement vectoriel qu'il me faut. L'image aura beau être très grande, le traitement n'impliquant pas de stocker tous les pixels me permettrait théoriquement de faire ce que je veux...

Tu vois bien qu'il y a une erreur de conception... ;-)

Par contre je ne sais pas comment les utiliser, et surtout comment les créer et dessiner dessus. J'ai fait une recherche sur le forum sans franc succès (sauf erreur de ma part). Est ce que vous avec des liens, tutoriaux ou autre qui pourraient m'en dire plus sur la gestion des métafiles en Delphi ?

Ca, ça va être le problème... Tu risques de devoir aller directement faire mumuse avec l'API Win32, je pense.
Sur le forum, j'ai trouvé ça :
http://castelain.developpez.com/sources/EMFTransform/

Autres liens (faudra peut-être fouiller les sources pour avoir ce que tu veux) :
http://www.herdsoft.com/catalog/davinci.html
http://www.lohninger.com/helpcsuite/copytowmf_(rot3d).htm

http://homepages.borland.com/torry/previews.htm : Bz-Print Preview v.1.02
http://www.efg2.com/Lab/Library/Delphi/Graphics/FileFormatsAndConversion.htm : section EMF par exemple.

Sinon, MSDN...

[giloutho]

Bonjour à tous,

J'ai suivi votre discussion avec intérêt car je bosse sur un prog de représentation de traces GPS sur fond carto donc image, géoréférencement et tout le toutim.

Sur Torry j'avais noté ce lien au cas où mais je ne suis pas allé plus avant...http://www.torry.net/pages.php?id=101. Voici la description :

This component came about because I wanted to display 4000 x 4000 x 256 colour bitmaps (about 16MB in size). Using a TBitmap and a TImage took ages to load the images as a whole load of disc-swap file activity took place. The answer was to use a memory mapped file and the StretchDIBits API call which takes a memory pointer to the bitmap data, and doesn't realise (of course) that it's a memory mapped file. Load times and resource used drastically reduced.

Il faut voir comment est utilisé l'API

[JakeGrafton]

Merci pour toutes vos idées.
J'ai trouvé ce lien http://www.developpez.net/forums/vie....php?p=1276895

L'exemple est (presque) parfait concernant les métafiles. J'ai implémenté le tout, et j'obtient une taille d'image deux à trois fois plus grande qu'avant (~4000*4000 pixels), mais toujours le EOutOfMemory quand j'essaye d'aller plus loin...

Je vais explorer la piste de Giloutho pour voir ce que ça donne, si vous avez d'autres idées ou des remarques, n'hésitez pas ...

Merci
Jake