IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

C++ Discussion :

Utiliser de gros fichiers de données


Sujet :

C++

Vue hybride

mister3957 Utiliser de gros fichiers de... 25/06/2009, 13h40
Invité Les deux démarches ne sont... 25/06/2009, 22h07
Fredy Kruger Bonjour, je n'ai pas de... 26/06/2009, 08h47
mister3957 Oui biensûr, C'est via le... 26/06/2009, 09h40
Fredy Kruger Merci pour reponse tres... 26/06/2009, 10h58
JdKdev Normalement tu devrais creer... 30/06/2009, 00h51
Message précédent Message précédent   Message suivant Message suivant
  1. #1
    Membre éprouvé
    Profil pro
    Inscrit en
    Février 2004
    Messages
    1 825
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Février 2004
    Messages : 1 825
    Par défaut Utiliser de gros fichiers de données
    Bonjour,

    J'essaye de faire une cartographie qui affiche le monde, avec différentes couleurs selon l'altitude.

    Pour se faire, je me base sur les informations DEM (Digital Elevation Model) qui décompose la carte terrestre en 33 zones dont chacune possède deux fichiers :
    - Un fichier d'entête de la zone précisant le rectangle ainsi que le "pas" des prises de mesures (en général 1km)
    - Les altitudes, en binaire (succession d'entiers sur 16 bits).

    Le total des fichiers fait plus d'1,7Go, je ne peux donc pas tout charger en mémoire.

    J'ai pensé à utiliser un facteur de précision en fonction du zoom sur la carte. Une vue à l'échelle du globe chargerai l'ensemble des valeurs mais en espaçant de 30km, et une vue à l'échelle d'un pays réduirait l'espacement à 10km mais ne chargerai que les altitudes du rectangle visionné.

    A chaque zoom/déplacement il va donc falloir tout vider, puis relire ces fichiers, avec un petit algo prenant en compte la précision et la zone des altitudes à rapatrier.

    J'ai du mal à choisir entre cette solution ou l'utilisation direct des fichiers.


    Vous pouvez me conseiller ?

    Merci,

    A bientôt

  2. #2
    Invité
    Invité(e)
    Par défaut
    Les deux démarches ne sont pas exclusives.

    A mon avis, la bonne approche est de fabriquer des fichiers plus petits (ou un fichier très grand dont tu ne lis que des petits bouts contigus, à partir d'une table d'index).

    Pour les vues "grande échelle" je construirai donc des fichiers agrégés (obtenus par moyennes d'altitude sur des régions plus larges). Pour les zoom, je ferais un grand nombre de petits fichiers, qui se chevauchent (de façon à ne jamais avoir besoin de plus d'un fichier à la fois).

    La taille de tes fichiers dépendra de la résolution des données de départ, et de la précision souhaitée, mais tu pourras t'arranger pour ne jamais avoir besoin de tout charger en mémoire (et là encore le chevauchement aide : si tu "survoles" une zone, tu peux charger le fichier suivant avant d'avoir "fini" le fichier précédent).

    Francois

  3. #3
    Membre expérimenté

    Inscrit en
    Mai 2005
    Messages
    132
    Détails du profil
    Informations forums :
    Inscription : Mai 2005
    Messages : 132
    Par défaut
    Bonjour,

    je n'ai pas de conseille, mais est-ce que je pouvais vous demander d'où vous le téléchargez ? La cartographie m'intéresse aussi.

    Merci. Bonne journée. Fredy

  4. #4
    Membre éprouvé
    Profil pro
    Inscrit en
    Février 2004
    Messages
    1 825
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Février 2004
    Messages : 1 825
    Par défaut
    Oui biensûr,

    C'est via le GTOPO30

    http://edc.usgs.gov/products/elevati...0/gtopo30.html

    Et les fichiers sont accessibles sur leur FTP
    ftp://edcftp.cr.usgs.gov/pub/data/gtopo30/global

    Parmis les fichiers il y a un README.TXT qui explique comment la structure des données.

  5. #5
    Membre expérimenté

    Inscrit en
    Mai 2005
    Messages
    132
    Détails du profil
    Informations forums :
    Inscription : Mai 2005
    Messages : 132
    Par défaut
    Merci pour reponse tres rapide.

    Bon week-end. Fredy

  6. #6
    Expert confirmé

    Homme Profil pro
    Ingénieur systèmes et réseaux
    Inscrit en
    Février 2007
    Messages
    4 253
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Rhône (Rhône Alpes)

    Informations professionnelles :
    Activité : Ingénieur systèmes et réseaux
    Secteur : High Tech - Multimédia et Internet

    Informations forums :
    Inscription : Février 2007
    Messages : 4 253
    Billets dans le blog
    3
    Par défaut
    Pour avoir fait exactement cela....

    1. Tu peux avoir plusieurs "résolutions" de tes DEMs en même temps: fichiers plus petits, données pré-calculées (et surtout pré-optimisées... Prendre une valeur sur X entraine de l'aliasing, mais bon... sur la carte du globe c'est peut etre pas trop grave).

    2. Avoir un système de "tuiles" (Tiles) à la demande.... qui savent lire un bout de fichier, et se flusher quand une taille maximale de mémoire est atteinte. A noter que les tuiles peuvent aussi faire du LOD....

    Comme ça, le programme utilisateur, n'a plus à se poser de question... il a besoin d'une tuile ? Il la demande au manager.... Il n'en a plus besoin ? Il la rend, en sachant que si il la redemande très vite, les données seront toujours là.

  7. #7
    Membre du Club
    Inscrit en
    Juin 2009
    Messages
    10
    Détails du profil
    Informations forums :
    Inscription : Juin 2009
    Messages : 10
    Par défaut
    Normalement tu devrais creer une pyramide avec different niveau de zoom parce que meme en nearest neighbourgh c'est long de reechantilloner une image...

Discussions similaires

  1. Importation et traitement de gros fichiers de données
    Par Emeric974 dans le forum MATLAB
    Réponses: 1
    Dernier message: 04/11/2012, 19h43
  2. Importation de gros fichiers de données
    Par cg1987 dans le forum MATLAB
    Réponses: 8
    Dernier message: 25/05/2011, 15h54
  3. Utilisation d'un fichier de données dan un lot DTS
    Par ninsekh dans le forum MS SQL Server
    Réponses: 1
    Dernier message: 30/08/2007, 16h40
  4. Réponses: 3
    Dernier message: 28/11/2006, 08h44
  5. Réponses: 7
    Dernier message: 16/06/2006, 14h55

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo