Traitement de Mega Gros Fichier (1,6 Go)

Question

Bon j'ai un gros fichier de 1,6Go, qui contient des coordonn&#233;es XYZ du relief de tout le globe !!!!

j'interprete ces donn&#233;es pour les dessiner dans une picturebox mais le pb c'est que c'est long

picturebox : height=9000, width=18000

pa gagner du tps je saute 20 lignes pour 1 ligne lue et interpret&#233;, parce que ya telement de point que la qualit&#233; d'image n'est pa affect&#233;,
 
si je zoom je doi me relire tt le fichier
et si je garde le meme type de fonction, la qualit&#233; va decroitre(moin de point lu) et tjour aussi long
 et donc ma question est :

Comment lire le fichier tr&#232;s rapidement ??? 
un peu comme "UltraEdit" (je sais pa si vous connaisser, mais c'est l'editeur hexa de tt bon developpeur) et surtout tr&#232;s rapide

merci par avance
j'ai deja eccum&#233; les posts du forum du site
les methodes Open, Readfile

a+

BruNews · Answer

UltraEdit est en VB ?

ciao...
BruNews, MVP VC++

VBSorcier · Answer

non je pense pas vu sa rapidit&#233; et sa complexit&#233;
ca doit du C++

mais sur la page principal de son site (www.ultraedit.com), il a re&#231;u l'award du meilleur soft de l'ann&#233;e

il met environ 5 min pour me lire le fichier en entier sans ralentir le pc et sans engloutir la memoire !!!

BruNews · Answer

Ben voila tu donnes toi m&#234;me la r&#233;ponse &#224; ta question, le C est obligatoire pour les traitements lourds.

ciao...
BruNews, MVP VC++

cs_DARKSIDIOUS · Answer

Pas obligatoire tout de m&#234;me BruNews, faut pas &#233;xag&#233;rer ;)



Bon c'est sur que sur les op&#233;rations d'entr&#233;es/sorties, le VB est loin
d'&#234;tre aussi rapide que le C, je te l'accorde, mais si tu nous disais
comment tu fait pour :

1/ Lire ton fichier

2/ Afficher tes points



On pourrait plus facilement te dire comment am&#233;liorer tes algorithmes (si on peut les am&#233;liorer).

_____________________________________________________________________
DarK Sidious

Un API Viewer (pour le VB, VB.NET, C, C# et Delphi) tout en fran&#231;ais : www.ProgOtoP.com/popapi/

VBSorcier · Answer

'Chaque ligne du fichier comporte 3 champs s&#233;par&#233;s par 1 virgule
'ex:
'46.25455,2.58547,35
'=>   46.25455 &#176;N
'       2.58547 &#176;E
'       35m d'altitude


'Map etant ma picturebox (height=900 width=18000)
'f etant mon coeff de zoom, par defaut =50 (au demarrage)
'ech (echelle) est une picturebox avec une echelle de couleur en fonction de l'altitude


Sub Draw_Relief_World()
    
    'pour donner le pt de longitude et de lattitude 0
    cx = Map.Width / 2    '(9000)
    cy = Map.Height / 2    '(4500)

    DoEvents
    
    Open App.Path & "\World.xyz" For Input As 1
    
        Do While Not EOF(1)
            Line Input #1, reponse


                temp = reponse
                Lon = Replace(Mid(temp, 1, InStr(temp, ",") - 1), ".", ",")
                temp = Mid(temp, InStr(temp, ",") + 1)
                Lat = Replace(Mid(temp, 1, InStr(temp, ",") - 1), ".", ",")
                Alt = Replace(Mid(temp, InStr(temp, ",") + 1), ".", ",")


                X = cx + Lon * f
                Y = cy - Lat * f
                
            '==============================================
     'Partie pour appliquer une couleur en fonction de l'altitude
     'le pixel 383 est mon 0 sur l'echelle


                Alt = Alt
                If Alt < 0 Then
                    a = Abs(Alt) / 31
                    ColorRelief = ech.Point(383 - a, 1)
                ElseIf Alt >= 0 Then
                    a = Alt / 26
                    ColorRelief = ech.Point(384 + a, 1)
                End If
            '==============================================
   
                
                Map.PSet (X, Y), ColorRelief
                


'cette partie est juste l&#224; pour aller plus vite
'je saute quelque point en fonction du zoom


On Error Resume Next
            If f = 200 Then
                Line Input #1, reponse
                Line Input #1, reponse
            ElseIf f = 100 Then
                Line Input #1, reponse
                Line Input #1, reponse
                Line Input #1, reponse
                Line Input #1, reponse
                Line Input #1, reponse
                Line Input #1, reponse
            ElseIf f = 50 Then
                Line Input #1, reponse
                Line Input #1, reponse
                Line Input #1, reponse
                Line Input #1, reponse
                Line Input #1, reponse
                Line Input #1, reponse
                Line Input #1, reponse
                Line Input #1, reponse
                Line Input #1, reponse
                Line Input #1, reponse
                Line Input #1, reponse
                Line Input #1, reponse
                Line Input #1, reponse
                Line Input #1, reponse
                Line Input #1, reponse
                Line Input #1, reponse
            End If
        DoEvents
        Loop
    Close #1
    


    DoEvents


End Sub


voila, je pense que le code est deja pas mal optimis&#233;

l'api Readfile c'est pas la peine sa bloque le PC le fichier est beaucoup trop gros

merci

BruNews · Answer

VBSorcier > ce fichier est-il t&#233;l&#233;chargeable qlque part ?

ciao...
BruNews, MVP VC++

VBSorcier · Answer

en fait pour l'avoir j'ai eu du mal, sur un site americain le :
   National Geophysical Data Center - NGDC

(http://www.ngdc.noaa.gov/)

ce site regroupe tout un tas de donn&#233;e sur le globe: relief, cote de bord de mer, geologie...

a debut j'ai t&#233;l&#233;charger un zip (131 Mo) contenant un soft (GEODAS) et un fichier de 225Mo, le soft a decompresser et decrytper le fichier, pour donn&#233; un fichier (de 1.6Go) au format XYZ

http://www.ngdc.noaa.gov/mgg/gdas/gd_cri.Html
il faut aller sur ce lien pour entrer les parametres de la zone voulu et suivre le chemin, c'est tout simple

a+

BruNews · Answer

merci pour les liens je vais essayer de le r&#233;cup&#233;rer.

Si je comprends bien, chaque ligne contient 2 double et 1 entier ?
Si oui, pourquoi ne pas transformer cela 1 bonne fois pour toute directement en binaire:
une structure (type en vb si je me souviens bien):
Double
Double
Long

ferait une stuct de 20 octets par enreg, ne plus mettre de sauts de ligne, c'est une cata en performance pour la lecture. Je pense qu'ainsi tu aurais des perfs nettement plus acceptables.

ciao...
BruNews, MVP VC++

cs_DARKSIDIOUS · Answer

Ben d&#233;j&#224;, lire le fichier en binaire s'impose comme le pr&#233;cise BruNews, au lieu de le lire en Input !!!



Ensuite, tu utilises la fonction Point pour afficher tes points, et tu
t'&#233;tonnes que ca rame ??? Va voir ma source de gestion d'image :
environ 35 fois plus rapide pour afficher des points !


Avec c&#224;, tu devrais y gagner pas mal de temps je pense !

_____________________________________________________________________
DarK Sidious

Un API Viewer (pour le VB, VB.NET, C, C# et Delphi) tout en fran&#231;ais :

VBSorcier · Answer

ok pour ecrir une structure dans un fichier mais comment faire pour que ca prenne 20 octet

Private Type XYZ
   X as Double
   Y as Double
   Z as Long
End Type

sub Toto()
   
   dim coordon as XYZ
   open fileOut for random as 1
   open fileIn for input as 2
      do while not eof(2)
         line input #1,reponse
            '================
               interpretation de la ligne
               ...
               coordon.x=...
               coordon.y=...
               coordon.z=...
            '================

            put #1,,coordon
      doevents
      loop
   close #2
   close #1
end sub

sinon pour limit&#233; la taille, je sais que faire comme ca:

Private Type XYZ
   X as String * 7
   Y as string * 7
   Z as string * 6
End Type

..........

BruNews · Answer

Le but est de transformer ton fichier pour ensuite t'en servir en format binaire.
DARKSIDIOUS va te guider, allez Dark...

ciao...
BruNews, MVP VC++

BruNews · Answer

Je veux bien faire la transformation (par le C pour ma part) mais faudrait que je trouve le fichier et comme je n'installe rien sur mes machines, c'est pas gagn&#233;. Me faudrait un lien direct sur le zip ou autre.

ciao...
BruNews, MVP VC++

VBSorcier · Answer

merci BruNews 

j'ai fais comme tu m'a di avec les types dbl,dbl,long
mon fichier de 1.6 go et converti et fai 1.1 go
et c'est plus rapide a la lecture, c'est pa encore le top mais ca va

je vai voir pour ind&#233;xer le fichier par zone geographique comme ca
lorsqu'il y aura des zooms plus besoin de relire tout le fichier et de dessiner
les points que l'on ne voit pas.

merci

a+

Traitement de Mega Gros Fichier (1,6 Go)

13 réponses

Discussions similaires