Mémoire insuffisanteRésolu

Question

Bonjour,

j'ai eu l'erreur N°7 : Mémoire insuffisante lors d'une mise en table d'un fichier de 58 Mo (104955 Lignes de longueur fixe '564 caractères') à la ligne 72741.
(72741 * 564 = 41 025 924 Caractères max)

' déclaration du tableau
public tableau() as string

Sauriez vous comment contourner cette limitation ?

Merci d'avance pour votre aide très précieuse...

Renfield · Answer

fichtre, tu rigole pas avec tes tableaux...

optimise sec, mais ton traitementpromet d'etre sympa, en VB...

fais ca en C...

Renfield
Admin CodeS-SourceS- MVP Visual Basic

cs_DARKSIDIOUS · Answer

Oula ! Tu as vraiment besoin de lire toutes les données de ton fichier ? Tu ne pourrais pas en lire uniquement ce qui t'intéresse ?

cs_tulesais · Answer

Ayant besoin de revenir sur certains enregistrements, j'ai effectivement et malheureusement besoin de mettre en table la totalité du fichier.

Merci pour votre aide !!!

Renfield · Answer

pas tout d'un coup ^^

tu peux lire on fichier par paquets, surtout que c'est LARGEMENT simplifié : tu connais la taille des lignes....

Renfield
Admin CodeS-SourceS- MVP Visual Basic

cs_DARKSIDIOUS · Answer

Mais tu veux dire quoi par "mettre en table" ???

Tu veux mettre dans une table de base de données les données lues de ton fichier, c'est bien cà ?

A ce moment là, utilise un algorithme paresseux : lit uniquement les données qu'il te faut lorsque c'est nécessaire :
Il te faut la 15ème ligne, alors lit la quinzième ligne et mets la dans ta base.
Il te faut la 16ème, alors lit la seizième et mets la dans ta base
Il te faut la 15ème de nouveau, pas la peine de la relire, tu l'a déjà lu ! Donc lit uniquement les données de ta base
Et surtout : pas besoin de lire les autres, tu n'en a pas encore besoin !

jmfmarques · Answer

Ne jamais utiliser une pelle mécanique pour planter un pétunia ...

cs_casy · Answer

Moi les pétunias, je les plante pas, je les sème 

PS : Me cherchez pas, je suis déjà dehors

---- Sevyc64  (alias Casy) ----<hr size="2" width="100%" /># LE PARTAGE EST NOTRE FORCE #    http://aide-office-vba.monforum.com/index.php

cs_tulesais · Answer

j'ai malheureusement, besoin de mémoriser l'ensemble du fichier pour, retravailler les données (parfois plusieurs enregistrements précédents) et sauvegarder l'ensemble dans un nouveau fichier.

y a t'il une limitation dans vb ou bien cette limitation est dûe à mon poste de travail ?

Merci beaucoup !!!

cs_DARKSIDIOUS · Answer

Comme je te l'ai dit : pour faire ton traîtement, tu n'a certainement pas besoin d'absolument toutes les données (50 Mo, ca en fait du texte !!!), ne lit que ce dont tu as besoin selon un algo parasseux, et tu n'aura plus vraiment de limite du coup (d'ailleurs, un bon conseil, accès à ton fichier en mode binary si possible !!!).

cs_casy · Answer

là ou je ne comprend pas c'est l'utilité de charger le fichier en mémoire.

Tu semble avoir des enregistrements de taille fixe, donc pour un enregistrement donné, tu sais exactement ou le trouver dans le fichier, alors pourquoi ne pas travailler directement sur le fichier dans ce cas là en mode accès aléatoire avec les instructions Put et Get si ma mémoire est bonne. Ca t'évitera d'avoir à charger la totalité du fichier en mémoire.

---- Sevyc64  (alias Casy) ----<hr size="2" width="100%" /># LE PARTAGE EST NOTRE FORCE #    http://aide-office-vba.monforum.com/index.php

jmfmarques · Answer

Hé...
Je le croyais parti (chez le grainetier...).

cs_tulesais · Answer

C'EST BON !!!

en fait, mon problème ne venait pas de la limitation du tableau mémoire mais :

au moment ou je fais le redim preserve :

open fichier for input lock read write as #1
redim tableau(0)
indice=0
do while not eof(1)
   indice=indice+1
   redim preserve tableau(indice)
   line input #1, tableau(indice)
loop
close #1

solution :

' détermination du nombre de ligne
    lignemax = 0
    Open fichier For Input Lock Read Write As #1
    Do While Not EOF(1)
        Line Input #1, ligne
        lignemax = lignemax + 1
    Loop
    Close #1

' dimensionnement du tableau
redim tableau(lignemax)

' mise en table mémoire
open fichier for input lock read write as #1
indice=0
do while not eof(1)
   indice=indice+1
   line input #1, tableau(indice)
loop
close #1

Merci encore pour votre aide !!!

ps : le redim preserve est donc à banir !

Renfield · Answer

vu que tu connais la taille de tes records, pas besoin de boucler sur ces gros fichiers...

divise la taille du fichier par celle des records.

Renfield · Answer

Line Input également à éviter dans ton cas, puisque tu connais la taille de tes records. (line input scanne caractère par caractère, a la recherche du CrLf...)

cs_DARKSIDIOUS · Answer

Aïe Aîe Aîe ! Lecture de 50 Mo avec des line input !!! Mais dis moi, tu mets combien de temps à lire tout ton fichier ? Surtout que tu le lit 2 fois !!!

Tu dois y passer la nuit !

cs_tulesais · Answer

Quelle optimisation pourriez vous me conseiller ?

Merci beaucoup !!!

cs_DARKSIDIOUS · Answer

Ben ce qu'on te dit depuis le début :  accès binaire (qui est bien plus rapide que les Line Input !!!) + algorithme paresseux plutôt que de lire tout le fichier !

A quoi ca te sert de tout stocker dans la mémoire ? Ne me dit pas que tu as besoin de TOUTES les données pour calculer 1 truc, ne stocke en mémoire que ce dont tu as besoin, et mets en base de données ce qui est lu afin que les prochaines lectures soient bien plus rapides.

Mémoire insuffisante

17 réponses

Votre réponse

Discussions similaires