Lecture de 'gros fichiers'

Question

Bonjour

je dois faire un programme qui doit lire plusieurs fichiers, qui chacun font des dizaines de m&#233;ga octets.

etant donn&#233; que je n'ai pas assez de m&#233;moire vive, et que je dois g&#233;rer les donn&#233;es de tous les fichiers pour une m&#234;me ligne ensemble, je me demandais qu'elle &#233;tait le meilleur moyen de ne pas perdre trop de m&#233;moire.

Est ce qu'il faut laisser les diff&#233;rents fichiers ouverts (ne pas faire de fclose), ou bien les fermer et se souvenir des lignes o&#249; on en ait.
Est ce qu'il est possible d'&#233;craser uniquement une partie d'un fichier?

est ce que vous voyez d'autres m&#233;thodes
Merci d'avance
JC

exemple de traitement
On a 600 fichiers qui font chacun 20Mo, et qui sont de type tabul&#233;.
On doit donc faire les traitements de donn&#233;es 10000 lignes par 10000 lignes (traiter les 10000 premi&#232;res lignes de tous les fichiers en m&#234;me temps, les r&#233;&#233;crire, puis traiter les 10000 lignes suivante de tous les fichiers etc...)

NitRic · Answer

Si c'est sous Windows, regarde ceci, ca te donneras des id&#233;es:

http://www.cppfrance.com/code.aspx?ID=30502



Tu peux faire les m&#234;me choses sous Linux, faut seulement

trouver les &#233;quivalents(fonctions) ...


Le FileMapping c'est tr&#232;s pratique ...




~(.:: NitRic ::.)~

Lecture de 'gros fichiers'

1 réponse

Votre réponse

Discussions similaires