lecture ecriture de tres gros fichiersRésolu

Question

y a t'il des regles à respecter pour la lecture et l'ecriture de tres gros fichiers texte ? je parle de fichiers entre 100Mo et 4GO je suis preneur de tous conseils car les outils traditionnels sont bien bien lent pour l'instant j'utilise : ofstream et << >> David

vecchio56 · Accepted Answer

Une règle c'est d'utiliser un tampon d'une taille assez grande (quelques ko) plutot que caractère par caractère, et d'écrire ce tampon

BruNews · Answer

Sous Windows:
- ReadFile()
- WriteFile()

ciao...
BruNews, MVP VC++

ddesbuis · Answer

certe l'id&#233;e semble &#234;tre la bonne mais comment implemente t'on une augmentation du buffer sur un ostream ?



je veux dire tres concretement si tu as un petit exemple de code ?



David

vecchio56 · Answer

Tu n'utilises pas << et >> mais des méthodes permettant de spécifier la taille du buffer à lire ou a écrire (read et write).

ddesbuis · Answer

read et write sont reserv&#233; au fichier binaire non ?



mes fichiers sont du texte pur et dur...

ddesbuis · Answer

j'ai mis cela en place dans mon programme :



    std::ofstream f_out;      

    f_out.open ( nomfichier.c_str (), std::ios::out );

    

    char mybuffer [32768];

    f_out.rdbuf()->pubsetbuf(mybuffer,32768);



ensuite il suffit de ne pas utiliser std::endl mais seulement "
"



car std::endl equivaut &#224; "
" + flush



flush vide le buffer dans le flux et sont utilisation ralentit donc l'op&#233;ration d'ecriture



il vaut mieux donc eviter std::endl pour les operation d'ecriture massive sur un flux

par contre c'est recommend&#233; pour les fichiers de debugging sinon on ne sait jamais vraiment ou c'est arret&#233; le prog...



Avec tout cela j'ecrit au moins 10x plus vite COOL



je suis &#224; l'ecoute des commentaires car c'est la premiere fois que j'utilise ces fonction :

rdbuf() et pubsetbuf ()



l'utilisation que j'en fait n'est pas forcement academique !!

MuPuF · Answer

Pour l'&#233;criture de buffer, j'ai pas trouv&#233; mieux que le C ...

fwrite(Buffer,TailleD'uneUnit&#233;e,TailleTotale,Fichier);

on peux meme sauvegarder des structures avec, c'est sympa si on veux pas passer par les ini (qui sont plus long ...)

ddesbuis · Answer

mais tu fais du binaire ou du texte avec ca ?

cs_Joky · Answer

Bah non c'est du texte &#231;a ! 

Mais bon moi j'serais aussi parti sur un ReadFile comme j'arrive &#224; m'en servir maintenant 

void Aurevoir( void ); //Bonne journ&#233;e

ddesbuis · Answer

pourriez vous agrementez vos reponses de tout petit bout de code... ca
permet &#224; mon avis de rendre le forum plus utile &#224; tout le monde !



bon si vous avez pas le temps je comprends... mais un copier coller
rapide d'un bout de prog ou vous utilisez les fonctions cit&#233;es



@+

cs_Joky · Answer

HANDLE hFile;

    char* szData;

    DWORD dwFileSize;

    DWORD dwByteWritten;

        

    hFile = CreateFile( szFileName, GENERIC_READ, FILE_SHARE_READ, NULL, OPEN_EXISTING, NULL, NULL);

    if(!hFile)

    {

        MessageBox(NULL, "Erreur lors de l'ouverture du fichier", szClassName, 0x40);



    }



    dwFileSize =  GetFileSize(hFile, NULL);

    szData = new char[dwFileSize+1];



    ReadFile(hFile, szData, dwFileSize, &dwByteWritten, 0);
    CloseHandle(hFile);
void Aurevoir( void ); //Bonne journ&#233;e

ddesbuis · Answer

mais d'ou sortent ces fonctions et type :



HANDLE, CreateFile (), ReadFile (), CloseHandle ()



c'est du C pur, du C++ pur, de la STL du Microsoft ?



il y a un Header &#224; specifier ?



je suis assez attach&#233; &#224; cr&#233;er du code portable et standard donc j'aimerais savoir ?



a titre indicatif, je suis sous dev cpp 4.9.9.1 avec GCC 3.4.1 - boost 1.31 et wxWidgets 2.6.0

cs_Joky · Answer

B&#233; c'est de l' API, donc exclu Windows ( Voir BruNews il l'a dis au dessus )

Pour utilisaton inclure <windows.h>

Et je suppose que les classe C++ se base la dessus non ? faudrait demand&#233; :)

Et donc pour la portabilit&#233; :) bah valable que sous windows donc euh vala quoi :D

void Aurevoir( void ); //Bonne journ&#233;e

ddesbuis · Answer

bon mais je pense que l'on peut ecrire vite dans un fichier texte en C++ pur je vais encore chercher :



d'ailleurs les fonctions que j'ai present&#233;e plus haut :



std::ofstream f_out;      

f_out.open ( nomfichier.c_str (), std::ios::out );

     

char mybuffer [32768];

f_out.rdbuf()->pubsetbuf(mybuffer,32768);



sont du C++ pur donc portable, en ca marche bien a priori je vais 10x plus vite qu'avant d&#233;j&#224; !!



le pb c'est que je ne l'ai maitrise pas tres bien donc bienvenu au
commentaire des expert de ce genre de manip sur les stream en C++

ddesbuis · Answer

par rapport au code ci dessus :



std::vector<char> buffer(32768);


out.rdbuf()->pubsetbuf(&buffer[0], buffer.size());



il parait que c'est mieux pour la gestion memoire

BruNews · Answer

Joky> fais gaffe, CreateFile() retourne INVALID_HANDLE_VALUE (vaut -1) si rate et non 0.

ciao...
BruNews, MVP VC++

cs_Joky · Answer

Ahhhhh, windows et toutes ses valeurs, ils vont me faire perdre la t&#234;te xD

Rempla&#231;ons donc if(hFile == INVALID_HANDLE_VALUE)

Par contre si le test est v&#233;rifi&#233; ??? est-ce-qu'on doit faire un CloseHandle( ) ???

Parce que c'est quand m&#234;me ambigu... Soit il &#224; planter et donc d&#233;truire quelque chose qui ne vaut rien, b&#233; &#231;a sert &#224; rien :s 

Fin voila quoi :)

@ti suite :)
void Aurevoir( void ); //Bonne journ&#233;e

BruNews · Answer

ben non, pas de CloseHandle() puisque tu n'as pas eu de handle valide.

ciao...
BruNews, MVP VC++

Lecture ecriture de tres gros fichiers

18 réponses

Votre réponse