ReadFile // WriteFile // Taille du bufferRésolu

Question

Salut les amis, j'ai un probl&#232;me de lecture avec l'api readfile. 



J'ai un buffer de 64ko qui contient ce que lit l'api sauf que quand
j'arrive &#224; la fin du fichier que je suis en train de lire et que la
taille restante &#224; lire est inf&#233;rieure &#224; la taille du buffer, alors
l'api ne lit rien du tout et la boucle boucle
sans fin puisque la taille lue reste toujours inf&#233;rieure &#224; la taille
totale du fichier...je sais pas si vous avez compris mais moi je s&#232;che
:-(



buffer: array[0..65535] of char;


  


ZeroMemory(@buffer, sizeof(buffer));


 


[...]


 


Source := CreateFile(PChar(src), GENERIC_READ, 0, nil, OPEN_EXISTING, FILE_FLAG_NO_BUFFERING, 0);


Dest:= CreateFile(PChar(dest), GENERIC_WRITE, 0, nil, CREATE_NEW, FILE_ATTRIBUTE_NORMAL, 0);


 


[...]


 


alire := sizeof(buffer);


aecrire := alire;


totalecrit := 0;


 


while totalecrit < total do


begin


// si "alire" est inf&#233;rieur &#224; la taille du buffer,  


// alors la fonction ne lit rien du tout :(


 


   ReadFile(Source, buffer, alire, lu, nil);


   WriteFile(Dest, buffer, aecrire, ecrit, nil);


   
   totalecrit := totalecrit + ecrit;


   if totalecrit + alire > total then


      begin


         alire := total  - totalecrit ;


         aecrire := alire;


      end;


end;

WhiteHippo · Accepted Answer

Moi j'suis comme Kenavo, y'a quelquechose qui me plait pas non plus !!!! C'est que tu n'utilises pas la taille du fichier !!! Bon j'ai fait vite (j'suis peut être passé à côté de quelquechose) un bout de code (mais qui fonctionne) avec les API windows (sauf pour l'allocation du buffer) puisque cela te tenait tellement à coeur N.B. Je sais, il n'y a pas beaucoup de commentaires mais je pense que les variables utilisées parlent d'elles mêmes. const TAILLE_BUFFER = 65536 ; // Ou plus pour un nombre de passes de copie inférieur type PBuffer = ^TBuffer ; TBuffer = array[0..TAILLE_BUFFER-1] of char ; procedure CopieFichier( Source, Dest : string ) ; var SourceHandle : THANDLE ; DestHandle : THANDLE ; Erreur : DWORD ; TailleFichierSourceLow : Cardinal ; TailleFichierSourceHigh : Cardinal ; TailleFichierSource : int64 ; NombreOctetsRestants : int64 ; SourceOctetsLus : Cardinal ; DestOctetsEcrits : Cardinal ; SourceOctetsALire : Cardinal ; DestOctetsAEcrire : Cardinal ; Resultat : Boolean ; PtrBuffer : PBuffer ; begin new ( PtrBuffer ) ; if ( PtrBuffer = NIL ) then begin Messagedlg('Impossible d''allouer de la mémoire pour le buffer.',mtError,[mbOK],0); Exit ; end ; try // !! Attention Avec FILE_FLAG_NO_BUFFERING à la place de FILE_ATTRIBUTE_NORMAL // ça ne fonctionne pas parce que : // "An application must meet certain requirements when working with files // opened with FILE_FLAG_NO_BUFFERING (c.f. Win32 Programmer's References)" SourceHandle := CreateFile(PChar(Source), GENERIC_READ, 0, NIL, OPEN_EXISTING, FILE_ATTRIBUTE_NORMAL, 0); if (SourceHandle = INVALID_HANDLE_VALUE) then begin Erreur := GetLastError() ; Messagedlg(Format('Erreur %d à l''ouverture du fichier source %s.', [Erreur,Source]),mtError,[mbOK],0); Exit ; end ; DestHandle := CreateFile(PChar(dest), GENERIC_WRITE, 0, NIL, CREATE_NEW, FILE_ATTRIBUTE_NORMAL, 0); if (DestHandle = INVALID_HANDLE_VALUE) then begin // Traitement erreur : Message, exception, etc... Erreur := GetLastError() ; CloseHandle( SourceHandle ); Messagedlg(Format('Erreur %d à l''ouverture du fichier destination %s.', [Erreur,Dest]),mtError,[mbOK],0); Exit ; end ; TailleFichierSourceLow := 0 ; TailleFichierSourceHigh := 0 ; TailleFichierSourceLow := GetFileSize( SourceHandle, @TailleFichierSourceHigh ) ; if ( TailleFichierSourceLow = $FFFFFFFF ) then begin Erreur := GetLastError() ; Messagedlg(Format('Erreur %d : Impossible d''obtenir la taille du fichier %s.', [Erreur,Dest]),mtError,[mbOK],0); CloseHandle(SourceHandle); CloseHandle(DestHandle); Exit ; end ; TailleFichierSource := ( TailleFichierSourceHigh shl 32 ) + TailleFichierSourceLow ; NombreOctetsRestants := TailleFichierSource ; while ( NombreOctetsRestants > 0 ) do begin if ( NombreOctetsRestants < TAILLE_BUFFER ) then begin SourceOctetsALire := NombreOctetsRestants ; DestOctetsAEcrire := NombreOctetsRestants ; end else begin SourceOctetsALire := TAILLE_BUFFER ; DestOctetsAEcrire := TAILLE_BUFFER ; end ; SourceOctetsLus := 0 ; FillChar( PtrBuffer^, TAILLE_BUFFER, #0 ) ; Resultat := ReadFile ( SourceHandle, PtrBuffer^, SourceOctetsALire, SourceOctetsLus , nil ) ; if ( Resultat and ( SourceOctetsLus = 0 ) ) then begin // Fin du fichier end else begin if ( not Resultat ) or ( SourceOctetsLus <> SourceOctetsALire ) then begin Messagedlg( format( 'Erreur : Nombre d''octets lus %d différents du nombre attendu %d.' ,[SourceOctetsLus,SourceOctetsALire]),mtError,[mbOK],0); CloseHandle(SourceHandle); CloseHandle(DestHandle); Exit ; end ; end ; DestOctetsEcrits := 0 ; Resultat := WriteFile ( DestHandle, PtrBuffer^, DestOctetsAEcrire, DestOctetsEcrits , nil ) ; if ( not Resultat ) or ( DestOctetsEcrits <> DestOctetsAEcrire ) then begin Messagedlg( format( 'Erreur : Nombre d''octets écrits %d différents du nombre attendu %d.' ,[DestOctetsEcrits,DestOctetsAEcrire]),mtError,[mbOK],0); CloseHandle(SourceHandle); CloseHandle(DestHandle); Exit ; end ; NombreOctetsRestants := NombreOctetsRestants - SourceOctetsALire ; end ; CloseHandle(SourceHandle); CloseHandle(DestHandle); finally dispose( PtrBuffer ); PtrBuffer := NIL ; end ; end ; Cordialement.

cs_Kenavo · Answer

Salut, Y a quelque chose qui me plait pas dans ton algo (qui doit servir à faire une copie de fichier, non ?). Tu n'utilises pas au mieux la variable "lu" de la fonction ReadFile. J'aurais écrit: alire := sizeof(buffer); repeat if ReadFile(Source, buffer, alire, lu, nil) then // On essaye de lire 64K WriteFile(Dest, buffer, Lu, ecrit, nil); // On copie ce qu'on a lu until Lu <> ALire; // On n'a pas lu 64K : on est a la fin Je ne sais pas si ça va régler tes problèmes ... Ken@vo

Code, Code, Codec !

Inekman · Answer

oui il sert &#224; copier des donn&#233;es d'un fichier mais y'a juste un extrait du code ici, la partie qui pose probl&#232;me ;-)



Toujours est-il que ta solution est int&#233;ressante mais on va se
retrouver avec le m&#234;me probl&#232;me dans la mesure o&#249; ReadFile ne lira plus
rien d&#232;s que la taille des donn&#233;es restantes &#224; lire sera inf&#233;rieure &#224;
la taille du buffer :-\ donc Lu sera toujours <> de ALire et &#231;a
bouclera sans fin



C'est &#231;a que je comprend pas...peu importe la taille du buffer,
ReadFile devrait au moins lire la quantit&#233; de donn&#233;es qu'on lui demande
de lire non ? Je sais pas du tout...

Emandhal · Answer

J'utiliserai FileRead plutot que ReadFile. Et FileWrite plutot que WriteFile.
Dans l'aide Delphi il est marqu&#233; :
  function FileRead(Handle:Integer; varBuffer; Count:Integer): Integer;

C'est donc une fonction, ce qui est renvoy&#233;, c'est le nombre de caract&#232;res lus, &#224; partir de l&#224; il suffit de comparer ce que renvoie la fonction avec la taille du buffer. Si c'est diff&#233;rent (normalement inf&#233;rieur) c'est que l'on est &#224; la fin du fichier et apr&#232;s il suffit de copier que le nombre de caract&#232;res lus dans WriteFile.

FinFichier :=  False;
alire := SizeOf(buffer);

 Repeat 
  SizeRead : = FileRead(Source, buffer^, alire
); // SizeRead: Integer;
  If SizeRead<alire 
Then FinFichier := True;
  SizeWrite := FileWrite(Dest, buffer^, SizeRead); // SizeWrite: Integer; // SizeWrite permet de faire un controle de ce qui est &#233;crit, comme ca, si SizeRead<>SizeWrite c'est qu'il y a eut un probl&#232;me &#224; l'&#233;criture... Il suffit de rajouter le test ad&#233;quate.
Until not FinFichier;

Tout probl&#232;me a sa solution... Mais en g&#233;n&#233;ral, c'est jamais la bonne...

Inekman · Answer

Merci pour la proposition, je test &#231;a ce soir m&#234;me si mon ambition &#233;tait de faire tout &#231;a uniquement avec les api de windows :-(

Inekman · Answer

Salut WhiteHippo,



Merci beaucoup pour ta solution, &#231;a fait plaisir. Mais tu a r&#233;pondu &#224; mon probl&#232;me en 2 lignes :-D :



// !! Attention Avec FILE_FLAG_NO_BUFFERING &#224; la place de FILE_ATTRIBUTE_NORMAL 
    // &#231;a ne fonctionne pas parce que :
    // "An application must meet certain requirements when working with files
    // opened with FILE_FLAG_NO_BUFFERING (c.f. Win32 Programmer's References)"



Ouai donc c'en fait 4 :-)



j'ai chang&#233; le createfile en mettant FILE_ATTRIBUTE_NORMAL et mon probl&#232;me s'est r&#233;solu tout seul ;-)



et pour "
C'est que tu n'utilises pas la taille du fichier !!!", c'est ma variable "total" dans la condition de la boucle. :-P



Autre question en despi et on boucle l'affaire, est-il mieux de faire un buffer de char ou un buffer de byte ?



quoi qu'il en soit, un ENORME merci &#224; vous trois

WhiteHippo · Answer

Ok pour la variable "total", j'suis plus tr&#232;s reveill&#233; &#224; cette heure l&#224; moi 

Buffer de byte ou buffer de char ?? D&#233;pend de l'utilisation que tu veux en faire derri&#232;re. Si c'est un fichier texte j'aurais tendance &#224; dire buffer de char pour pouvoir exploiter les donn&#233;es en caract&#232;re, et si c'est un fichier binaire alors je dirais buffer de byte. Cependant, char ou byte c idem en Delphi, alors tu fais comme tu le sens...

Par contre je te conseille vivement d'augmenter la taille de ton buffer de lecture/ecriture!!!

Cordialement.

japee · Answer

Salut, les couche-tard ! 



Curieux, chez moi &#231;a marche kif-kif que je mette FILE_ATTRIBUTE_NORMAL ou FILE_FLAG_NO_BUFFERING...



J'utilise quasiment le code &#224; Kenavo, &#231;a donne &#231;a :



procedure CopieFichier(Src, Dst: String);

var Buffer: array[0..65535] of Char;

    Lu, Ecrit: Cardinal;

    hSource, hDestination: THandle; // ou Cardinal

begin

  hSource := CreateFile(PChar(Src),

                       
GENERIC_READ,

                       
0,

                       
nil,

                       
OPEN_EXISTING,

                       
FILE_FLAG_NO_BUFFERING,

                       
//FILE_ATTRIBUTE_NORMAL,

                       
0);

  hDestination := CreateFile(PChar(Dst),

                            
GENERIC_WRITE,

                            
//GENERIC_READ or GENERIC_WRITE,

                            
0,

                            
nil,

                            
CREATE_NEW,

                            
FILE_ATTRIBUTE_NORMAL,

                            
0);

  repeat

    if ReadFile(hSource, Buffer, SizeOf(Buffer), Lu, nil) then

      WriteFile(hDestination, Buffer, Lu, Ecrit, nil);

  until Lu <> SizeOf(Buffer);

  CloseHandle(hSource);

  CloseHandle(hDestination);

end;



Et &#231;a marche nickel !



Bonne prog' 



japee

Inekman · Answer

"Par contre je te conseille vivement d'augmenter la taille de ton buffer de lecture/ecriture!!!"



Combien par exemple ? parce que j'ai aucune notion de taille de buffer optimale :-)

cs_Kenavo · Answer

J'vais p't&#232;t dire une incongruit&#233;, mais je donne mon avis.

Il me semble bien qu'il ne doit pas &#234;tre trop gros pour ne pas g&#233;n&#233;rer
des swaps entre RAM et fichier d'&#233;change, ce qui nuirait &#224; la
performance. 

Je dirais aussi qu'il doit &#234;tre  pr&#233;f&#233;rable qu'il soit d'une
taille multiple de l'unit&#233; l'allocation (bon &#231;a, &#231;a doit pas &#234;tre trop
dur, le tout c'est de choisir un nombre "rond" en hexa). 

Avec tout &#231;a je dirais un multiple de $100000 (= 1Mo). 



Si les fichiers sont gros (>10Mo) , j'irais m&#234;me jusqu'&#224;  $1000000 (16Mo) sur une machine qui en a.

soit :

Buffer = Array[0..$FFFFFF] of byte (ou of char)



Ken@vo


<hr size="2" width="100%">Code, Code, Codec !

Emandhal · Answer

Je vais faire comme Kenavo...
Je dirai qu'un grand buffer (>1Mo) est bien parce que ca limite les acc&#232;s au disque dur.
Mais il faut tout de meme savoir que Win95/98/Me ont une gestion de la m&#233;moire l&#233;g&#232;rement... chaotique et un gros buffer comme ca, c'est bien plus pr&#233;judiciable que b&#233;n&#233;fique.
Un buffer de taille variable me parrait une meilleure id&#233;e 
Mais &#231;a reste mon id&#233;e...

Tout probl&#232;me a sa solution... Mais en g&#233;n&#233;ral, c'est jamais la bonne...

Inekman · Answer

le buffer de 1 Mo ne passe pas :'( car :



---------------------------

Debugger Fault Notification

---------------------------

Project "Project1.exe" faulted with message: 'access violation at
0x0045c31f: write of address 0x01920fa0'. Process Stopped. Use Step or
Run to continue.

---------------------------

OK   

---------------------------



Voil&#224;, j'avais mis 512 ko un coup et &#231;a marchait bien aussi mais je
sais pas c'est quoi la limite du tableau...en tout cas 1 Mo c'est pas
la peine, alors 16 Mo

WhiteHippo · Answer

Inekman, en reprenant mon code (qui n'est peut etre pas parfait, soit !!  )et en mettant la constante &#224; 16Mo, &#231;a fonctionne chez moi (Copie de fichier de plus de 10Mo) !! 

const 
  TAILLE_BUFFER = $1000000 ;

Donc, faut que tu regardes ton code de plus pr&#232;s, doit y avoir un hic !!

Cordialement.

Inekman · Answer

Ay&#233; j'ai fait comme t'as dis WhiteHippo. En fait, quand on met la
taille directement dans le tableau &#231;a passe pas...mais je l'ai mis en
constante comme toi et &#231;a marche good ;-) J'ai mis le buffer &#224; 1Mo, 4
Mo etc..et &#231;a passe nikel. 



Je voudrai savoir ce que &#231;a apporte de passer par des pointeurs, car je comprend pas encore cette philosophie

ReadFile // WriteFile // Taille du buffer

14 réponses

Votre réponse

Discussions similaires