accelerre la lecture du fichier .

Question

kevin-now: je veux que la lecture du fichier soit tres rapide,pour un fichier de "538 Ko" la lecture byte par byte prend "78 secondes",pouvez-vous m'aide pour accelerre la lecture du fichier?.



//fonction Statistique pour determiner le nombre de chaque caracteres dans un fichier.
//Fs => fichier Source.
//AH => vecteur pour mettre les statistique ("AH" est pres initialiser dans l'appel de la procedure).
Function Statistique(Const Fs:String;Var AH:Array[0..255]of integer):Boolean;
var F,T:TFileStream;
    buff:byte;
    i:integer;
begin
Result:=false;
If (not FileExists(Fs))or(not FileExists(Temp)) then exit;

F:=TFileStream.Create(Fs,fmOpenRead or fmShareExclusive);
try
f.Seek(soFromBeginning,0);

for i:=1  to F.Size do begin
f.Read(buff,sizeof(buff));
AH[Buff]:=AH[Buff]+1;

// HashCallBack: procedure "Progressbar"
HashCallBack(F.Size,F.Position);
end;
finally
F.Free;
end;
Result:=true;
end;

Francky23012301 · Answer

Salut,

Tu l'as testé ton code avant de le donner  ?  Car mon petit doigt me dit que sous D6/D7/D2005 (et les autres c'est à voir) ton truc il compile pas et pour cause

Francky23012301 · Answer

Un bout de piste pour améliorer les performances de ton code


Function Statistique(Const Fs:String; Var AH:array of Integer):Boolean;
var
  F:TFileStream;
  buff:byte;
  i:integer;
  SizeFile:Int64;
begin
  Result:=false;
  If (FileExists(Fs))And (FileExists(FS)) then
    Begin
      F:=TFileStream.Create(Fs,fmOpenRead or fmShareExclusive);
      try
        f.Seek(soFromBeginning,0);
        SizeFile:=F.Size;
        for i:=1 to SizeFile do
          begin
            f.Read(buff,1);
            AH[Buff]:=AH[Buff]+1;
            // HashCallBack: procedure "Progressbar"
            //HashCallBack(SizeFile,i);
          end;
      finally
        F.Free;
      end;
      Result:=true;
    end;
End;


Ceci dit : Il est évident que le traitement que tu veux faire sera long car tu lis ton fichier bytes à bytes. La notion de flux est un peu plombée en terme d'intéret, vu ce que tu fais

Caribensila · Answer

Ceci dit : Il est évident que le traitement que tu veux faire sera long car tu lis ton fichier bytes à bytes. La notion de flux est un peu plombée en terme d'intéret, vu ce que tu fais.

Francky a raison.
Mais ce n'est pas que la notion de flux est un peu plombée... c'est qu'elle n'existe pas du tout !

Le problème est que tu lis byte-à-byte un fichier sur le disque dur, avec autant d'accès à ce DD que de bytes...  

La solution est de lire dans la Ram en utilisant TMemoryStream.LoadFromFile.

cs_MAURICIO · Answer

Cari a aussi raison. 



Composants Cindy pour Delphi
Faites une donation.

Cirec · Answer

Salut,

ou encore lire les données en une passe avec le TFileStream et en utilisant les pointeurs ...

voici un exemple avec la temps d'exécution 0,01 sec. pour 3324 caractères.
[hr][b]implementation

/b{$R *.dfm}

 // ajouté pour mesurer le temps d'exécution
function MyGetTickCount: Int64;
[b]var
  /blpPerformanceCount,
    lpFrequency: Int64;
[b]begin
  if not /bQueryPerformanceCounter(lpPerformanceCount) [b]then
    /blpPerformanceCount :=   GetTickCount
  [b]else
  begin
    /bQueryPerformanceFrequency(lpFrequency);
    lpPerformanceCount := (lpPerformanceCount * 1000)  div  lpFrequency
  end;

  result : = lpPerformanceCount;
end;

   // on crée un type approprié 
  // avec son pointeur
[b]type
  /bPCharCountArray  =  ^TCharCountArray;
  TCharCountArray =   array [Byte] of Integer;

   // pour l'affichage final 
[b]var
  /bTotalChar: Integer;

  //fonction Statistique pour determiner le nombre de chaque caracteres dans un fichier.
  //Fs   => fichier Source.
  //AH =  > vecteur pour mettre les statistique ("AH" est pres initialiser dans l'appel de la procedure).
   // AH devient un pointeur ... on ne passe plus une copie du tableau 
 function  Statistique(const Fs: string; const AH: PCharCountArray):
  Boolean;
[b]var
  /bF, T: TFileStream;
  Buffer: string;
  buff: PByte;
  i: integer;
[b]begin
  /bResult :  = false;
  //if (not FileExists(Fs)) or (not FileExists(Temp)) then
    //exit;

  F :=   TFileStream.Create(Fs, fmOpenRead  or  fmShareExclusive);
  [b]try
    /bTotalChar : = F.Size;
    f.Seek(soFromBeginning, 0);
    SetLength(Buffer, F.Size);
    Buff :=  @Buffer[1];
     // lecture en une passe des données 
    f.ReadBuffer(buffer[1], F.Size);
    // traitement par pointeur
     for  i :  = 1 to F.Size [b]do
    begin
      /bAH^[Buff^] :=   AH^[Buff^] + 1;
      Inc(Cardinal(Buff));

       //ici tu perd un Max de temps 
      // HashCallBack: procedure "Progressbar"
      //HashCallBack(F.Size, I);
     end ;
  [b]finally
    /bF.Free;
  end;
  Result :  = true;
end;

procedure TForm11.Button1Click(Sender: TObject);
[b]var
  /bAH: TCharCountArray;
  iI: Integer;
  StartTime: Cardinal;
[b]begin
  /b// mise à zéro du tableau
  for iI :=   Low(AH)  to  High(AH) [b]do
    /bAH[iI] : = 0;
   // début 
  StartTime : =  GetTickCount;
   if  Statistique('Unit11.pas', @AH) [b]then
  try
    /bCaption : =  Format('Exécuté en %.2f secondes pour %d Caractère(s)', [(MyGetTickCount - StartTime)/1000, TotalChar]);
     // l'affichage ne compte pas dans le temps d'exécution 
    Memo1.Lines.BeginUpdate;
    Memo1.Clear;
    for iI : = Low(AH) to High(AH) [b]do
      /bMemo1.Lines.Add(Format('%d fois le caractère %s #%d', [AH[iI], Chr(iI), iI]));
  [b]finally
    /bMemo1.Lines.EndUpdate;
  end;
end;

end.
[hr]
Voilà ceci devrait répondre à ta question 

[hr]@+Cirec
[hr]

Francky23012301 · Answer

Mais ce n'est pas que la notion de flux est un peu plombée... c'est qu'elle n'existe pas du tout ! 

Ben si c'est plombée (Nom de dioux ) de part ce qu'il veut faire en vue de la méthode qu'il emploie : Quand tu fais Lille-Tours tu prends l'A3  ben imagine que l'autoroute le commandant Francky et sa patrouille ils condamnent les 3 voies sur 4 et qu'en plus ils arrêtent les voitures une par une pour les contrôler, c'est qui le kiki qui va gueuler au péage devant le guichetier plutôt que de sortir sa CB , ben c'est Cari ? "Va donc chez affelou, t'achetez des lunettes : Moi payer que nenni mon ami" qui va dire le Kiki à a mémère et qu'il aura raison le kiki car si tu prends l'autoroute c'est pas pour que les voitures passent au compte goutte. Ben là c'est à peu près ce qui veut faire.

Ps : Fait ça sur l'A15 un vendredi soir à 18h, t'es un homme mort. Espérance de vie  78 secondes et encore si tu as un bon flux.

Caribensila · Answer

@Francky
De toute façon, si "le commandant Francky et sa patrouille" sont sur l'A3, le Kiki y passe par Rouen pour faire Lille-Tours !  
Pas fou le Kiki ! 

@ Cirec
Puisqu'on me chipote au péage, je chipote aussi pour le passage de paramètre par pointeur (y'a pas de raison) :

//if Statistique('Unit1.pas', @AH) then //Passage par pointeur de pointeur: pas bô.
if Statistique('Unit1.pas', @AH[Low(AH)]) then //Passage par pointeur sur la 1ère cellule du tableau: bô.

Caribensila · Answer

@ Cirec

Je retire ce que j'ai dit (encore raté une belle occasion de me taire, moi !).

Après vérif :
Integer(@AH) := Integer(@AH[0])

Accelerre la lecture du fichier .

8 réponses

Votre réponse