Thread.Start : exception OutOfMemoryRésolu

Question

Le Contexte :
=========== 
En C# .Net1.1, sous visual studio 2003
nous avons développé un client-serveur en utilisant les fonctionnalités de System.Runtime.Remoting. 
a réception de chaque message "nouveau chargement", nous lancons un thread permettant de traiter ce chargement.
ayant des problèmes de mémoire utilisée par notre serveur (application console), 
   nous avons ajouté à intervalle régulier l'appel à 
        SetProcessWorkingSetSize(System.Diagnostics.Process.GetCurrentProcess().Handle, -1, -1) ;
   et ajouté dans nos structures des fonctions Dispose finissant par : 
        GC.SuppressFinalize(this); 

Ca semblait fonctionner, en regardant avec le gestionnaire de processus, le % de mémoire utilisé est stable entre 7 et 10Mo... 

Le Problème
=========
En voulant rajouter une fonctionnalité à notre serveur, nous avons détecté le problème suivant : 
      sur une action Thread.Start nous avons l'exception "OutOfMemory". 
      et notre serveur se bloque 
      
      Ayant fait un programme de simulation qui envoie des messages au serveur et qui note toutes les 5mn l'état du processus server voila ce que j'obtiens :
      07/06/2007 10:14:38 NbThreads=15 VMem=138 428 416
              UserProcTime=00:00:00.3593750 TotalProcTime=00:00:00.9375000
              PrivateMem=17203200
      07/06/2007 10:19:38 NbThreads=22 VMem=442 904 576
              UserProcTime=00:00:02.7343750 TotalProcTime=00:00:06.7812500
              PrivateMem=30269440
      07/06/2007 10:24:38 NbThreads=21 VMem=715 534 336 
               UserProcTime=00:00:04.3906250 TotalProcTime=00:00:11.7812500 
               PrivateMem=37363712
      07/06/2007 10:29:38 NbThreads=22 VMem=1 002 844 160 
               UserProcTime=00:00:06.2031250 TotalProcTime=00:00:17.3593750                     
               PrivateMem=44703744
      et ca continue de croitre jusqu'à ce que VMem atteigne 2 000 000 000 et que nous ayons outofmemory.      (Vmem Process.VirtualMemorySize, UserProcTime Process.UserProcessorTime, TotalProcTime = Process.TotalProcessorTime 
        et PrivateMem =Process.PrivateMemorySize
      
Comme notre serveur est une application console qui lance des thread et que Microsoft (support.microsoft.com : article 828988) conseille de mettre en multithreading
c'est ce que j'ai fait...
[MTAThread]
static void Main
Mais pas mieux...

La Question
============
Quelqu'un pourrait il m'expliquer ce qu'est cette memoire virtuelle ?  et si ca pourrait etre liée à mon problème d'exception ?

cs_niky · Accepted Answer

Salut,

Pour traquer les fuites mémoire tu peux utiliser un profiler. Il en existe pas mal pour .Net. Microsoft en donne une liste assez complète sur la page http://msdn2.microsoft.com/en-us/vcsharp/aa336818.aspx.
Sinon, les plus connus sont :
http://memprofiler.com/
http://ncover.org/site/
http://www.mertner.com/confluence/display/NProf/Home

Ces logiciels ne sont pas toujours évident à manipuler.

cs_coq · Answer

Salut,

En gros : le fichier de pagination. (Je ne sais plus si VirtualMemorySize ne comprend que la partie pagination ou d'autres compteurs)
Traiter le problème de consommation mémoire par la provocation de l'envoi en fichier de pagination n'est pas vraiment une solution, la preuve : quand c'est plein, c'est plein. Sans parler de l'impact sur les performances.
Il vaudrait mieux déterminer de où vient la fuite mémoire et corriger ce problème là.

/*
coq
MVP Visual C#
CoqBlog
*/

cs_Aurore38 · Answer

Bonjour,

Ok, j'ai probablement une fuite de mémoire, ca m'apprendra a faire confiance... 

Des idées de logiciels pour traquer ma fuite ?

Merci

cs_Aurore38 · Answer

Merci pour les infos sur les profilers...

j'ai essayé memprofiler il y a qq temps mais la version 3.0 ne correspond pas aux tutoriaux qui sont sur leur site ! 
Dommage j'avais bien compris le fonctionnement dans les tutoriaux mais avec la version que j'ai je ne vois que les types et pas les classes... 
Bref, je continue de bosser la dessus.
Je vais essayer les autres.

cs_Aurore38 · Answer

(suite de mon problème...)

Après utilisation de MemoryProfiler et CLRProfiler : 
de la mémoire virtuelle semble (entre autre) allouée dans l'appel de Open à ma base de données : 

en gros je fais : 
    using System.Data.Odbc;
    
    OdbcConnection oConn = new OdbcConnection(...);
    OdbcCommand oCmd = MaFonctionCreationCmd(..);
    oConn.Open();
    ... oCmd.Execute(); ...
    oConn.Close();
    oConn.dispose();
    oConn = null;
    
j'ai Firebird 1.5.3.4870, OdbcDriver 1.2.0.69
Je n'arrive pas à définir si mes problèmes viennent des dll C# ou de celles de firebird. 
MemProfiler me dit que c'est UnsafeNativeMethods.Odbc32.SQLDriverConnectW qui passe en code non managé... 

Avant de faire ce code je ne "disposais" pas des connexions et des odbcommand, j'ai ajouté ce traitement mais ca ne modifie pas mon problème.

A suivre...

cs_Aurore38 · Answer

Ca y est c'est fini, nous avons trouvé. 

Nous utilisons maintenant directement le pilote .net pour acceder à notre base et plus System.data.odbc...

Ca va beaucoup mieux.

Thread.Start : exception OutOfMemory

6 réponses

Votre réponse