Serialisation + gros problèmeRésolu

Question

Salut &#224; tous,



Mon probl&#232;me est que j'ai une instance de la classe Donnees (qui contient une arraylist de personne) et qui s'apelle bdd.



Mon instance bdd comporte une ArrayList de 50 000 objets Personne.



Quand je serailise bdd avec 10 000 instance  Personne ca  met 13 sec &#224; ecrire dans le fichier ( 1.7Mo)



pour 20 000 instances, ca met 1 min 25 et le fichier fait (3.4Mo)



pour 30 000 instances, j'ai pas vu la fin.....



Pour deserialiser ca va, ca prend 5sec, mais pour serialiser ( &#233;crire
dans le fichier ) c'est horrible tellement c'est long. Le probl&#232;me
c'est que mon appli devra pouvoir enregistrer au moins 200 000
personnes.



Je precise que bdd comporte une arraylist de Personne mais aussi
d'autre ArrayList moins grande (Soci&#233;t&#233;, Voiture...) ainsi que des
champs relatif &#224; l'application (couleur de l'appli etc....)



Y'a t'il un moyen d'accelerer la serialisation ?? comment faire ???



Par avance, merci.

sebmafate · Accepted Answer

ok... dans ce cas, je ne passerai pas par la s&#233;rialisation "automatique" de .NET mais j'&#233;crirai moi-m&#234;me dans un BinaryStream tous mes objets... bien plus rapide puisqu'il n'y a pas de r&#233;flexion sur les objets.

S&#233;bastien FERRAND 
[MVP C#]

sebmafate · Answer

euh... utilise Access... au dela de 5000 items, le xml n'est pas une solution viable.

S&#233;bastien FERRAND 
[MVP C#]

cs_emmanuel9 · Answer

Je fais de la serialisation binaire en faite : ca me sert a ce quand
l'utilisateur quitte son appli et la relance par la suite il retrouve
tout ses param&#232;tre &#224; l'identique.



//On 
cr&#233;e un nouveau Formatter




IFormatter 
formatter = new BinaryFormatter();




 




//On 
cr&#233;e un flux vers fichier




Stream 
stream = new FileStream("myExampleObject.bin", 
FileMode.Create, FileAccess.Write, FileShare.None);




 




//On 
s&#233;rialise




formatter.Serialize(stream,
myExampleObject);




 




//On 
ferme le flux




stream.Close();

cs_emmanuel9 · Answer

Dans l'exemple myExampleObject est une
classe serialisable qui contient une arraylist de 50 000 items en faite
plus d'autre truc aussi mais moins important en nombre

cs_poullos · Answer

Non mais comme te l'ai dit Seb, oublie tout de suite le XML tu ne t'en

sortiras jamais !!!

Access a &#233;t&#233; con&#231;u pour les bases de ton niveau jusqu'&#224; plusieurs millions d'objet

donc saute dessus de toutes fa&#231;ons tu n'as pas le choix ...

La brigade meurt mais ne se rend pas (Hisoka)

cs_emmanuel9 · Answer

mais j'utilise pas le xml........[javascript:Insert_Emoticon('/imgs2/smile_dead.gif'); ]

Arthenius · Answer

heu c moi ou j'ai rien compris au post la ???

pour finir tu utilise access ou tu veux juste stocker des donnees pour le design de ton appli en xml ou alors tes donn&#233;es dans du xml...


Arthenius
http://blogs.developpeur.org/Arthenius/

"Ce qui ne me tue pas, me rend plus fort..."

cs_emmanuel9 · Answer

J'ai trouv&#233; une question d&#233;ja pos&#233; sur le forum et qui correspond exactement &#224; mon probl&#232;me, mais ca a pas &#233;t&#233; r&#233;solu....

J'ai pas ecris une seule fois le mot "xml", je sais pas pourquoi tout le monde croit que je veux faire du xml ou du access  c'est pas pour utiliser un sgbd.. 



http://www.csharpfr.com/forum.v2.aspx?ID=265713

Arthenius · Answer

ben si coq seche t'est mal ...




<HR>
Arthenius
http://blogs.developpeur.org/Arthenius/

"Ce qui ne me tue pas, me rend plus fort..."

sebmafate · Answer

une question b&#234;te... pourquoi s&#233;rialiser 

S&#233;bastien FERRAND 
[MVP C#]

cs_emmanuel9 · Answer

Pour que quand je quitte mon programme, une instance de classe qui
represtente toutes mes donn&#233;es soit serialis&#233; dans un fichier et que
quand je relance mon progarmme ce m&#234;me fichier soit d&#233;s&#233;rialis&#233; et que
je recupere &#224; l'identique cette instance, donc toutes mes donn&#233;es. Je
pense que c'est la meilleur solution mais y'a peut &#234;tre mieux &#224; faire.

sebmafate · Answer

ce que je ne comprends pas c'est que tout cela, tu l'as d&#233;j&#224; dans ta base de donn&#233;es... et qu'il est surement plus rapide de refaire une requ&#234;te qui rechargera l'ensemble de tes donn&#233;es.

surtout qu'entre le moment fermera son application et le moment o&#249; il l'a rouvrira, les donn&#233;es pourrons avoir changer.

Maintenant l'int&#233;r&#234;t de charger 50.000 objets en m&#233;moire 

S&#233;bastien FERRAND 
[MVP C#]

cs_emmanuel9 · Answer

Je suis pas connect&#233; &#224; une base de donn&#233;e, c'est juste que j'ai une
tableau de 150 000 personne en m&#233;moire et qu'il faut que l'ecrive qq
part, en serialisant dans un fichier. J'ai pas le choix pour le nombre.

sebmafate · Answer

ce qui me d&#233;range dans ton raisonnement c'est le chargement du tableau de 150.000 personnes...

je ne sais combien d'informations tu stockes par objet... mais ca risque de monter tr&#232;s vite en m&#233;moire... t'imagine qu'en l'&#233;tat, si tu as 500octets pour 1 personne tu vas te retrouver avec environ 75Mo de m&#233;moire utilis&#233;e uniquement pour ton tableau !
plus biensur la m&#233;moire allou&#233;e &#224; ton programme... en moyenne 10Mo... etc.

C'est pourquoi, je te conseille depuis le d&#233;but du thread de stocker tes donn&#233;es dans une base access.

S&#233;bastien FERRAND 
[MVP C#]

cs_emmanuel9 · Answer

Ben c'est juste pour l'exemple imagine juste que j'ai un tableau de 150
000 personnes en m&#233;moire et que je veux le sauver sur le disque pour le
r&#233;cup&#233;rer sur le disque, c'est sur que je trouve pas ca logique non
plus mais c'est un cas d'&#233;cole

cs_emmanuel9 · Answer

et t'aurais pas un bout de code qui trainerais ?

sebmafate · Answer

pas sous la main... mais je vais essayer d'y pens&#233; ce soir

S&#233;bastien FERRAND 
[MVP C#]

cs_emmanuel9 · Answer

ok, merci, c'est sympa

cs_coq · Answer

L&#224; le probl&#232;me ne vient pas du nombre d'&#233;l&#233;ments mais plut&#244;t du contenu de la classe Personne.
Tu n'aurais pas une ou des Hashtables dedans ?

/*
coq
MVP Visual C#
*/

cs_emmanuel9 · Answer

non non du tout, doit y avoir 20 propri&#233;t&#233;es differentes par contre.

Serialisation + gros problème

22 réponses

Votre réponse

Discussions similaires