faire les statistiques (keywords,contenu) d'une page html

Question

Salut &#224; tous, 
Je cherche &#224; cr&#233;er mon propre moteur de recherche mais qui ferait une recherche uniquement sur les url d&#233;j&#224; visit&#233;s.Pour &#231;a il faudrait que je trouve un moyen de mettre dans un Set tous les keywords, et dans un autre tous les autres mots contenus. 
J'ai d&#233;j&#224; commenc&#233;, j'ai le contenu de toute la page html de l'url (avec les tags etc...) dans un fichier .txt, et maintenant il faut que je fasse le tri entre keywords,mots contenus, tags et ponctuation (qui ne me servent &#224; rien). 
Est-ce que quelqu'un  pourrait m'aider et me dire ce qu'il faut que je fasse.
Je suis d&#233;butante et je fais &#231;a par plaisir (et un peu maso aussi  ).
Merci d'avance !

cs_neodante · Answer

Salut 



Brave entreprise auquel tu t'at&#232;les !!!!

Alors d&#233;j&#224; au niveau de la solution je pense que tu n'as pris la bonne solution.

Bien que je me doute que tu ne veux pas devenir google

(auquel cas tu vas devoir te payer pas mal de machines et

cr&#233;er tout quasiment from scratch !!!) je pense que tu devrais utiliser une base de donn&#233;es

de type MySQL ou mieux PostGreSQL (ou encore FireBird) si tu n'as pas les moyens de te payer un Oracle 10g ... ;-)



Si tu veux faire une  recherche dans une collection en Java ... je te conseillerais la hashtable qui est plus rapide ...

Egalement une collection ne te permet pas &#224; mon avis de faire un moteur de recherche complet ...



Essaye donc de regarder du c&#244;t&#233; de JDBC (pour te connecter &#224; une base de donn&#233;es) et si tu ne connais rien

aux bases de donn&#233;es, je te conseille MySQL pour sa simplicit&#233; (d'utilisiation et parce que vu le nombre

de fonctionnalit&#233;s limit&#233;es ... cela ne peut-&#234;tre que simple !)



De plus pour faire des recherches performantes, les collections ne sont pas les plus avis&#233;es !!!

Il faut utiliser des structures en arbres un peu complexe comme celles utilis&#233;e dans les SGDB ..



J'esp&#232;re avoir r&#233;pondu &#224; ta probl&#233;matique ou alors l'utilisation d'une collection est une de tes contrainte s???



Si tu as d'autres question n'h&#233;site ...



@+



@+

jinines · Answer

Coucou,merci pour ta r&#233;ponse. Utiliser les collections n'est pas une contrainte...d'ailleurs j'ai aucune contrainte vu que je le fais toute seule :-), disons que ma seule contrainte est que ce ne soit pas trop dur pour moi :-). Sinon j'avais pens&#233; &#224; &#231;a parce que je ferai la recherche uniquement sur les pages web d&#233;j&#224; visit&#233;es (donc pas tr&#232;s nombreuses logiquement)...donc aucune pr&#233;tention googelienne :-). J'ai d&#233;j&#224; l'algo pour trouver tous les mots significatifs contenus dans un code html (pas la ponctuation,ni les chiffres,ni les tags), il ne me reste plus que celui pour les keywords (dans le tag <meta name="keywords" contents="blablabla">), et c'est le blabla qu'il reste &#224; mettre dans un Set. :-), mais j'y arriverais bien :-)
Merci beaucoup, @ + !

sisadel · Answer

bonjour moi en fait je develope un meta moteur de recherche ,et je voudrai reccuperer les tag meta pour faire des statistiques sur le nombre d'occurence de chaque keyword dans le document j'utilise un HtmlDocument.Iterator pour le tag META mais il ne marche pas meme si il fonctionne avec d'autre tag(A,BR,..)avez vous une solution .merci

Faire les statistiques (keywords,contenu) d'une page html

3 réponses

Votre réponse

Discussions similaires