diablamanshadow
Messages postés419Date d'inscriptionlundi 30 août 2004StatutMembreDernière intervention28 janvier 2008
-
12 mai 2007 à 16:11
OneHacker
Messages postés1447Date d'inscriptionjeudi 2 novembre 2000StatutMembreDernière intervention23 septembre 2007
-
17 juin 2007 à 16:13
Cette discussion concerne un article du site. Pour la consulter dans son contexte d'origine, cliquez sur le lien ci-dessous.
OneHacker
Messages postés1447Date d'inscriptionjeudi 2 novembre 2000StatutMembreDernière intervention23 septembre 20072 17 juin 2007 à 16:13
Je travaille actuellement sur un moteur derecehrce pour concurrencer Google.
En fait le systeme c'est de scanner récursivement et exponentiellement le web à partir d'un gros serveur avec plein de disque dur et de faire fonctionner le classement comme des tags ou en pourcentage sur le pattern recherché. Par ex un site qui a beaucoup de mots aura un tag de ce mot élevé et le trie ce fera sur cette valeur.
Sinon si le site parle à 10% du sujet ou à 50% en fait je vais faire des classe Website qui auront ces 2 valeurs, l'instciation de la classe se fera avec l'URL du site, pour ce qui est du scanning récursif pour lire le site j'utilise HTTPWebRequest avec response, avec les regex je différencie les liens internes et externes, les internes continueront la recherche de sites externes et à chauqe nouveau site externe trouvé j'instancie une nouvelle classe pour recherche ce qui fait que le remplissage de la BDD est récursif et exponetielle. un peu comme les sscanneurs de sites mais en infini. Voilà. Pour l'instant je travaille tout seul dessus, ej fait des test sur un programme et avec une hiérarchie de recherche limitée à 3 étages donc pas infini, je le fait asyncrhonmenet pour l'instant je fait que la partie sacnning après je verrai pour ce qui est du classement.
Voilà
dread2010
Messages postés5Date d'inscriptionmercredi 16 mai 2007StatutMembreDernière intervention19 mai 2007 17 mai 2007 à 13:39
essaiez vous même donner nous la reponse
Baddante
Messages postés33Date d'inscriptionmercredi 1 mars 2006StatutMembreDernière intervention24 février 2008 17 mai 2007 à 00:47
Autre article sur google : http://www.vbfrance.com/code.aspx?ID=39577 Pour utiliser google comme moteur de recherche interne (sur ton PC) voir GDS : Google Desktop Search.
diablamanshadow
Messages postés419Date d'inscriptionlundi 30 août 2004StatutMembreDernière intervention28 janvier 2008 12 mai 2007 à 16:11
pourquoi pas l'avoir fait toi meme ? tiens se serais un bon projet sa, recherche, split de la source pour pouvoir recuperer les resultat, recherche via url et webbrowser etc etc ^^
17 juin 2007 à 16:13
En fait le systeme c'est de scanner récursivement et exponentiellement le web à partir d'un gros serveur avec plein de disque dur et de faire fonctionner le classement comme des tags ou en pourcentage sur le pattern recherché. Par ex un site qui a beaucoup de mots aura un tag de ce mot élevé et le trie ce fera sur cette valeur.
Sinon si le site parle à 10% du sujet ou à 50% en fait je vais faire des classe Website qui auront ces 2 valeurs, l'instciation de la classe se fera avec l'URL du site, pour ce qui est du scanning récursif pour lire le site j'utilise HTTPWebRequest avec response, avec les regex je différencie les liens internes et externes, les internes continueront la recherche de sites externes et à chauqe nouveau site externe trouvé j'instancie une nouvelle classe pour recherche ce qui fait que le remplissage de la BDD est récursif et exponetielle. un peu comme les sscanneurs de sites mais en infini. Voilà. Pour l'instant je travaille tout seul dessus, ej fait des test sur un programme et avec une hiérarchie de recherche limitée à 3 étages donc pas infini, je le fait asyncrhonmenet pour l'instant je fait que la partie sacnning après je verrai pour ce qui est du classement.
Voilà
17 mai 2007 à 13:39
17 mai 2007 à 00:47
Pour utiliser google comme moteur de recherche interne (sur ton PC) voir GDS : Google Desktop Search.
12 mai 2007 à 16:11