Petit robot d'indexation zinsearchbot

Description

Le robot qui se nomme "Zinsearhbot" indexe les pages web de façon automatique en suivant les liens de chaque pages. En revenant une deuxième fois sur une page deja indexée par le robot, il évite de réenregistrer la page en question. J'ai pu m'apperçevoir de quelques bugs sur des pages contenant des sources javascript. De plus si le robot tombe sur une page ne contenant aucun lien, il s'arrêtera automatiquement.

Source / Exemple :


UPDATE 22/03/08

-----------------------------------------------
FAILED
-----------------------------------------------

Conclusion :


Je metterais des modifications et mises à jour si le script pose problème.
PS : Ne soyez pas trop indulgent c'est la première fois que je crée un petit robot d'indexation. Merci.

Codes Sources

A voir également

Vous n'êtes pas encore membre ?

inscrivez-vous, c'est gratuit et ça prend moins d'une minute !

Les membres obtiennent plus de réponses que les utilisateurs anonymes.

Le fait d'être membre vous permet d'avoir un suivi détaillé de vos demandes et codes sources.

Le fait d'être membre vous permet d'avoir des options supplémentaires.