1. Accueil
  2. Tous les snippets
  3. Snippets IRC
  4. Aspirateur de galeries internet

Aspirateur de galeries internet

Soyez le premier à donner votre avis sur cette source.

Snippet vu 7 135 fois - Téléchargée 27 fois

Commenter

Contenu du snippet

Hi,

Cette idée trotte depuis un bail dans ma tête..
Marre de télécharger une par une les images d'une galerie ?
Pourquoi pas faire quelques sockets mIRC qui vous simplifieront la vie ? :D
Ca c'est pour l'idée..

Il existe des aspirateurs de site très complets et puissants, je soumets ce code car il permet de voir quelques trucs :
- accès à une page web en sockets
- téléchargement d'un document en sockets (avec retrait des en têtes HTTP préalablement..)
- l'utilisation fantastique de /echo -s ! =]

Deux exemples sont fournis dans le code pour vous montrer. Je place le code en initié pour éviter qu'il ait peur au milieu des répondeurs et away systemz...
Je n'attends pas particulièrement de commentaires sur mon "style" en mIRC lol

Source / Exemple : 


;-------------------------------------------
; Aspirateur de galeries web / Pada / 2006
;
; - cf le code pour des exemples
; - presque aucune vérif coté paramètres n'est effectuée
;   => préciser un path valide !!
; - pas testé avec des espaces dans le path
; - je sais que j'aurais pu factoriser les on sock*,
;   ca n'aurait fait que compliquer le code 
;   et le rendre hermétique à toute évolution
; - marche avec les liens <a> classiques a priori.. 
;   (relatif/absolu, non testé sur les absolus)
; - formats détectés : png/jpg/jpeg/gif
;   (changer le masque de regex au besoin)
;
;-------------------------------------------

;aliases exemples (héhé je spamme pour mon sport le vtt trial ^^)
alias ex1 dl_img http://www.espacetrial.com/demos-compets/knokke/knokke/knokke-09.jpg knokke-09.jpg
alias ex2 mkdir trial | dl_gallery http://www.espacetrial.com/demos-compets/knokke/ trial/

;-------------------------------
; aspiration d'une page/galerie
; /dl_gallery <url> <path> [prefix]
;-------------------------------
alias dl_gallery {
  sockclose dl_img
  hfree -w DL_Gallery
  h gal_site $gettok($remove($$1,http://),1,47)
  h gal_get $remove($1,http://,$h(gal_site))
  h gal_path $iif($right($$2,1) !isin \/,$2 $+ /,$2)
  h gal_prefix $3
  h gal_N 0
  h gal_C 1
  h gal_end 0
  sockopen dl_gallery $h(gal_site) 80
}
on *:sockopen:dl_gallery:{
  if ($sockerr) { 
    echo -a * /dl_gallery : erreur de connexion au site ( $h(gal_site) ) 
    return 
  }
  echo 4 -s * Aspiration de http:// $+ $h(gal_site) $+ $h(gal_get) en cours ...
  sockwrite -n $sockname GET $h(gal_get) HTTP/1.1 
  sockwrite -nt $sockname Host: $h(gal_site)
  sockwrite -n $sockname
  .timerdl_gal_end 1 5 dl_gal_end
}
on *:sockread:dl_gallery:{
  if ($sockerr) { 
    echo -a * /dl_gallery : erreur de transaction ( $h(gal_site) )
    return 
  }
  sockread &a
  var %a 1,%c 1

  ;si lien coupé en tampon
  if $h(TempA) {
    if $bfind(&a,1,62) {
      var %a $ifmatch
      dl_detectlink $h(TempA) $+ $bvar(&a,1,%a).text
    }
    h TempA
  }

  ;détection d'autres liens
  while ($bfind(&a,%a,60 97 32) || $bfind(&a,%a,60 65 32)) {
    var %a1 = $bfind(&a,%a,60 97 32)
    var %a2 = $bfind(&a,%a,60 65 32)
    var %first = $iif(%a1 < %a2,$iif(%a1,%a1,%a2),$iif(%a2,%a2,%a1))
    %a = $iif(($bfind(&a,%first,62) <= $calc(%first + 500)) && $bfind(&a,%first,62),$bfind(&a,%first,62),$calc(%first + 1))

    ;détection de lien
    ;lien coupé
    if (%a == $calc(%first + 1)) {
      h TempA $bvar(&a,%first,500).text
      ;echo -s Mise en tampon : $bvar(&a,%first,500).text 
    }
    ;lien ok
    else { 
      dl_detectlink $bvar(&a,%first,$calc(%last - %first + 1)).text
    }
    ;timeout
    .timerdl_gal_end 1 5 dl_gal_end
    ;sécurité
    if (%c >= 2000) { break }
    inc %c
  }

}
on *:sockclose:dl_gallery:{
  dl_gal_end
}
alias dl_gal_end {
  if !$h(gal_end) {
    h gal_end 1
    sockclose dl_gallery
    .timerdl_gal_end off
    echo 4 -s * Gallerie analysée ! $h(gal_N) images ont été trouvées.
    echo 4 -s * Téléchargement des images en cours...
    dl_treatqueue
  }
}

alias dl_detectlink {
  ;echo 12 -s Lien détecté -> $1-
  if $regex($1-,/href="?([^>" ]+?\.(?:jpg|jpeg|png|gif))"?/i) {
    h gal_N $calc($h(gal_N) +1)
    echo 5 -s * Image détectée : $h(gal_N) -> $remove($regml(1),")
    dl_addqueue $h(gal_N) $h(gal_site) $+ $h(gal_get) $regml(1)
  }
}

;--------------------------------
; gestion de la queue list
; /dl_addqueue <numero_item> <page> <url_img>
; /dl_treatqueue
;--------------------------------
alias dl_addqueue {
  ;url relative
  if (http:// != $left($$3,7)) {
    ;url gallerie - fichier
    if (. isin $gettok($$2,-1,47)) || (? isin $gettok($$2,-1,47)) { var %url_site = $remove($2,$gettok($2,-1,47)) }
    else { var %url_site = $$2 }
    var %url_site = http:// $+ $iif(/ == $right(%url_site,1),%url_site,%url_site $+ /)
    ;url image
    var %img = %url_site $+ $3
  }
  ;url absolue
  else {
    var %img = $3
  }
  h queue_ $+ $$1 %img
}
alias dl_treatqueue {
  var %c = $h(gal_C)
  var %url = $h(queue_ $+ %c)
  if !%url && !$sock(dl_img).status { 
    echo 4 -s * Téléchargements terminés !
    echo 4 -s * Accès aux images : /run $shortfn($h(gal_path))
    return
  }
  elseif !$sock(dl_img).status {
    dl_img %url $h(gal_path) $+ $h(gal_prefix) $+ $gettok(%url,-1,47) 
    h gal_C $calc($h(gal_C) + 1)
  }
  ;les timers ici sont volontaires, histoire que le /dl_img reste indépendant,
  ;plutot qu'un appel a la queue en sockclose du dl_img =]
  .timer 1 1 dl_treatqueue
}

;--------------------------------
; téléchargement d'une image
; /dl_img <url> <nom_sortie>
;--------------------------------
alias dl_img {
  sockclose dl_img
  h img_site $gettok($remove($$1,http://),1,47)
  h img_get $remove($1,http://,$h(img_site))
  h img_path $$2
  h img_end 0
  sockopen dl_img $h(img_site) 80
}
on *:sockopen:dl_img:{
  if ($sockerr) { 
    echo -a * /dl_img : erreur de connexion au site ( $h(img_site) )
    return 
  }
  echo 5 -s * Téléchargement de http:// $+ $h(img_site) $+ $h(img_get) ...
  .remove $h(img_path)
  sockwrite -n $sockname GET $h(img_get) HTTP/1.1 
  sockwrite -nt $sockname Host: $h(img_site)
  sockwrite -nt $sockname Referer: http:// $+ $h(gal_site) $+ $h(gal_get)
  sockwrite -n $sockname
  .timerdl_img_end 1 5 dl_img_end
}
on *:sockread:dl_img:{
  if ($sockerr) { 
    echo -a * /dl_img : erreur de transaction ( $h(img_site) )
    return 
  }
  sockread &a
  ;coupure des en têtes
  if $bfind(&a, 1,$+($cr,$lf,$cr,$lf)) {
    bcopy -z &b 1 &a $calc($ifmatch + 4) -1
    bunset &a
    if $bvar(&b,0) {
      bcopy &a 1 &b 1 -1
    }
  }
  ;echo -s Debug : $bvar(&a,1,$bvar(&a,0)).text
  if $bvar(&a,0) {
    bwrite $h(img_path) -1 -1 &a
  }
  .timerdl_img_end 1 5 dl_img_end
}
on *:sockclose:dl_img:{
  dl_img_end
}
alias dl_img_end {
  if !$h(img_end) {
    h img_end 1
    sockclose dl_img
    .timerdl_img_end off
    echo 5 -s * Téléchargement terminé.
  }
}

;-----------------------------------
; alias hadd/$hget par simplicité
; /h <item> [value]
; $h(>item>)
;-----------------------------------
Alias h {
  if $isid { return $hget(DL_Gallery,$$1) }
  elseif ($2 == $null) { hdel DL_Gallery $$1 }
  else { hadd -m DL_Gallery $$1 $2- }
}

Conclusion :


Je remercie bien évidemment mes parents sans qui je n'en serais pas là aujourd'hui.

A voir également

Ajouter un commentaire Commentaires
MJ92
Messages postés
185
Date d'inscription
lundi 23 janvier 2006
Statut
Membre
Dernière intervention
14 décembre 2014
4 sept. 2006 à 23:52
Euh la c'est trop dur pour moi ^^
En tout cas j'kiffe ta source Pada.
C'est super bien réaliser et c'est pas de mon niveau pour dire ce qui ne va pas dans ta source xD.

Bravo !
RCA ArKanis
Messages postés
1287
Date d'inscription
mercredi 21 avril 2004
Statut
Membre
Dernière intervention
21 février 2009
18 août 2006 à 22:17
if $bfind(&a, 1,$+($cr,$lf,$cr,$lf)) {
bcopy -z &b 1 &a $calc($ifmatch + 4) -1
bunset &a
bcopy &a 1 &b 1 -1
}
if $bvar(&a,0) {
bwrite $h(img_path) -1 -1 &a
}

peut-aussi être :
if $bfind(&a, 1,$str($crlf,2)) {
bcopy &b 1 &a $calc($ifmatch + 4) -1
if ($bvar(&b,0) bwrite $h(img_path) -1 -1 &b
}
elseif ($bvar(&a,0)) bwrite $h(img_path) -1 -1 &a
J'ai testé vite fait, ça marche sur mes essais

C'est assez pratique pour télécharger des fichiers textes aussi, le seul problème, c'est que $str($crlf,2) peut être retrouvé plusieurs fois. Pour éviter ça, j'ai fait :
if ((!$sock($sockname).mark) && ($bfind(&a, 1,$str($crlf,2)))) {
bcopy &b 1 &a $calc($ifmatch +4) -1
if ($bvar(&b,0)) bwrite $h(img_path) -1 -1 &b
sockmark $sockname 1
}
elseif ($bvar(&a,0)) bwrite $h(img_path) -1 -1 &a


ça peut être pratique, non ? :)
hisoka2501
Messages postés
264
Date d'inscription
lundi 19 mai 2003
Statut
Membre
Dernière intervention
7 juillet 2009
18 août 2006 à 21:34
chainé genre:

#
# alias dl_treatqueue {
# var %c = $h(gal_C)
# var %url = $h(queue_ $+ %c)

deviens

alias dl_treatqueue {
var %c $h(gal_C) , %url $h(queue_ $+ %c)
cs_PaDa
Messages postés
1804
Date d'inscription
mardi 15 juillet 2003
Statut
Membre
Dernière intervention
22 septembre 2009
 6
14 août 2006 à 17:29
Chainé comment ca ?

Et pour le /* */ oui je savais.. ca date de bien avant il me semble même ;)

Merci en tout cas ^^
hisoka2501
Messages postés
264
Date d'inscription
lundi 19 mai 2003
Statut
Membre
Dernière intervention
7 juillet 2009
14 août 2006 à 16:43
pourquoi ne pas avoir chainer certaines variables ?

et savais tu que depuis mirc 6.2 (oubien 6.17 je c plus ) on peut faire /* pour les commentaires
sur plusieurs lignes */

(jai trouvé ca y'a pas longtemp )

sinon le code est plutot sympa bon boulo :)
Afficher les 8 commentaires
S'inscrire maintenant

Vous n'êtes pas encore membre ?

inscrivez-vous, c'est gratuit et ça prend moins d'une minute !

Les membres obtiennent plus de réponses que les utilisateurs anonymes.

Le fait d'être membre vous permet d'avoir un suivi détaillé de vos demandes et codes sources.

Le fait d'être membre vous permet d'avoir des options supplémentaires.

Du même auteur (cs_PaDa)