Aspirateur de galeries internet

Commenter

Contenu du snippet

Hi,

Cette idée trotte depuis un bail dans ma tête..
Marre de télécharger une par une les images d'une galerie ?
Pourquoi pas faire quelques sockets mIRC qui vous simplifieront la vie ? :D
Ca c'est pour l'idée..

Il existe des aspirateurs de site très complets et puissants, je soumets ce code car il permet de voir quelques trucs :
- accès à une page web en sockets
- téléchargement d'un document en sockets (avec retrait des en têtes HTTP préalablement..)
- l'utilisation fantastique de /echo -s ! =]

Deux exemples sont fournis dans le code pour vous montrer. Je place le code en initié pour éviter qu'il ait peur au milieu des répondeurs et away systemz...
Je n'attends pas particulièrement de commentaires sur mon "style" en mIRC lol

Source / Exemple : 


;-------------------------------------------
; Aspirateur de galeries web / Pada / 2006
;
; - cf le code pour des exemples
; - presque aucune vérif coté paramètres n'est effectuée
;   => préciser un path valide !!
; - pas testé avec des espaces dans le path
; - je sais que j'aurais pu factoriser les on sock*,
;   ca n'aurait fait que compliquer le code 
;   et le rendre hermétique à toute évolution
; - marche avec les liens <a> classiques a priori.. 
;   (relatif/absolu, non testé sur les absolus)
; - formats détectés : png/jpg/jpeg/gif
;   (changer le masque de regex au besoin)
;
;-------------------------------------------

;aliases exemples (héhé je spamme pour mon sport le vtt trial ^^)
alias ex1 dl_img http://www.espacetrial.com/demos-compets/knokke/knokke/knokke-09.jpg knokke-09.jpg
alias ex2 mkdir trial | dl_gallery http://www.espacetrial.com/demos-compets/knokke/ trial/

;-------------------------------
; aspiration d'une page/galerie
; /dl_gallery <url> <path> [prefix]
;-------------------------------
alias dl_gallery {
  sockclose dl_img
  hfree -w DL_Gallery
  h gal_site $gettok($remove($$1,http://),1,47)
  h gal_get $remove($1,http://,$h(gal_site))
  h gal_path $iif($right($$2,1) !isin \/,$2 $+ /,$2)
  h gal_prefix $3
  h gal_N 0
  h gal_C 1
  h gal_end 0
  sockopen dl_gallery $h(gal_site) 80
}
on *:sockopen:dl_gallery:{
  if ($sockerr) { 
    echo -a * /dl_gallery : erreur de connexion au site ( $h(gal_site) ) 
    return 
  }
  echo 4 -s * Aspiration de http:// $+ $h(gal_site) $+ $h(gal_get) en cours ...
  sockwrite -n $sockname GET $h(gal_get) HTTP/1.1 
  sockwrite -nt $sockname Host: $h(gal_site)
  sockwrite -n $sockname
  .timerdl_gal_end 1 5 dl_gal_end
}
on *:sockread:dl_gallery:{
  if ($sockerr) { 
    echo -a * /dl_gallery : erreur de transaction ( $h(gal_site) )
    return 
  }
  sockread &a
  var %a 1,%c 1

  ;si lien coupé en tampon
  if $h(TempA) {
    if $bfind(&a,1,62) {
      var %a $ifmatch
      dl_detectlink $h(TempA) $+ $bvar(&a,1,%a).text
    }
    h TempA
  }

  ;détection d'autres liens
  while ($bfind(&a,%a,60 97 32) || $bfind(&a,%a,60 65 32)) {
    var %a1 = $bfind(&a,%a,60 97 32)
    var %a2 = $bfind(&a,%a,60 65 32)
    var %first = $iif(%a1 < %a2,$iif(%a1,%a1,%a2),$iif(%a2,%a2,%a1))
    %a = $iif(($bfind(&a,%first,62) <= $calc(%first + 500)) && $bfind(&a,%first,62),$bfind(&a,%first,62),$calc(%first + 1))

    ;détection de lien
    ;lien coupé
    if (%a == $calc(%first + 1)) {
      h TempA $bvar(&a,%first,500).text
      ;echo -s Mise en tampon : $bvar(&a,%first,500).text 
    }
    ;lien ok
    else { 
      dl_detectlink $bvar(&a,%first,$calc(%last - %first + 1)).text
    }
    ;timeout
    .timerdl_gal_end 1 5 dl_gal_end
    ;sécurité
    if (%c >= 2000) { break }
    inc %c
  }

}
on *:sockclose:dl_gallery:{
  dl_gal_end
}
alias dl_gal_end {
  if !$h(gal_end) {
    h gal_end 1
    sockclose dl_gallery
    .timerdl_gal_end off
    echo 4 -s * Gallerie analysée ! $h(gal_N) images ont été trouvées.
    echo 4 -s * Téléchargement des images en cours...
    dl_treatqueue
  }
}

alias dl_detectlink {
  ;echo 12 -s Lien détecté -> $1-
  if $regex($1-,/href="?([^>" ]+?\.(?:jpg|jpeg|png|gif))"?/i) {
    h gal_N $calc($h(gal_N) +1)
    echo 5 -s * Image détectée : $h(gal_N) -> $remove($regml(1),")
    dl_addqueue $h(gal_N) $h(gal_site) $+ $h(gal_get) $regml(1)
  }
}

;--------------------------------
; gestion de la queue list
; /dl_addqueue <numero_item> <page> <url_img>
; /dl_treatqueue
;--------------------------------
alias dl_addqueue {
  ;url relative
  if (http:// != $left($$3,7)) {
    ;url gallerie - fichier
    if (. isin $gettok($$2,-1,47)) || (? isin $gettok($$2,-1,47)) { var %url_site = $remove($2,$gettok($2,-1,47)) }
    else { var %url_site = $$2 }
    var %url_site = http:// $+ $iif(/ == $right(%url_site,1),%url_site,%url_site $+ /)
    ;url image
    var %img = %url_site $+ $3
  }
  ;url absolue
  else {
    var %img = $3
  }
  h queue_ $+ $$1 %img
}
alias dl_treatqueue {
  var %c = $h(gal_C)
  var %url = $h(queue_ $+ %c)
  if !%url && !$sock(dl_img).status { 
    echo 4 -s * Téléchargements terminés !
    echo 4 -s * Accès aux images : /run $shortfn($h(gal_path))
    return
  }
  elseif !$sock(dl_img).status {
    dl_img %url $h(gal_path) $+ $h(gal_prefix) $+ $gettok(%url,-1,47) 
    h gal_C $calc($h(gal_C) + 1)
  }
  ;les timers ici sont volontaires, histoire que le /dl_img reste indépendant,
  ;plutot qu'un appel a la queue en sockclose du dl_img =]
  .timer 1 1 dl_treatqueue
}

;--------------------------------
; téléchargement d'une image
; /dl_img <url> <nom_sortie>
;--------------------------------
alias dl_img {
  sockclose dl_img
  h img_site $gettok($remove($$1,http://),1,47)
  h img_get $remove($1,http://,$h(img_site))
  h img_path $$2
  h img_end 0
  sockopen dl_img $h(img_site) 80
}
on *:sockopen:dl_img:{
  if ($sockerr) { 
    echo -a * /dl_img : erreur de connexion au site ( $h(img_site) )
    return 
  }
  echo 5 -s * Téléchargement de http:// $+ $h(img_site) $+ $h(img_get) ...
  .remove $h(img_path)
  sockwrite -n $sockname GET $h(img_get) HTTP/1.1 
  sockwrite -nt $sockname Host: $h(img_site)
  sockwrite -nt $sockname Referer: http:// $+ $h(gal_site) $+ $h(gal_get)
  sockwrite -n $sockname
  .timerdl_img_end 1 5 dl_img_end
}
on *:sockread:dl_img:{
  if ($sockerr) { 
    echo -a * /dl_img : erreur de transaction ( $h(img_site) )
    return 
  }
  sockread &a
  ;coupure des en têtes
  if $bfind(&a, 1,$+($cr,$lf,$cr,$lf)) {
    bcopy -z &b 1 &a $calc($ifmatch + 4) -1
    bunset &a
    if $bvar(&b,0) {
      bcopy &a 1 &b 1 -1
    }
  }
  ;echo -s Debug : $bvar(&a,1,$bvar(&a,0)).text
  if $bvar(&a,0) {
    bwrite $h(img_path) -1 -1 &a
  }
  .timerdl_img_end 1 5 dl_img_end
}
on *:sockclose:dl_img:{
  dl_img_end
}
alias dl_img_end {
  if !$h(img_end) {
    h img_end 1
    sockclose dl_img
    .timerdl_img_end off
    echo 5 -s * Téléchargement terminé.
  }
}

;-----------------------------------
; alias hadd/$hget par simplicité
; /h <item> [value]
; $h(>item>)
;-----------------------------------
Alias h {
  if $isid { return $hget(DL_Gallery,$$1) }
  elseif ($2 == $null) { hdel DL_Gallery $$1 }
  else { hadd -m DL_Gallery $$1 $2- }
}

Conclusion :


Je remercie bien évidemment mes parents sans qui je n'en serais pas là aujourd'hui.

A voir également

S'inscrire maintenant

Vous n'êtes pas encore membre ?

inscrivez-vous, c'est gratuit et ça prend moins d'une minute !

Les membres obtiennent plus de réponses que les utilisateurs anonymes.

Le fait d'être membre vous permet d'avoir un suivi détaillé de vos demandes et codes sources.

Le fait d'être membre vous permet d'avoir des options supplémentaires.

Du même auteur (cs_PaDa)