Aspirateur de galeries internet

Soyez le premier à donner votre avis sur cette source.

Snippet vu 6 824 fois - Téléchargée 25 fois

Commenter

Contenu du snippet

Hi,

Cette idée trotte depuis un bail dans ma tête..
Marre de télécharger une par une les images d'une galerie ?
Pourquoi pas faire quelques sockets mIRC qui vous simplifieront la vie ? :D
Ca c'est pour l'idée..

Il existe des aspirateurs de site très complets et puissants, je soumets ce code car il permet de voir quelques trucs :
- accès à une page web en sockets
- téléchargement d'un document en sockets (avec retrait des en têtes HTTP préalablement..)
- l'utilisation fantastique de /echo -s ! =]

Deux exemples sont fournis dans le code pour vous montrer. Je place le code en initié pour éviter qu'il ait peur au milieu des répondeurs et away systemz...
Je n'attends pas particulièrement de commentaires sur mon "style" en mIRC lol

Source / Exemple : 


;-------------------------------------------
; Aspirateur de galeries web / Pada / 2006
;
; - cf le code pour des exemples
; - presque aucune vérif coté paramètres n'est effectuée
;   => préciser un path valide !!
; - pas testé avec des espaces dans le path
; - je sais que j'aurais pu factoriser les on sock*,
;   ca n'aurait fait que compliquer le code 
;   et le rendre hermétique à toute évolution
; - marche avec les liens <a> classiques a priori.. 
;   (relatif/absolu, non testé sur les absolus)
; - formats détectés : png/jpg/jpeg/gif
;   (changer le masque de regex au besoin)
;
;-------------------------------------------

;aliases exemples (héhé je spamme pour mon sport le vtt trial ^^)
alias ex1 dl_img http://www.espacetrial.com/demos-compets/knokke/knokke/knokke-09.jpg knokke-09.jpg
alias ex2 mkdir trial | dl_gallery http://www.espacetrial.com/demos-compets/knokke/ trial/

;-------------------------------
; aspiration d'une page/galerie
; /dl_gallery <url> <path> [prefix]
;-------------------------------
alias dl_gallery {
  sockclose dl_img
  hfree -w DL_Gallery
  h gal_site $gettok($remove($$1,http://),1,47)
  h gal_get $remove($1,http://,$h(gal_site))
  h gal_path $iif($right($$2,1) !isin \/,$2 $+ /,$2)
  h gal_prefix $3
  h gal_N 0
  h gal_C 1
  h gal_end 0
  sockopen dl_gallery $h(gal_site) 80
}
on *:sockopen:dl_gallery:{
  if ($sockerr) { 
    echo -a * /dl_gallery : erreur de connexion au site ( $h(gal_site) ) 
    return 
  }
  echo 4 -s * Aspiration de http:// $+ $h(gal_site) $+ $h(gal_get) en cours ...
  sockwrite -n $sockname GET $h(gal_get) HTTP/1.1 
  sockwrite -nt $sockname Host: $h(gal_site)
  sockwrite -n $sockname
  .timerdl_gal_end 1 5 dl_gal_end
}
on *:sockread:dl_gallery:{
  if ($sockerr) { 
    echo -a * /dl_gallery : erreur de transaction ( $h(gal_site) )
    return 
  }
  sockread &a
  var %a 1,%c 1

  ;si lien coupé en tampon
  if $h(TempA) {
    if $bfind(&a,1,62) {
      var %a $ifmatch
      dl_detectlink $h(TempA) $+ $bvar(&a,1,%a).text
    }
    h TempA
  }

  ;détection d'autres liens
  while ($bfind(&a,%a,60 97 32) || $bfind(&a,%a,60 65 32)) {
    var %a1 = $bfind(&a,%a,60 97 32)
    var %a2 = $bfind(&a,%a,60 65 32)
    var %first = $iif(%a1 < %a2,$iif(%a1,%a1,%a2),$iif(%a2,%a2,%a1))
    %a = $iif(($bfind(&a,%first,62) <= $calc(%first + 500)) && $bfind(&a,%first,62),$bfind(&a,%first,62),$calc(%first + 1))

    ;détection de lien
    ;lien coupé
    if (%a == $calc(%first + 1)) {
      h TempA $bvar(&a,%first,500).text
      ;echo -s Mise en tampon : $bvar(&a,%first,500).text 
    }
    ;lien ok
    else { 
      dl_detectlink $bvar(&a,%first,$calc(%last - %first + 1)).text
    }
    ;timeout
    .timerdl_gal_end 1 5 dl_gal_end
    ;sécurité
    if (%c >= 2000) { break }
    inc %c
  }

}
on *:sockclose:dl_gallery:{
  dl_gal_end
}
alias dl_gal_end {
  if !$h(gal_end) {
    h gal_end 1
    sockclose dl_gallery
    .timerdl_gal_end off
    echo 4 -s * Gallerie analysée ! $h(gal_N) images ont été trouvées.
    echo 4 -s * Téléchargement des images en cours...
    dl_treatqueue
  }
}

alias dl_detectlink {
  ;echo 12 -s Lien détecté -> $1-
  if $regex($1-,/href="?([^>" ]+?\.(?:jpg|jpeg|png|gif))"?/i) {
    h gal_N $calc($h(gal_N) +1)
    echo 5 -s * Image détectée : $h(gal_N) -> $remove($regml(1),")
    dl_addqueue $h(gal_N) $h(gal_site) $+ $h(gal_get) $regml(1)
  }
}

;--------------------------------
; gestion de la queue list
; /dl_addqueue <numero_item> <page> <url_img>
; /dl_treatqueue
;--------------------------------
alias dl_addqueue {
  ;url relative
  if (http:// != $left($$3,7)) {
    ;url gallerie - fichier
    if (. isin $gettok($$2,-1,47)) || (? isin $gettok($$2,-1,47)) { var %url_site = $remove($2,$gettok($2,-1,47)) }
    else { var %url_site = $$2 }
    var %url_site = http:// $+ $iif(/ == $right(%url_site,1),%url_site,%url_site $+ /)
    ;url image
    var %img = %url_site $+ $3
  }
  ;url absolue
  else {
    var %img = $3
  }
  h queue_ $+ $$1 %img
}
alias dl_treatqueue {
  var %c = $h(gal_C)
  var %url = $h(queue_ $+ %c)
  if !%url && !$sock(dl_img).status { 
    echo 4 -s * Téléchargements terminés !
    echo 4 -s * Accès aux images : /run $shortfn($h(gal_path))
    return
  }
  elseif !$sock(dl_img).status {
    dl_img %url $h(gal_path) $+ $h(gal_prefix) $+ $gettok(%url,-1,47) 
    h gal_C $calc($h(gal_C) + 1)
  }
  ;les timers ici sont volontaires, histoire que le /dl_img reste indépendant,
  ;plutot qu'un appel a la queue en sockclose du dl_img =]
  .timer 1 1 dl_treatqueue
}

;--------------------------------
; téléchargement d'une image
; /dl_img <url> <nom_sortie>
;--------------------------------
alias dl_img {
  sockclose dl_img
  h img_site $gettok($remove($$1,http://),1,47)
  h img_get $remove($1,http://,$h(img_site))
  h img_path $$2
  h img_end 0
  sockopen dl_img $h(img_site) 80
}
on *:sockopen:dl_img:{
  if ($sockerr) { 
    echo -a * /dl_img : erreur de connexion au site ( $h(img_site) )
    return 
  }
  echo 5 -s * Téléchargement de http:// $+ $h(img_site) $+ $h(img_get) ...
  .remove $h(img_path)
  sockwrite -n $sockname GET $h(img_get) HTTP/1.1 
  sockwrite -nt $sockname Host: $h(img_site)
  sockwrite -nt $sockname Referer: http:// $+ $h(gal_site) $+ $h(gal_get)
  sockwrite -n $sockname
  .timerdl_img_end 1 5 dl_img_end
}
on *:sockread:dl_img:{
  if ($sockerr) { 
    echo -a * /dl_img : erreur de transaction ( $h(img_site) )
    return 
  }
  sockread &a
  ;coupure des en têtes
  if $bfind(&a, 1,$+($cr,$lf,$cr,$lf)) {
    bcopy -z &b 1 &a $calc($ifmatch + 4) -1
    bunset &a
    if $bvar(&b,0) {
      bcopy &a 1 &b 1 -1
    }
  }
  ;echo -s Debug : $bvar(&a,1,$bvar(&a,0)).text
  if $bvar(&a,0) {
    bwrite $h(img_path) -1 -1 &a
  }
  .timerdl_img_end 1 5 dl_img_end
}
on *:sockclose:dl_img:{
  dl_img_end
}
alias dl_img_end {
  if !$h(img_end) {
    h img_end 1
    sockclose dl_img
    .timerdl_img_end off
    echo 5 -s * Téléchargement terminé.
  }
}

;-----------------------------------
; alias hadd/$hget par simplicité
; /h <item> [value]
; $h(>item>)
;-----------------------------------
Alias h {
  if $isid { return $hget(DL_Gallery,$$1) }
  elseif ($2 == $null) { hdel DL_Gallery $$1 }
  else { hadd -m DL_Gallery $$1 $2- }
}

Conclusion :


Je remercie bien évidemment mes parents sans qui je n'en serais pas là aujourd'hui.

A voir également

Ajouter un commentaire

Commentaires

Signaler
RCA ArKanis
Messages postés
1287
Date d'inscription
mercredi 21 avril 2004
Statut
Membre
Dernière intervention
21 février 2009
 -
Bravo, une source très originale est bien codée, très pratique aussi :)

J'y ferais quelques modifications :
else {
var %img = $3
}
> else var %img $3

var %c = $h(gal_C)
var %url = $h(queue_ $+ %c)
var %c ..., %url ...

à mon avis, ce sont toutes deux des erreurs d'attention (tu as peut-être supprimé un commentaire entre les lignes)

Ton alias dl_img est bien imaginé :)
j'avais du mal à enlever les headers, j'sais pas pourquoi, des fois ma variable était vide.


; - pas testé avec des espaces dans le path
A mon avis ça ne marche pas avec espaces, surtout que :
h gal_path $iif($right($$2,1) !isin \/,$2 $+ /,$2)
Avec les espaces, ça serait $2-
Ensuite, tu devrais juste faire $qt($h(img_path)) non ?


Petite incohérence :
; /dl_img_one <nom_sortie>
;--------------------------------
alias dl_img {

Sinon encore bravo, c'est du beau travail
Signaler
cs_PaDa
Messages postés
1804
Date d'inscription
mardi 15 juillet 2003
Statut
Membre
Dernière intervention
22 septembre 2009
 1 -
Merci pour ton comment ;)

Pour le else, c'est une "bonne pratique" que j'applique en php, j'évite d'ommettre les accollades sinon quand on reprend le code on oublie la portée du else..

Pour les vars je trouve ca plus lisible :D mais en effet c'est une erreur dûe à une modif de dernière minute

Ouaip pour les espaces dans les path, j'regarderai à l'occasion (j'ai codé ca en 2h à minuit passé, t'imagines l'état du cerveau ^^)

J'évite le $qt j'aime bien que mes codes marchent partout.. mais j'updaterai ^^

Merci pour l'incohérence j'avais pas vu, j'vais modif de ce pas ;))
Signaler
cs_PaDa
Messages postés
1804
Date d'inscription
mardi 15 juillet 2003
Statut
Membre
Dernière intervention
22 septembre 2009
 1 -
Ah tiens un truc !
Si un spécialiste des binvars passe par la... En enlevant les tests pour plus de lisibilité, j'ai fait ca pour virer les headers :

if $bfind(&a, 1,$+($cr,$lf,$cr,$lf)) {
bcopy -z &b 1 &a $calc($ifmatch + 4) -1
bunset &a
bcopy &a 1 &b 1 -1
}

C'est hacky un peu de virer &a pour la redéfinir, j'avais fait ceci à la base :
if $bfind(&a, 1,$+($cr,$lf,$cr,$lf)) {
bcopy -z &a 1 &a $calc($ifmatch + 4) -1
}

Et, avec ou sans -z, le résultat paraissait ok en affichage ASCII mais me fournissait une image pourrie (regardable mais avec qq défauts). Une idée de la raison ? J'ai supposé que la var était mal écrasée, ou que sa longueur n'était pas bonne qu'un byte était rajouté à la fin ou je ne sais quoi... Merci d'avance :)
Signaler
hisoka2501
Messages postés
266
Date d'inscription
lundi 19 mai 2003
Statut
Membre
Dernière intervention
7 juillet 2009
 -
pourquoi ne pas avoir chainer certaines variables ?

et savais tu que depuis mirc 6.2 (oubien 6.17 je c plus ) on peut faire /* pour les commentaires
sur plusieurs lignes */

(jai trouvé ca y'a pas longtemp )

sinon le code est plutot sympa bon boulo :)
Signaler
cs_PaDa
Messages postés
1804
Date d'inscription
mardi 15 juillet 2003
Statut
Membre
Dernière intervention
22 septembre 2009
 1 -
Chainé comment ca ?

Et pour le /* */ oui je savais.. ca date de bien avant il me semble même ;)

Merci en tout cas ^^
Afficher les 8 commentaires
S'inscrire maintenant

Vous n'êtes pas encore membre ?

inscrivez-vous, c'est gratuit et ça prend moins d'une minute !

Les membres obtiennent plus de réponses que les utilisateurs anonymes.

Le fait d'être membre vous permet d'avoir un suivi détaillé de vos demandes et codes sources.

Le fait d'être membre vous permet d'avoir des options supplémentaires.

Du même auteur (cs_PaDa)