Analyser le texte d'une page webRésolu

Question

Bonjour, 
J'essaye depuis quelques mois de développer un contrôle parental, je bloque cependant sur une fonction que j'aimerais bien arriver à faire, l'analyse du texte sur la page où se trouve l'utilisateur. J'ai réussi à récupérer le code source de la page, ce qui me permet de trouver le texte qui s'y trouve. Cependant l'analyse des mots présents dans cette page peut être faussée par la présence des balises HTML ... J'ai donc pensé à supprimer toutes les balises HTML que récupère mon programme afin d'extraire uniquement le texte. Cette solution me semble correcte.
Mais c'est ici que commence le problème, en effet la récupération du code source est simple car dans mon programme, je défini telle ou telle adresse, il faudrait que l'utilisateur utiliser un navigateur que j'ai fais moi, mais je ne peux pas imposer une telle contrainte, donc peut-on récupérer les URL's des autres navigateurs ou récupérer les URL's (Ou IP) qui transitent sur l'ordinateur local ?
Pensez vous que c'est une bonne solution ou en avez vous une meilleure ? A moins de créer un add-on pour chaque navigateur ...
Merci.

ghuysmans99 · Answer

Salut,

En utilisant des sockets, tu peux faire un proxy : les navigateurs se connectent à lui (c'est à configurer pour chacun) et c'est ton proxy qui fait la requête sur chaque serveur et qui fait ce qu'il veut avec les données renvoyées (remplacement d'images, censure, etc.). 

Une solution plus simple consiste à placer un PC dédié entre Internet (plus précisément, ton routeur) et le reste de ton réseau. Des versions de BSD comme Untangle sont tout à fait adaptées au filtrage, mais ça ne fonctionne pas sur base de mots-clés mais plutôt sur base d'URL...

geeegeee · Answer

Bonjour,

Extraction de données de pages web à l'aide de HTML Agility Pack
http://tlevesque.developpez.com/tutoriels/dotnet/extraction-donnees-web-html-agility-pack/

ghuysmans99 · Answer

Un exemple en C# est disponible là, tu devrais t'en inspirer : http://www.mentalis.org/soft/projects/proxy/.

Pour ce qui est du "comment on fait le blocage", il suffit de nettoyer les blocs (de texte) qui sont sur le point d'être envoyés au client, de vérifier si des mots interdits s'y trouvent (boucle pour chaque mot interdit) et si c'est le cas, d'écraser le contenu de la page. Pour le blocage par site, là c'est encore plus simple vu que tu n'as qu'à écraser le contenu lorsque l'URL contient ou vaut tel ou tel truc.

Mais avant de te lancer là-dedans, il faut déjà avoir un bon niveau en programmation, histoire de comprendre ce que tu fais. Une autre chose à savoir c'est que c'est très facile à contourner côté client (et je suppose que des tonnes de tutos existent sur la Toile)... Ça serait dommage de passer des jours à développer quelque chose qui sera contourné en peu de temps.

ghuysmans99 · Answer

Je me permets de répondre à la question que tu as posée à geeegeee : tu ne peux tout simplement pas intercepter toutes les demandes des navigateurs. Ou plutôt : si, tu le peux (peut-être pas en .NET), mais ton programme se comportera alors plus comme un virus que comme un contrôle parental.

Comme je l'ai dit plus haut, soit tu demandes gentiment aux navigateurs Web de passer par ton proxy, soit tu forces tout le monde à passer par une machine qui s'occupe de filtrer ce qui passe (et pour le coup, ça ne sera pas en .NET).

ghuysmans99 · Answer

Fiddler ne fait qu'utiliser des addons (ou, pour IE, modifier les paramètres de proxy) afin de détourner le trafic. En gros, ce n'est qu'un proxy très perfectionné.

N'ayant pas de version de Visual Studio compatible avec .NET4 (et FiddlerCore en est à cette version), je ne peux même pas ouvrir le projet. Il n'empêche que c'est à toi de faire toi-même ton application, on n'est là seulement pour t'aider sur des points techniques précis.

Utilisateur anonyme · Answer

Bonjour à tous,
j'ai réussi à trouver grâce à l'API FiddlerCore de l'application Fiddler.
Voici le code :
Option Explicit On
Imports Fiddler
Imports System.Net
Imports System.IO

Public Class Form1

Dim url As String = Nothing

Public Sub New()
        ' This call is required by the designer.
        InitializeComponent()
        ' Add any initialization after the InitializeComponent() call.
        AddHandler FiddlerApplication.BeforeResponse, AddressOf FiddlerBeforeResponseHandler
        AddHandler FiddlerApplication.BeforeRequest, AddressOf FiddlerBeforeRequestHandler
        AddHandler Application.ApplicationExit, AddressOf ShutdownFiddlerApp
        Dim oFlags As FiddlerCoreStartupFlags = FiddlerCoreStartupFlags.Default
        FiddlerApplication.Startup(0, oFlags)
        MsgBox("Started proxy on port " & FiddlerApplication.oProxy.ListenPort)
    End Sub

Private Sub ShutdownFiddlerApp()
        FiddlerApplication.Shutdown()
        MsgBox("Unloaded proxy")
        Threading.Thread.Sleep(1000)
    End Sub

Private Sub FiddlerBeforeRequestHandler(ByVal tSession As Session)
        RichTextBox1.BeginInvoke(New AsyncMethodCaller(AddressOf AddText), tSession.fullUrl)
    End Sub

Private Sub FiddlerBeforeResponseHandler(ByVal tSession As Session)
    End Sub

Public Sub Verification()
        Try
            ListeMot.AddRange(IO.File.ReadAllLines("C:UsersClémentDocumentsListeDeMots.txt"))
            Dim found As Boolean = False
            For Each s As String In ListeMot
                If url.ToLower.Contains("-" & s.ToLower & "-") Or url.ToLower.Contains("." & s.ToLower & ".") Or url.ToLower.Contains("." & s.ToLower & "-") Or url.ToLower.Contains("-" & s.ToLower & ".") Then
                    MsgBox("Un mot interdit dans l'URL a été détecté :" & s)
                End If
            Next
        Catch
        End Try
        Try
            Dim webClient As New System.Net.WebClient
            Dim result As String = webClient.DownloadString(url)
            Dim client As WebClient = New WebClient()
            Dim data As Stream = client.OpenRead(url)
            Dim reader As StreamReader = New StreamReader(data)
            Dim Page As String = reader.ReadToEnd
            ListeMot.AddRange(IO.File.ReadAllLines("C:UsersClémentDocumentsListeDeMots.txt"))
            Dim found As Boolean = False
            For Each s As String In ListeMot
                If Page.ToLower.Contains(" " & s.ToLower & " ") Then
                    MsgBox("Un mot interdit a été détecté :" & s)
                End If
            Next
        Catch
        End Try
    End Sub

Dim ListeMot As New List(Of String)

Private Sub AddText(sText As String)
        Dim url2 As Uri
        url2 = New Uri(sText)
        If url2.AbsolutePath.EndsWith(".js") = False And url2.AbsolutePath.EndsWith(".jpg") = False And url2.AbsolutePath.EndsWith(".gif") = False And url2.AbsolutePath.EndsWith(".png") = False And url2.AbsolutePath.EndsWith(".css") = False And url2.AbsolutePath.EndsWith(".ico") = False And url2.AbsolutePath.EndsWith(":443") = False Then
            RichTextBox1.AppendText(sText & vbCrLf)
            url = sText
            Dim Thread As New Threading.Thread(AddressOf Verification)
            Thread.Start()
        End If
    End Sub

Protected Overrides Sub Finalize()
        MyBase.Finalize()
    End Sub
End Class

Public Delegate Sub AsyncMethodCaller(sText As String)

Utilisateur anonyme · Answer

Bonjour, j'ai optimisé encore une fois le code, le programme plantait lors de la lecture de vidéos, trop grand nombre d'URLs... Option Explicit On Imports Fiddler Imports System.Net Imports System.IO Imports Microsoft.Win32 Public Class Form1 Dim ListeMots As New List(Of String) Dim url As String = Nothing Public Delegate Sub AsyncMethodCaller(sText As String) Private Sub ShutdownFiddlerApp() FiddlerApplication.Shutdown() MsgBox("Unloaded proxy") Threading.Thread.Sleep(1000) End Sub Private Sub FiddlerBeforeRequestHandler(ByVal tSession As Session) RichTextBox1.BeginInvoke(New AsyncMethodCaller(AddressOf AddText), tSession.fullUrl) End Sub Private Sub FiddlerBeforeResponseHandler(ByVal tSession As Session) End Sub Public Sub VerificationPage() Try Dim webClient As New System.Net.WebClient Dim result As String = webClient.DownloadString(url) Dim client As WebClient = New WebClient() Dim data As Stream = client.OpenRead(url) Dim reader As StreamReader = New StreamReader(data) Dim Page As String = reader.ReadToEnd ListeMots.AddRange(IO.File.ReadAllLines("C:Users\" & System.Environment.UserName & "DocumentsListeDeMots.txt")) Dim found As Boolean = False For Each s As String In ListeMots If Page.ToLower.Contains(" " & s.ToLower & " ") = True Or Page.ToLower.Contains("

" & s.ToLower & "

") = True Then RichTextBox1.Clear() MsgBox("Un mot interdit a été détecté :" & s) End If Next Catch End Try End Sub Public Sub VerificationURL() Try Dim found As Boolean = False For Each s As String In ListeMots If url.ToLower.Contains("-" & s.ToLower & "-") = True Or url.ToLower.Contains("." & s.ToLower & ".") = True Or url.ToLower.Contains("." & s.ToLower & "-") = True Or url.ToLower.Contains("-" & s.ToLower & ".") = True Then RichTextBox1.Clear() MsgBox("Un mot interdit dans l'URL a été détecté :" & s) End If Next Catch End Try End Sub Private Sub AddText(sText As String) RichTextBox1.SelectAll() Dim nbrligne As Integer = RichTextBox1.GetLineFromCharIndex(RichTextBox1.SelectionLength()) If nbrligne > 40 Then RichTextBox1.Clear() End If Dim url2 As Uri url2 = New Uri(sText) If url2.AbsolutePath.EndsWith(".js") = False And url2.AbsolutePath.EndsWith(".jpg") = False And url2.AbsolutePath.EndsWith(".gif") = False And url2.AbsolutePath.EndsWith(".png") = False And url2.AbsolutePath.EndsWith(".css") = False And url2.AbsolutePath.EndsWith(".ico") = False And url2.AbsolutePath.EndsWith(".jpeg") = False And RichTextBox1.Text.Contains(sText) = False And url2.ToString.Length < 200 = True Then RichTextBox1.AppendText(sText & vbCrLf) url = sText Dim ThreadVerificationPage As New Threading.Thread(AddressOf VerificationPage) ThreadVerificationPage.Start() Dim ThreadVerificationURL As New Threading.Thread(AddressOf VerificationURL) ThreadVerificationURL.Start() End If End Sub Protected Overrides Sub Finalize() MyBase.Finalize() End Sub Public Sub New() ' This call is required by the designer. InitializeComponent() ' Add any initialization after the InitializeComponent() call. AddHandler FiddlerApplication.BeforeResponse, AddressOf FiddlerBeforeResponseHandler AddHandler FiddlerApplication.BeforeRequest, AddressOf FiddlerBeforeRequestHandler AddHandler Application.ApplicationExit, AddressOf ShutdownFiddlerApp Dim oFlags As FiddlerCoreStartupFlags = FiddlerCoreStartupFlags.Default FiddlerApplication.Startup(0, oFlags) MsgBox("Started proxy on port " & FiddlerApplication.oProxy.ListenPort) End Sub End Class

Utilisateur anonyme · Answer

Bonjour, j'ai optimisé encore une fois le code, le programme plantait lors de la lecture de vidéos, trop grand nombre d'URLs... Option Explicit On Imports Fiddler Imports System.Net Imports System.IO Imports Microsoft.Win32 Public Class Form1 Dim ListeMots As New List(Of String) Dim url As String = Nothing Public Delegate Sub AsyncMethodCaller(sText As String) Private Sub ShutdownFiddlerApp() FiddlerApplication.Shutdown() MsgBox("Unloaded proxy") Threading.Thread.Sleep(1000) End Sub Private Sub FiddlerBeforeRequestHandler(ByVal tSession As Session) RichTextBox1.BeginInvoke(New AsyncMethodCaller(AddressOf AddText), tSession.fullUrl) End Sub Private Sub FiddlerBeforeResponseHandler(ByVal tSession As Session) End Sub Public Sub VerificationPage() Try Dim webClient As New System.Net.WebClient Dim result As String = webClient.DownloadString(url) Dim client As WebClient = New WebClient() Dim data As Stream = client.OpenRead(url) Dim reader As StreamReader = New StreamReader(data) Dim Page As String = reader.ReadToEnd ListeMots.AddRange(IO.File.ReadAllLines("C:Users\" & System.Environment.UserName & "DocumentsListeDeMots.txt")) Dim found As Boolean = False For Each s As String In ListeMots If Page.ToLower.Contains(" " & s.ToLower & " ") = True Or Page.ToLower.Contains("

" & s.ToLower & "

") = True Then RichTextBox1.Clear() MsgBox("Un mot interdit a été détecté :" & s) End If Next Catch End Try End Sub Public Sub VerificationURL() Try Dim found As Boolean = False For Each s As String In ListeMots If url.ToLower.Contains("-" & s.ToLower & "-") = True Or url.ToLower.Contains("." & s.ToLower & ".") = True Or url.ToLower.Contains("." & s.ToLower & "-") = True Or url.ToLower.Contains("-" & s.ToLower & ".") = True Then RichTextBox1.Clear() MsgBox("Un mot interdit dans l'URL a été détecté :" & s) End If Next Catch End Try End Sub Private Sub AddText(sText As String) RichTextBox1.SelectAll() Dim nbrligne As Integer = RichTextBox1.GetLineFromCharIndex(RichTextBox1.SelectionLength()) If nbrligne > 40 Then RichTextBox1.Clear() End If Dim url2 As Uri url2 = New Uri(sText) If url2.AbsolutePath.EndsWith(".js") = False And url2.AbsolutePath.EndsWith(".jpg") = False And url2.AbsolutePath.EndsWith(".gif") = False And url2.AbsolutePath.EndsWith(".png") = False And url2.AbsolutePath.EndsWith(".css") = False And url2.AbsolutePath.EndsWith(".ico") = False And url2.AbsolutePath.EndsWith(".jpeg") = False And RichTextBox1.Text.Contains(sText) = False And url2.ToString.Length < 200 = True Then RichTextBox1.AppendText(sText & vbCrLf) url = sText Dim ThreadVerificationPage As New Threading.Thread(AddressOf VerificationPage) ThreadVerificationPage.Start() Dim ThreadVerificationURL As New Threading.Thread(AddressOf VerificationURL) ThreadVerificationURL.Start() End If End Sub Protected Overrides Sub Finalize() MyBase.Finalize() End Sub Public Sub New() ' This call is required by the designer. InitializeComponent() ' Add any initialization after the InitializeComponent() call. AddHandler FiddlerApplication.BeforeResponse, AddressOf FiddlerBeforeResponseHandler AddHandler FiddlerApplication.BeforeRequest, AddressOf FiddlerBeforeRequestHandler AddHandler Application.ApplicationExit, AddressOf ShutdownFiddlerApp Dim oFlags As FiddlerCoreStartupFlags = FiddlerCoreStartupFlags.Default FiddlerApplication.Startup(0, oFlags) MsgBox("Started proxy on port " & FiddlerApplication.oProxy.ListenPort) End Sub End Class

Analyser le texte d'une page web

8 réponses

Votre réponse

Discussions similaires