faire une recherche par mot clé dans un texte

Question

Bonjour,

 

 J'ai des docs en
registr&#233;s dans ma BDD,  j'aimerais faire des r&#233;cherches par mots cl&#233;s
sur ces docs enfin de n'en afficher que les docs qui contiennent les
mots cl&#233; (comme &#224; la google sauf que les expressions que je pourrais
saisir peuvent &#234;tre beaucoup plus compliqu&#233;es que ce qui propose google).

 

 Alors j'aimerais connaitre votre reflexion ...


 Et si vous connaissez des fonctions php qui me permettent de faire ce
traitement ou si un code existe d&#232;ja qui permet de faire &#231;a ...

 

 Toutes les id&#233;es seront les bienvenues..



PS: cette question je l'ai d&#232;ja pos&#233; mais elle n'&#233;tait pas dans le bon forum ...

malalam · Answer

Hello,

si tu veux du complexe, renseigne toi sur les index fulltext de mysql.

Sinon, regarde (tjrs en sql) la clause LIKE

J_G · Answer

Plus complexe que Google !!!!!!!!!



Les recherche de google sont d&#233;j&#224; pas mals... Tu peux utiliser les parenth&#232;ses, les op&#233;rateur &,|,!,+, *, -



tu peux sp&#233;cifier si le mot doit se trouver dans l'url, le meta description, le cache de google, ...



Tu tape "deux^vingt et un",


&#231;a te sort : deux^vingt et un = deux millions quatre-vingt-dix-sept mille cent cinquante-deux




Enorme !!! non ?





Ceci dit... &#231;a ne fera pas de recherche dans ta base...





JE te joint mon expression r&#233;guli&#232;re qui d&#233;coupe selon les mots (s&#233;par&#233;
par espace, point, virgule, ...) mais concerve aussi les expression
exacte (entour&#233;e par des guillemets double)





J'esp&#232;re que cela t'aidera... A+







-----------------------------------------------------------------------------

// la string &#224; d&#233;couper            

$phrase = trim($phrase);



// on d&#233;compose la phrase en mots

$m = array();

preg_match_all('@["][^"]+["]|[\S^"]+@', $phrase, &$m);



// l'expression reg sort les ", donc il faut les enlever...

$m = str_replace('"', '', $m[0]);



// pour ne pas chercher douze fois le m&#234;me mot 

$m = array_unique($m);

Maurimaure · Answer

Merci pour vos r&#233;ponses,



Effectivement Google fait d&#232;ja beucoup des choses mais je ne pense pas
qu'on peut faire une requ&#234;te du genre "je cherche  'mot1' et
'mot2' qui  sont s&#233;par&#233;s  par au plus 3  mots"



Et en plus vous me dites que je ne peut pas l'utilis&#233; pour faire des
recherche dans ma base alors que je pensais qu'on pouvait le faire car
je le voit souvent sur des sites ...  



Merci pour l'exp reg je pense que ca va bien m'&#234;tre utile 



Si vous avez d'autres reflexions n'h&#233;sitez pas ...

J_G · Answer

"je le voit souvent sur des sites ..."



En effet, mais les recherche google ne se base que sur le contenu
textuel des pages afich&#233;es (et depuis peu des fichiers pdf, doc, rft,
...)



Heureusement que google n'a pas acces &#224; votre base de donn&#233;es !! (s&#233;curit&#233;)





"je cherche  'mot1' et 'mot2' qui  sont s&#233;par&#233;s  par au plus 3  mots"



Ca sent l'usine &#224; gaz &#231;a !!!! Car, pour faire une recherche, il faut
une "double" programmation : une cot&#233; PHP (la regexp) puis une autre
qot&#233; BDD (avec le fameux LIKE '%mot%')



Apr&#233;s, les bases de donn&#233;es moderne fournissent des fonctions
puissantes pour manipuler les cha&#238;nes de caract&#232;res. Mais la
programmation SQL n'est pas agr&#233;able (de mon point de vue)...



Bonne chance !

malalam · Answer

puis une autre qot&#233; BDD (avec le fameux LIKE '%mot%')



=> ou index fulltext quand on veut vraiment de la puissance (et plus de lenteur...) (mais de la puissance n&#233;anmoins... ;-))



Mais la programmation SQL n'est pas agr&#233;able (de mon point de vue)

=> d&#233;pend quel sql quand m&#234;me.  Mais de toutes fa&#231;ons, autant limiter le travail e la bdd.

Maurimaure · Answer

Est ce que vous ouriez de la doc sur les indexes fulltext?? ou si vous
pouvez me dire ca corresponds &#224; quoi car je n'ai jamais eu l'ocasion de
l'utilis&#233; ...



Merci encore

malalam · Answer

Hello,



http://dev.mysql.com/doc/refman/5.0/en/fulltext-search.html

J_G · Answer

Note : Bcp de SQL ont des fonctions d'expressions reguli&#232;res

malalam · Answer

En plus!



Aucune raison de ne pas nous pondre un moteur de recherche plus puissant que celui de google, du coup ;-)

Maurimaure · Answer

Bonjour,



Merci beaucoup pour votre aide,



Effectivement les indexes fulltext proposent pas mal de solution pour la recherche dans une BD,



Mais je ne sais pas trop pour la rapidit&#233; d'exicution qu'est ce que &#231;a donne!!!



Alors la question que je me pose pour optimiser la recherche est :



A votre avis entre les deux choix cit&#233;s cidessous le quel serait le plus rapide en ex&#233;cution:

1)Une requ&#234;te MySql avec une clause like ou en utilisant les indexes
fulltext enfin de ne selectionner que les enregistrements qui
contiennent les mots cl&#233;s

2) Une requ&#234;te MySql qui selectionne  tous le contenu de la
colonne sur laquel j'effectue la recherche  et apr&#232;s utiliser les
exp reg  pour filitrer la selection 


Moi je suis plut&#244;t favorable au premier choix, mais je craint que &#231;a soit trop laurd pour la BDD ...



J'attends vos avis.

malalam · Answer

Comme te l'a dit J_G, tu peux utiliser les expressions r&#233;guli&#232;res en
sql. Enfin dans la plupart des sql. Dans mysql, en l'occurence, c'est
le cas.

J_G · Answer

[auteurdetail.aspx?ID=490666 maurimaure] => Vu que tu es all&#233; voir la d&#233;finition des champs "fulltext"... Tu pourrais me faire un r&#233;sum&#233; ?



Car je connais pas et j'ai pas trop le temps de me payer une lecture
(superflue) d'une nouvelle doc (m&#234;me si elle est pas supreflue)...



D'avance merci,

Mais si &#231;a t'emb&#234;te, ne te casse pas le bill



A+

Maurimaure · Answer

En fait &#231;a a l'heure assez simple tous simplement lors de la cr&#233;ation de ta table t'indique les champs index&#233;s en fulltext:



exemple :

CREATE TABLE articles (
    ->   id INT UNSIGNED AUTO_INCREMENT NOT NULL PRIMARY KEY,
    ->   title VARCHAR(200),
    ->   body TEXT,
    ->   FULLTEXT (title,body)
    -> );

Une fois tes indexes sont cr&#233;es tu as la possibilit&#233; d'utiliser beucoup de fonctions 
qui font &#224; peu pr&#232;s les m&#234;mes recherches que google

exemple :

SELECT * FROM articles
    ->          WHERE MATCH (title,body) AGAINST ('database'); 



avec cette requ&#234;te tu cherches les articles dont le titre ou le body contient le mot database ...



J'esp&#233;re que j'ai pu t'apporter un petit eclaircissement ...



Pour voir un peu plus le mieux c'est les docs c'est pas tr&#232;s long et je le trouve plut&#244;t bien &#233;crit ...



http://dev.mysql.com/doc/refman/5.0/fr/fulltext-search.html

J_G · Answer

Merci merci merci merci...



Ca &#224; l'air top ce truc !!! pourquoi je suis pass&#233; &#224; cot&#233; ?



Note : Finalement le gain est cot&#233; temps d'ex&#233;cution de la requ&#232;te, car
point de vue programmation de la requ&#232;te, &#231;a reste quasiment aussi
lourd !

Autre note : Cet index n'augmenterait-il pas la taille de la table (en octet) ?



Mais tu m'as motiv&#233; &#224; aller lire la doc !



Encore merci...

malalam · Answer

C'est m&#234;me plus lourd...

Ce qu'on perd en performance, on le gagne en robustesse, en fonctionnalit&#233;s, et en mall&#233;abilit&#233;, par contre.

Et si on reste modeste, on s'en sort quand m&#234;me avec d'excellentes perfs :-)

J_G · Answer

Mais, mais, c'est g&#233;niaaaaaaal !!!!




Pourquoi je suis pass&#233; &#224; cot&#233; de &#231;a... pourquoi... Il va falloir que je me retappe mon moteur de recherche :(





Putain &#231;a faisait longtemps que je n'avais pas appris un truc fou sur ce forum... Ca fait plaisir



Bye et encore merci !

cs_pierreprog · Answer

J'ai enregistr&#233; dans ma base de donn&#233;es des fichiers excel, word et pdf (champ longblob)
Est ce que quelqu'un serait effectu&#233; une recherche dans ces documents?
J'aimerai bien utiliser les r&#233;ponses pr&#233;c&#233;dentes mais je n'arrive pas &#224; chercher du texte ne serait ce que ds un pdf. Il est en binaire.
Si quelqu'un sait...

Maurimaure · Answer

->Est ce que quelqu'un serait effectu&#233; une recherche dans ces documents?

Normalement oui !!

->J'aimerai bien utiliser les r&#233;ponses pr&#233;c&#233;dentes mais je n'arrive pas &#224;
chercher du texte ne serait ce que ds un pdf. Il est en binaire.

je ne comprend pas pourquoi en binaire?

malalam · Answer

Hello,

on ne stocke pas des documents entiers dans une bdd dans un champ blob...c'est inutile dans la plupart des cas.
G&#233;n&#233;ralement, on stocke juste l'url vers ces documents. Enfin, tu ne veut peut-&#234;tre pas les stocker sur le serveur, ok.

Ceci dit, tu ne pourras pas effectuer des recherches sur ces documents, dans ce cas. En tous cas, pas directement dans ta table.

Je te l'ai d&#233;j&#224; dit, il me semble, mais g&#233;n&#233;ralement, si on veut travailler sur des donn&#233;es provenant d'une autre appli que notre base, et ce directement dans la base, on fait un import de ces donn&#233;es, on ne stocke pas le fichier g&#233;n&#233;r&#233; par l'appli dans un champ blob. Parce que &#231;a reste un fichier de ce type, et donc lisible uniquement par le logiciel l'ayant g&#233;n&#233;r&#233;!

J_G · Answer

Salut...



Effectivement, tu vas avoir du mal &#224; chercher du texte dans des champs
binaire. M&#234;me si &#231;a doit bien &#234;tre possible quelque part. 



Je ne discuterais pas le fait que tu stock ton fichier dans la BDD. Ca peut &#234;tre utile...



Mais, si tu veux chercher du texte dans ton PDF (par exemple), il va
falloir que tu cr&#233;asses un autre champs. - Hmm... quel pied ! c'est pas
tous les jour qu'on se paye un subjonctif de l'imparfait !!! Je vais
faire une croix dans mon calendrier, bouges pas. - 



Donc je disais un autre champ avec le texte ( (: FULLTEXT :) ) du PDF.
J'ai sur ma b&#233;canne la commande pdftotext inputFile.pdf outputFile.txt
qui se charge de faire la traduction.



C'est du Linux... &#233;videmment !





Bonne chance

cs_pierreprog · Answer

Si j'ai stock&#233; les document word pdf ou excel dans la base de donn&#233;es et pas dans l'url (comme je fais d'habitude), c'&#233;tait pour cr&#233;er un  moteur de recherche. Apres moult recherche, j'en suis arriv&#233; &#224; la conclusion que l'on ne pouvait pas avec du php convertir un format word ou pdf au format texte... ce qui est bien dommage. 
la seule solution qui existe est de transformer les fichier pdf, word ou excel grace &#224; un programme ext&#233;rieur executable en ligne de commande et de l'ins&#233;rer dans son script php. (word: catdoc.exe, pdf: pdftotext.exe, excel: xlhtml.exe, powerpoint: ppthtml.exe)
Ah ben J_G, je viens de lire ton message. Tu as r&#233;pondu juste au moment ou je r&#233;pondais.
Donc voila, J_G confirme. Moi je le fait tourner sous Windows. Cahier des charges oblige.
Au faite, je n'avais jamais stocker mes pdf dans une bd avant. Maintenant, je le ferais tout le temps: meilleur rapidit&#233; d'execution (&#224; mon sens, je peux me tromper), plus de probl&#232;me de nom de fichier en double.
Je suis fier d'avoir utiliser "moult", c'est comme un subjonctif de l'imparfait... c'est pas facile &#224; caser...

Maurimaure · Answer

Bonjour &#224; tous,

J'ai test&#233; l'indexation fulltext(en utilisant l'option mode boolean) , et ca marche bien avec tous les textes en langue  occidentale,  par contre quand j'ai essay&#233; de chercher dans un texte d'autres langues (arabes au chinoises, ...) ca n'a pas march&#233; ...

est ce que vous avez une id&#233;e sur ce probl&#232;me ...

Merci d'avance

cs_pierreprog · Answer

Alors l&#224;, je ne serais pas quoi te r&#233;pondre... d&#233;sol&#233;.
J'ai un autre souci. La recherche FULLTEXT permet d'obtenir un degr&#233;e de pertinence pour une recherche. Chose que je trouve tr&#233;s pratique. Le seul truc c'est qu'il n'affiche pas les textes qui ont un degr&#233;s de pertinence &#233;gale &#224; 1. Ce qui est plut&#244;t emb&#233;tant. 
Est ce que pour faire un bon moteur de recherche, je dois rechercher avec le mode boolean et apres chercher avec la pertinence?

(Rappel: Le mode boolean permet d'afficher l'ensemble des lignes contenant le mot recherch&#233;)

Merci pour vos r&#233;ponses.

J_G · Answer

Salut,



Moi j'ai m&#234;me rencontrer un probl&#232;me plus gal&#232;re avec les FullText :

MySQL 3.23 => pas de recherche en mode Bool&#233;en !



Et "match(titre,texte) against ('art')" ne trouvera pas "artiste" !!! Ce qui est stupide... (Et bien s&#251;r je n'ai pas le choix de la version de MySQL)





donc, pour moi, la bonne fa&#231;on de l'utiliser est ainsi :



select t.*, match(t.titre,t.texte) against ('art') as score

from table as t

where t.titre like '%art%' or t.text like '%art%'

order by score desc, t.titre asc, t.text asc;



ainsi, les r&#233;sultats contenant le mot "art" seront plass&#233;s en t&#234;te. Et
ceux contenant les d&#233;riv&#233; de "art" ensuite (artisite, artisant, tarte,
...)



Le probl&#232;me : 

Du coup, on garde la lourdeur des like...

C'est-&#224;-dire pour M mots et N champs de recherche on aura M*N conditions dans la requ&#232;te... 





Voil&#224; ma solution.

A+

Faire une recherche par mot clé dans un texte

24 réponses

Votre réponse

Discussions similaires