Alternative au moteur de recherche Google

Internet est il seulement réduit à nos bon vieux moteurs de recherches (Google, Yahoo, etc...) ? Et bien non, Internet est bien plus que cela.
Avatar du membre
dudumomo
Administrateur
Administrateur
Messages : 2169
Enregistré le : 11 mars 2008, 14:42
Localisation : Taipei
Contact :

Alternative au moteur de recherche Google

Messagepar dudumomo » 18 août 2010, 23:21

Bonjour à tous,

Certains s'en souvienne, il y a quelques années, Free décida de faire payer Dailymotion pour sa trop grosse quantité de bande passante utilisé (Alors que nous payons justement notre abonnement pour naviguer en partie sur ces sites....), SFR et Orange emboita le pas pour racketer cette plateforme française concurrente de Youtube.
Mais pourquoi Free n'a pas fait de même pour Youtube, qui consumme encore plus de bande passante ? ---> Simple, la peur de disparaitre.

En effet, Youtube appartenant à Google, Free ne peut racketer Youtube ou bloquer les connections vers ce site sans risquer des représailles de Google comme par exemple le "dé-indexé" du moteur de recherche et donc devenir invisible pour plus de 90% (Part de marché) des français...

Cette anecdote, montrant Free sous une mauvaise image (Qui porte finalement pas si bien son nom), me fait encore plus peur sur l'omniprésence de Google.


J'ai donc cherché une alternative au moteur de recherche Google.
Il existe un tas de moteur de recherche avec chacun leur avantages et inconvénients. Vous connaissez peut être Doona (Moteur de recherche 100% humanitaire, qui reverse l'intégralité des sommes récoltés via la pub à des associations humanitaires. Malheureusement le projet ne semble plus être soutenu), ou bien les moteurs de recherche Ixquick ou Yauba (Qui protège l'anonymat en ne gardant aucun log, cookies, etc...), ou encore le très nouveau et dynamique moteur de recherche Seeks, (Projet libre sur une structure plutôt décentralisé puisque chacun peut l'installer sur son PC ou serveur et ainsi faire tourner un noeud de plus, dont chaque noeud, relié en P2P permet d'enregistrer et de partager les préférences de site de chacun et ainsi améliorer le ranking)

Mais malheureusement, tout ces "dit" moteurs de recherche sont en fait des meta-moteurs, c'est à dire qu'ils se basent sur l'indexation de Google, Yahoo, Bing, etc...et font leurs sauces avec.

On est donc loin d'un moteur de recherche décentralisé, indépendant, protégé de la censure, pérenne et qui ne risque pas de tomber en panne à cause d'un serveur défaillant.

Pourtant je viens de découvrir un moteur de recherche (et non un meta-moteur), décentralisé où chaque utilisateur qui l'installe sur son PC ou serveur "lance" un crawler pour l'indexation du net et reporte les trouvailles dans une base de données partagés. Bref un vrai moteur de recherche utilisant le P2P et étant sous licence GPL. Si un maillon casse, la chaine n'est pas cassé grâce au P2P.

Il s'agit du projet YaCy.
Selon Wikipedia:
YaCy est un moteur de recherche basé sur le principe d'un réseau poste à poste (P2P). Ce logiciel est développé en Java et est actuellement installé sur des centaines (fin 2006) d'ordinateurs appelés YaCy-peers ou postes-YaCy. Chaque poste-YaCy lance des robots d'indexation qui analysent les pages trouvées. Les résultats sont enregistrés dans une banque de donnée distribuée (indexe).

Un réseau YaCy est caractérisé par une architecture décentralisée. Tous les noeuds (peers) YaCy sont équivalents et il n'existe pas de serveur principal. Sur un poste YaCy tourne en mode crawler ou bien en mode proxy.

L'accès au moteur de recherche se fait par l'intermédiaire d'un serveur Web local qui présente un champ pour introduire les mots clefs et fournit les résultats sous forme d'une page web habituelle.

Le logiciel est délivré sous licence GPL.


Si Google, ou tiens...Baidu (moteur de recherche Chinois) décide de raser de la carte le site "vivelaliberté.CN" (On supposera que Yahoo suivra également vu les relations assez étroite...), et bien ce site sera évidemment toujours référencé sur YaCy.

Bref, après l'avoir installé facilement sous mon serveur Ubuntu (En ajoutant le dépot: deb http://debian.yacy.net ./    au source.list, puis update et install yacy), j'essaye de comprendre ses différents réglages. (Il marche directement une fois installé, mais j'aime bien optimiser le tout  :angel:)

Malheureusement, le projet n'est pas très bien documenté en Anglais ou en Français. Il s'agit d'un projet Allemand mais je ne parle nullement cette langue... :prr:. J'essaye donc de me débrouiller.
Des personnes connaissent ce projet ?

Bien que je viens juste de l'installer et que je ne le connais pas très bien, je vous conseille vivement de l'essayer.
Vous pouvez aussi sans installer yacy sur votre PC, utiliser le moteur de recherche en question (Dans ce cas, nous n'aidez pas directement à l'indexation des sites)

Il s'agit d'un projet assez récent (2006) et donc, ne vous attendez pas à un niveau de précision des recherches digne de Google qui possède plus de 2 000 000 d'ordinateurs qui indexent le web. (Mais comme il s'agit d'un projet P2P, les 2 millions ne sont pas si impossible)
News & Tutorials on opensource software ==> freedif.org
Idipops, réseau social des prestataires de services.

Avatar du membre
Pascal
CàA MT Libristes
CàA MT Libristes
Messages : 710
Enregistré le : 16 novembre 2009, 15:44
Localisation : Toulon (Var)
Contact :

Re : Alternative au moteur de recherche Google

Messagepar Pascal » 18 août 2010, 23:44

Merci dudumomo, je vais l'installer.
Je corrige l'adresse du dépôt : deb http://debian.yacy.net/ ./
Il manquait le "/" après ".net"
"Le devoir du présent, c'est d'être le bienfaiteur de l'avenir." Jules Verne
Image
Profitez de la recherche partagée avec YaCy

Avatar du membre
jip
Administrateur
Administrateur
Messages : 2607
Enregistré le : 22 février 2008, 21:00
Localisation : Toulouse
Contact :

Re : Alternative au moteur de recherche Google

Messagepar jip » 19 août 2010, 01:49

je rajoute, juste pour le principe, le lien vers le site du projet : http://yacy.net

:applaudis: :applaudis: et donc, 2 petits articles sur le mode utilisateur et le mode participant avec install config (ou un seul avec les 2 contextes) sur boinclinux ????  :evil: :evil: :evil: :grin: :grin: :grin: :thomas: :thomas: :thomas:
Un synonyme, c'est un mot qu'on écrit pour remplacer celui dont on ne connait pas l'orthographe. (source inconnue). L'imagination est plus importante que le savoir. (Albert Einstein)

Image


BoincLibristes, FreeTorrent, Ma brute

Avatar du membre
Pascal
CàA MT Libristes
CàA MT Libristes
Messages : 710
Enregistré le : 16 novembre 2009, 15:44
Localisation : Toulon (Var)
Contact :

Re : Alternative au moteur de recherche Google

Messagepar Pascal » 19 août 2010, 08:08

En effet, ce serait bien, surtout si c'est en français. Pour le moment, je n'ai pas compris le fonctionnement et je ne sais pas si YaCy fait des recherches ou pas.
"Le devoir du présent, c'est d'être le bienfaiteur de l'avenir." Jules Verne
Image
Profitez de la recherche partagée avec YaCy

Avatar du membre
dudumomo
Administrateur
Administrateur
Messages : 2169
Enregistré le : 11 mars 2008, 14:42
Localisation : Taipei
Contact :

Re : Alternative au moteur de recherche Google

Messagepar dudumomo » 19 août 2010, 10:17

:fccpu:
Dès que j'aurai mieux compris son utilisation, je posterai un article alors  :angel:
News & Tutorials on opensource software ==> freedif.org
Idipops, réseau social des prestataires de services.

Avatar du membre
Pascal
CàA MT Libristes
CàA MT Libristes
Messages : 710
Enregistré le : 16 novembre 2009, 15:44
Localisation : Toulon (Var)
Contact :

Re : Alternative au moteur de recherche Google

Messagepar Pascal » 19 août 2010, 10:49

Oui, oui,  :applaudis: :applaudis: :applaudis: ,
ça va très certainement être d'une grande aide.
Pour le moment ça tourne, mais je ne sais pas ce qu'il fait exactement.
Ce projet me paraît très intéressant et date quand même de 2004 ! Je suis étonné qu'on n'en ait pas entendu parler plus tôt ...
Se débarrasser des monopoles est appréciable et peut-être même de la censure à venir.
"Le devoir du présent, c'est d'être le bienfaiteur de l'avenir." Jules Verne
Image
Profitez de la recherche partagée avec YaCy

Avatar du membre
dudumomo
Administrateur
Administrateur
Messages : 2169
Enregistré le : 11 mars 2008, 14:42
Localisation : Taipei
Contact :

Re : Alternative au moteur de recherche Google

Messagepar dudumomo » 19 août 2010, 11:00

J'avoue être un peu perdu dans toutes les options...
Je pense qu'il tourne également, car j'analyse des pages genre j'ai fait des pointes à 50PagesParMinute
Mais bon...après je sais pas trop ce qu'il fait.
Je vais tacher de me documenter.

On se tient au courant de nos découvertes.
News & Tutorials on opensource software ==> freedif.org
Idipops, réseau social des prestataires de services.

Avatar du membre
dudumomo
Administrateur
Administrateur
Messages : 2169
Enregistré le : 11 mars 2008, 14:42
Localisation : Taipei
Contact :

Re : Alternative au moteur de recherche Google

Messagepar dudumomo » 19 août 2010, 22:19

Ayé ca commence, j'ai dépassé mon million de documents indexés.
Evidemment, tout se fait tout seul. J'ai seulement alloué plus de RAM au processus et le reste est par défaut.
News & Tutorials on opensource software ==> freedif.org
Idipops, réseau social des prestataires de services.

Avatar du membre
Pascal
CàA MT Libristes
CàA MT Libristes
Messages : 710
Enregistré le : 16 novembre 2009, 15:44
Localisation : Toulon (Var)
Contact :

Re : Alternative au moteur de recherche Google

Messagepar Pascal » 19 août 2010, 22:50

dudumomo a écrit :Ayé ca commence, j'ai dépassé mon million de documents indexés.

Comment tu vois ça ?
"Le devoir du présent, c'est d'être le bienfaiteur de l'avenir." Jules Verne
Image
Profitez de la recherche partagée avec YaCy

Avatar du membre
jip
Administrateur
Administrateur
Messages : 2607
Enregistré le : 22 février 2008, 21:00
Localisation : Toulouse
Contact :

Re : Alternative au moteur de recherche Google

Messagepar jip » 19 août 2010, 23:55

ça commence quoi exactement et de quel ordre (cpu, ram, bp) ??
Un synonyme, c'est un mot qu'on écrit pour remplacer celui dont on ne connait pas l'orthographe. (source inconnue). L'imagination est plus importante que le savoir. (Albert Einstein)

Image


BoincLibristes, FreeTorrent, Ma brute

Avatar du membre
dudumomo
Administrateur
Administrateur
Messages : 2169
Enregistré le : 11 mars 2008, 14:42
Localisation : Taipei
Contact :

Re : Alternative au moteur de recherche Google

Messagepar dudumomo » 20 août 2010, 10:10

Dans Peer administration,
tu vas dans YaCy Network, et tu vois tes "stats" ainsi que les "stats" globales.

Niveau ressources, ca utilises du CPU (Plus ou moins en fonction des réglages), de la ram (J'ai mis à 1go max), un peu de bande passante (Mais je ne sais pas mesurer cela...) et de l'espace disque. (Il recommande de laisser 25Go si on compte faire tourner longtemps YaCy)
Bon sur le serveur, ca ne pose pas de soucis.
News & Tutorials on opensource software ==> freedif.org
Idipops, réseau social des prestataires de services.

Avatar du membre
Pascal
CàA MT Libristes
CàA MT Libristes
Messages : 710
Enregistré le : 16 novembre 2009, 15:44
Localisation : Toulon (Var)
Contact :

Re : Alternative au moteur de recherche Google

Messagepar Pascal » 20 août 2010, 10:48

Alors, dans ce tableau je suis à 1,284,923 documents et 15ppm.
Le qph est à 0.05

Dans l'onglet Active Peers de YaCy Network il apparaît un "Guepi". Est-ce celui de la MT ?
Certains dans la première colonne ont un "CRAWL" qui clignote en rouge, tu sais ce que cela veut dire ?
"Le devoir du présent, c'est d'être le bienfaiteur de l'avenir." Jules Verne
Image
Profitez de la recherche partagée avec YaCy

Avatar du membre
dudumomo
Administrateur
Administrateur
Messages : 2169
Enregistré le : 11 mars 2008, 14:42
Localisation : Taipei
Contact :

Re : Alternative au moteur de recherche Google

Messagepar dudumomo » 20 août 2010, 12:57

Aucune idée si il s'agit de notre Guepi ?  :penseur:
Et je ne sais vraiment pas ce que veut dire se CRAWL en rouge....hmm faut vraiment lire la doc  :murbric:
News & Tutorials on opensource software ==> freedif.org
Idipops, réseau social des prestataires de services.

Avatar du membre
otax
Zone privée MT Libristes
Zone privée MT Libristes
Messages : 537
Enregistré le : 23 février 2008, 20:57
Localisation : Angoulême en Nouvelle Aquitaine ^^
Contact :

Re : Alternative au moteur de recherche Google

Messagepar otax » 20 août 2010, 13:15

:hello: les gars !

ça a l'air fichtrement intéressant ce truc là Dudu  :wink:

Jip m'avait déjà parlé souvent de son aversion pour google sur sa machine.
Avec ton exemple Dailymotion/Youtube ça montre en effet le danger de façon très concrète.

Mais une question me brûle les lèvres : Vous n'avez rien vu sur Yacy aux RMLL cette année ?
On est bien dans le domaine du libre là .... ?  :penseur:

Avatar du membre
dudumomo
Administrateur
Administrateur
Messages : 2169
Enregistré le : 11 mars 2008, 14:42
Localisation : Taipei
Contact :

Re : Alternative au moteur de recherche Google

Messagepar dudumomo » 20 août 2010, 13:35

:hello: Otax,
Je n'ai rien vu au RMLL concernant YaCy. Il faut dire aussi que c'est un projet Allemand avec peu de support en langue anglaise et française....
Mais il s'agit bien d'un projet libre (Sous licence GPL).
News & Tutorials on opensource software ==> freedif.org
Idipops, réseau social des prestataires de services.