Comments on: Faire son propre moteur de recherche avec Nutch http://www.csquad.org/2010/01/11/nutch/ Just for fun Mon, 06 Sep 2010 10:52:30 +0000 http://wordpress.org/?v=2.9.1 hourly 1 By: Alain Barbason http://www.csquad.org/2010/01/11/nutch/comment-page-1/#comment-1717 Alain Barbason Tue, 31 Aug 2010 18:15:56 +0000 http://www.csquad.org/?p=973#comment-1717 Le lien sur nutch est cassé, j'ai utilisé http://www.apache.org/dyn/closer.cgi/nutch/ L'intérêt pour moi n'est pas de concurrencer google (quoique), mais de faire un moteur de recherche ciblé sur quelques dizaines de sites. A suivre, je suis à la phase d'installation. Le lien sur nutch est cassé, j’ai utilisé http://www.apache.org/dyn/closer.cgi/nutch/

L’intérêt pour moi n’est pas de concurrencer google (quoique), mais de faire un moteur de recherche ciblé sur quelques dizaines de sites. A suivre, je suis à la phase d’installation.

]]> By: cscm http://www.csquad.org/2010/01/11/nutch/comment-page-1/#comment-1561 cscm Wed, 20 Jan 2010 14:06:39 +0000 http://www.csquad.org/?p=973#comment-1561 @mattboll : la réponse officieuse à l'orale ;-) Ma réponse officiel, le p2p n'est pas une solution fiable dans une dictature numèrique. Comme l'as dit Roger Dingledine, lors du 26C3 : <a href="http://events.ccc.de/congress/2009/Fahrplan/events/3554.en.html" rel="nofollow">Tor and censorship: lessons learned</a>, le problème du p2p dans ces pays est qu'il y a de forte chance que le peer d'en face soit un agent du gouvernement ;-) Donc la seul solution envisagable est de leur fournir un index non censuré et des <a href="http://www.torproject.org/bridges.html.en" rel="nofollow">bridges tor</a> pour l'accès à l'internet ;-) @mattboll : la réponse officieuse à l’orale ;-)
Ma réponse officiel, le p2p n’est pas une solution fiable dans une dictature numèrique.

Comme l’as dit Roger Dingledine, lors du 26C3 : Tor and censorship: lessons learned, le problème du p2p dans ces pays est qu’il y a de forte chance que le peer d’en face soit un agent du gouvernement ;-)

Donc la seul solution envisagable est de leur fournir un index non censuré et des bridges tor pour l’accès à l’internet ;-)

]]> By: cscm http://www.csquad.org/2010/01/11/nutch/comment-page-1/#comment-1557 cscm Mon, 18 Jan 2010 22:51:44 +0000 http://www.csquad.org/?p=973#comment-1557 @olivier : pour le cluster de tortues c'est chez BOINC ( http://boinc.berkeley.edu/ ) que cela se passe ;-) @olivier : pour le cluster de tortues c’est chez BOINC ( http://boinc.berkeley.edu/ ) que cela se passe ;-)

]]> By: Olivier http://www.csquad.org/2010/01/11/nutch/comment-page-1/#comment-1553 Olivier Mon, 18 Jan 2010 19:16:49 +0000 http://www.csquad.org/?p=973#comment-1553 Oui, on s'arrange : je t'envoi tous les mois la moitié de la facture à payer des serveurs (électricité, bande passante, datacenter, admin sys,...). Je ne te fais pas payer le prix d'achat des serveurs, ça te convient ? ;) Bon, ok, en fait je dois avoir que 3 ou 4 serveurs, à la maison, en comptant les deux NSLU2 ;o) D'ailleurs, tu as un NSLU2 il me semble, ça te dit qu'on fasse un cluster pour faire des calculs scientifiques hyper compliqués ? :) Les miens sont débridés d'origine à 266MHz!!! :D Pour l'instant je n'ai pas d'utilité pour Hadoop ou Nutch, mais je garde tes liens sous le coude, ça pourrait servir un jour ou l'autre. Oui, on s’arrange : je t’envoi tous les mois la moitié de la facture à payer des serveurs (électricité, bande passante, datacenter, admin sys,…). Je ne te fais pas payer le prix d’achat des serveurs, ça te convient ? ;)

Bon, ok, en fait je dois avoir que 3 ou 4 serveurs, à la maison, en comptant les deux NSLU2 ;o) D’ailleurs, tu as un NSLU2 il me semble, ça te dit qu’on fasse un cluster pour faire des calculs scientifiques hyper compliqués ? :)
Les miens sont débridés d’origine à 266MHz!!! :D

Pour l’instant je n’ai pas d’utilité pour Hadoop ou Nutch, mais je garde tes liens sous le coude, ça pourrait servir un jour ou l’autre.

]]> By: cscm http://www.csquad.org/2010/01/11/nutch/comment-page-1/#comment-1549 cscm Mon, 18 Jan 2010 15:07:39 +0000 http://www.csquad.org/?p=973#comment-1549 @Olivier : une présentation en Français de HADOOOOP http://blog.guiguiabloc.fr/index.php/2009/11/12/hadoop-doop-doop-doop/ @Olivier : une présentation en Français de HADOOOOP http://blog.guiguiabloc.fr/index.php/2009/11/12/hadoop-doop-doop-doop/

]]> By: mattboll http://www.csquad.org/2010/01/11/nutch/comment-page-1/#comment-1548 mattboll Mon, 18 Jan 2010 13:41:53 +0000 http://www.csquad.org/?p=973#comment-1548 Pas mal, mais pourquoi ne pas t'être penché sur yacy, qui il me semble est plus pertinent pour de l'auto-hébergement chez un particulier ? Pas mal, mais pourquoi ne pas t’être penché sur yacy, qui il me semble est plus pertinent pour de l’auto-hébergement chez un particulier ?

]]> By: cscm http://www.csquad.org/2010/01/11/nutch/comment-page-1/#comment-1542 cscm Mon, 18 Jan 2010 10:17:49 +0000 http://www.csquad.org/?p=973#comment-1542 @Olivier : si tu as les 450 000 serveurs, je te donne ma clé ssh et on s'arrange ? ;-) Pour Hadoop, c'est un framework permettant de distribuées des applications Java. Et comme un moteur de recherche est "facilement" parallelizable (ref: http://portal.acm.org/citation.cfm?id=1274975), il faut mettre en place ce type d'outils dans le cas d'une installation répartie sur plusieurs machines. @Olivier : si tu as les 450 000 serveurs, je te donne ma clé ssh et on s’arrange ? ;-)
Pour Hadoop, c’est un framework permettant de distribuées des applications Java.
Et comme un moteur de recherche est “facilement” parallelizable (ref: http://portal.acm.org/citation.cfm?id=1274975), il faut mettre en place ce type d’outils dans le cas d’une installation répartie sur plusieurs machines.

]]> By: Olivier http://www.csquad.org/2010/01/11/nutch/comment-page-1/#comment-1534 Olivier Sat, 16 Jan 2010 19:33:38 +0000 http://www.csquad.org/?p=973#comment-1534 Pas mal, mais est-ce que tu peux expliquer l'utilisation avec Hadoop ? En effet, je dispose de "450 000 serveurs répartis sur toute la planète"... Au pire, je peux toujours racheter google et le customiser comme je veux :) @Eric Schmidt: your face, your ass, what's the difference? ;) Pas mal, mais est-ce que tu peux expliquer l’utilisation avec Hadoop ? En effet, je dispose de “450 000 serveurs répartis sur toute la planète”…
Au pire, je peux toujours racheter google et le customiser comme je veux :)

@Eric Schmidt: your face, your ass, what’s the difference? ;)

]]>