C’était une tâche sur ma TODO liste depuis quelques années…
J’ai enfin franchi le pas et migré mon réseau vers IPv6.

Cette migration n’est pas encore évidente et j’ai rencontré quelques problèmes dont je voulais vous faire part dans ce billet.

L’objectif inavouable de cette migration était de rendre mon réfrigérateur directement accessible depuis le travail

Amis manchots, suivez- moi

Présentation d’IPv6

IPv6 c’est le futur ©, l’avenir du monde libre, c’est le monde de demain … puisqu’on vous le dit depuis 10ans^W^W!

Bref, je ne vais pas vous faire un long discours sur le sujet mais
plus simplement vous expliquer ce qui a réellement motivé ma migration.

Comme vous le savez sûrement, je m’intéresse un peu à la domotique et à la culture D.I.Y., ce qui m’a permis de découvrir quelques concepts sympathiques et connexe au domaine tels que :

• Physical computing : l’intéraction entre un processeur et le monde physique ;
• Ambient intelligence : L’Intelligence ambiante, la fonte de l’informatique dans nos objets de tous les jours ;
• Internet of Things : L’Internet des objets, l’extension de l’Internet au monde réel.

Pour émerger, ces concepts ont tous besoin de la même chose : un nouveau protocole Internet permettant :

• d’augmenter sensiblement le nombre d’adresses disponibles ;
• des mécanismes de configuration automatique ;
• la sécurité et de la mobilité.

Avec IPv6, il est possible de connecter :

• Un réseau de capteurs 1-wire directement ;
• Un réseau de capteurs sans fil (WSN), 802.15.4, ZigBee, 6LoWPAN, etc …
• Une carte Arduino au reste du monde.

Bref, cela permet d’ouvrir de nombreuses possibilités

Tunnel

Si votre fournisseur d’accès Internet ne met pas à votre disposition une collectivité IPv6 native, alors vous aurez besoin de mettre en place un tunnel 6to4.
Visiblement seuls Nerim et FDN offrent en France un collectivités IPv6 native.

IPv6 Tunnel Brocker

Pour obtenir un tunnel, il suffit d’ouvrir un compte chez Hurricane Electric (HE), vous devez suivre la procédure décrite avec des copies d’écran sur howto forge.

Fonctionnalités

HE vous fournit les services suivants :

• Tunnel 6to4 ;
• Deux sous-réseau IPv6 : /64 et /48 ;
• Serveur DNS accessible en IPv4 et IPv6 ;
• Résolution inverse DNS sur vos deux sous réseaux ;
• Une certification de vos compétences IPv6 et du bon fonctionnement de votre reseau.

Un des gros avantage de HE est de vous fournir un sous-réseau /48 qu’il est possible de découper en plusieurs sous-réseau /64 en fonction de vos besoins : LAN, DMZ, Réseau de capteurs, etc…

Configuration du pare-feu Shorewall

DMZ avec un s

Comme la plupart des réseaux, j’utilise le principe de DMZ pour les services accessibles publiquement en IPv4.

Comme IPv6 me fournit beaucoup plus d’adresses publiques, il est possible de découper la route /48 fourni par HE en plusieurs DMZ.

Installation de Shorewall6

Pour la gestion du pare-feu, j’utilise les scriptes fournis par le projet Shorewall, qui facilite grandement l’écriture et l’organisation des règles.
Pour la gestion de l’IPv6, il est nécessaire d’utiliser une version spécifique : shorewall6.
Celle-ci est disponible dans les versions squeeze et sid de Debian, il est donc nécessaire de backporter le paquet.
Il suffit donc de backporter la version 4.4 de shorewall dans lenny :

# cd /usr/src
# wget http://ftp.de.debian.org/debian/pool/main/s/shorewall6/shorewall6_4.4.7.4-2.dsc
# wget http://ftp.de.debian.org/debian/pool/main/s/shorewall6/shorewall6_4.4.7.4.orig.tar.gz
# wget http://ftp.de.debian.org/debian/pool/main/s/shorewall6/shorewall6_4.4.7.4-2.diff.gz
# wget http://ftp.de.debian.org/debian/pool/main/s/shorewall/shorewall_4.4.7.5-1.dsc
# wget http://ftp.de.debian.org/debian/pool/main/s/shorewall/shorewall_4.4.7.5.orig.tar.gz
# wget http://ftp.de.debian.org/debian/pool/main/s/shorewall/shorewall_4.4.7.5-1.diff.gz
# dpkg-source -x shorewall6_4.4.7-2.dsc
# dpkg-source -x shorewall_4.4.7-1.dsc
# cd shorewall-4.4.7
# dpkg-buildpackage -b
...
# dpkg -i ../shorewall-common*
# dpkg -i ../shorewall-all*
# dpkg -i ../shorewall-shell*
# cd ../shorewall6-4.4.7
# dpkg-buildpackage -b
# dpkg -i ../shorewall6*.deb


Configuration du tunnel

Pour le tunnel 6to4, il est nécessaire de modifier le fichier /etc/shorewall/tunnels de Shorewall (IPv4) :
###############################################################################
#TYPE ZONE GATEWAY GATEWAY
6to4 net IP
#

Migration de la configuration

Vous devez ensuite migrer votre configuration de Shorewall IPv4 vers IPv6.
Pour cela vous pouvez vous aider avec les exemples fournis dans le /usr/share/doc/shorewall6/examples

La stratégie de filtrage est identique à celle en IPv4 : c’est à dire bloquer tous les services et ajouter des règles spécifiques pour autoriser des services. Il faut juste faire attention à l’ICMPv6 qui à un plus grand rôle dans le cas de IPv6.

Pour la configuration des fonctionnalités spécifiques à IPv6 dans Shorewall6, vous pouvez vous reporter directement à la documentation : Shorewall IPv6 Support

Configuration du DNS

Pour la configuration de mon serveur DNS, BIND prend en charge l’IPv6. J’ai donc créé une sous-zone v6.csquad.org pour les services uniquement accèssibles en IPv6 et attribués des addresses aux services publics existants :

$ grep AAAA /etc/bind/wan/db.csquad.org
        		AAAA    2001:470:c830::6
ns			AAAA	2001:470:c830::3
smtp			AAAA	2001:470:c830::10
www                      AAAA    2001:470:c830::6

Une sous-zone v6.csquad.org pour les services uniquement accessibles en IPv6:

$TTL    3600 ; 8 heures
@       IN      SOA ns.v6.csquad.org. hostmaster.csquad.org. (
                        2010031801      ; Serial
                                1D      ; Refresh
                                2H      ; Retry
                                6W      ; Expire
                         3600 ) ; Negative Cache TTL

                        NS      ns.v6.csquad.org.
                        A       82.247.220.114

ns              IN A 82.247.220.114

host             IN      AAAA    2042:42:42:42:42:42:42:42

La partie la plus difficile est la Zone inverse IPv6, car le contenu du fichier est très verbeux, et il est nécessaire de manipuler des adresses complexes à la main :

$TTL    3600 ; 8 heures
@       IN      SOA ns.v6.csquad.org. hostmaster.csquad.org. (
                        2010031602      ; Serial
                                1D      ; Refresh
                                2H      ; Retry
                                6W      ; Expire
                         3600 ) ; Negative Cache TTL

                        NS      ns.v6.csquad.org.

$ORIGIN 0.0.2.4.0.0.2.4.0.0.2.4.0.2.ip6.arpa.

2.4.0.0.2.4.0.0.2.4.0.0.2.4.0.0.2.4 IN PTR host.v6.csquad.org.

Pour vous aider, vous pouvez utiliser le programme ipv6calc :

$ ipv6calc --in ipv6addr --out revnibbles.arpa 2042:42:42:42:42:42:42:42
2.4.0.0.2.4.0.0.2.4.0.0.2.4.0.0.2.4.0.0.2.4.0.0.2.4.0.0.2.4.0.2.ip6.arpa.


Vous pouvez tester le bon fonctionnement du DNS IPv6 à l’aide de la commande dig :
$ dig +short -t aaaa host.v6.csquad.org
2042:42:42:42:42:42:42:42
Le reverse :
$ dig +short -x 2042:42:42:42:42:42:42:42
host.v6.csquad.org.

Google et ses amis

De nombreux services Internet ne sont pas IPv6 ready out of the box et utilisent des sous-zones DNS pour leur services accèssibles en IPv6. Par example Google :
$ dig +short -t aaaa www.google.com
$ dig +short -t aaaa ipv6.google.com
ipv6.l.google.com.
2a00:1450:8001::63
2a00:1450:8001::67
2a00:1450:8001::68
2a00:1450:8001::69
2a00:1450:8001::6a
2a00:1450:8001::93

La commande ne retourne pas d’adresse IPv6, car google réserve cette réponse aux ISP/services qui disposent d’une connectivité IPv6 :
$ dig +short -t aaaa @212.27.32.176 google.com
$ dig +short -t aaaa @4.2.2.2 google.com

Pas de réponse via le DNS de Free et le DNS Public de Google.
Par contre, si j’interroge le DNS de Hurricane Electric (HE) :
$ dig +short -t aaaa @74.82.42.42 google.com
2a00:1450:8001::68
2a00:1450:8001::93
2a00:1450:8001::6a
2a00:1450:8001::67
2a00:1450:8001::69
2a00:1450:8001::63

Il faut donc modifier le fichier /etc/bind/named.conf.local pour forwarder la résolution de certains noms de domaine via le DNS de HE :

zone "google.com" {
        type forward;
        forwarders {
                  2001:470:20::2;
        };
};

D’habitude, je fais du Google bashing, mais je dois avouer que cette fois-ci Google est le seul à résoudre en IPv6.
Les autres “Grands Noms de l’Internet” , ne disposent pas d’une connectivité IPv6, parmi ceux-ci :

• wikipedia ;
• facebook ;
• twitter ;
• flickr ;
• yahoo ;
• slashdot ;
• linuxfr.org ;

Bref, seul google est IPv6 friendly, les autres acteurs de l’internet sont à la traine.

Vous pouvez tester tous ses noms de domaines via cette page : IPv6 websites accesibility.

Configuration des machines

Autoconfiguration

Pour l’auto-configuration des machines, vous devez installer le paquet radvd :
# apt-get install radvd
Et modifier le fichier de configuration /etc/radvd.conf pour prendre en charge votre interface LAN avec votre prefix IPv6, comme cela :

interface eth1
{
        AdvSendAdvert on;
        MaxRtrAdvInterval 30;
        prefix 2042:42:42:42::/64
        {
                AdvOnLink on;
                AdvAutonomous on;
                AdvRouterAddr off;
                AdvValidLifetime 300;
                AdvPreferredLifetime 120;
        };
};

Ensuite vous devez relancer le daemon :
# /etc/init.d/radvd restart

Ensuite vous pouvez relancer l’interface réseau d’une machine et vérifier qu’elle à bien pris une adresse IPv6 :

# ip -f inet6 addr   | grep -B 1 global
4: eth0: <BROADCAST ,MULTICAST,MASTER,UP,LOWER_UP> mtu 9000
    inet6 2042:42:42:42:42:42:42:2/64 scope global dynamic

Cette adresse IPv6 est produite à l’aide du prefix v6 et l’adresse MAC de votre carte réseau.

IP statique

Vous pouvez aussi attribuer une adresse IPv6 statique à l’aide du fichier /etc/network/interfaces :

auto eth0
iface eth0 inet static
        address 192.168.0.11
        netmask 255.255.255.0
        gateway 192.168.0.100

iface eth0 inet6 static
        address 2042:42:42:42::1
        netmask 64
        gateway 2042:42:42:42::100

Linux-VServer

La version de Linux VServer disponible dans Debian “lenny” dispose du support IPv6.

Il suffit d’ajouter l’adresse ip à l’interface et relancer le serveur :

# cd /etc/vservers/NOM_MACHINE/interfaces
# mkdir 1
# echo "eth0" > dev
# echo "2042:42:42:42:42:42:42:42/64" > ip
# echo "NOM_MACHINE" > name
# vserver NOM_MACHINE restart


Migration des services

Apache

Pour la configuration d’Apache, il suffit d’ajouter dans le fichier /etc/apache2/ports.conf, l’adresse de votre service :

Listen [2042:42:42:42:42:42:42:42]:80
Listen [2042:42:42:42:42:42:42:42]:443

Puis d’utiliser cette adrese dans un VirtualHost :

<VirtualHost  [2042:42:42:42:42:42:42:42]:80>
        ServerName host.v6.csquad.org
...

Messagerie

La configuration de Postfix en IPv6, ne pose aucun problème particulier. Il suffit d’ajouter des enregistrements DNS AAAA à votre serveur de messagerie :

                        MX      10 smtp
smtp                    AAAA    2001:470:c830::10

Et de modifier le fichier /etc/postfix/main.cf :

mynetworks = 127.0.0.0/8 [::1]/128 [2001:470:c830::]/48 [2001:470:1f13:299::]/64
inet_interfaces = [2001:470:c830::10]
inet_protocols = ipv4, ipv6

Ensuite, vous pourrez recevoir des mails de la part de [2001:41b8:202:deb:...]

CUPS

La configuration est identique à celle d’apache. Il suffit de modifier la directive Listen du fichier /etc/cups/cupsd.conf.

Samba

Je n’ai pas testé, mais visiblement depuis 2008, Samba dispose d’un support d’IPv6 qui est parfaitement inter-opérable avec les versions recentes de Microsoft Windows : Archive for the ‘Samba’ Category sur le blog de Erion Services.

Squid

Pour faire fonctionner le proxy mandataire Squid avec IPv6, il est nécessaire de mettre à jours la version disponible dans Debian “lenny”, vers la version 3.1.
La procédure de mise à jours est décrite dans ce billet : Squid 3.1 on Debian Lenny

Jabber

Pour mon serveur Jabber, j’utilise ejabberd. La migration consiste simplement à ajouter votre interface IPv6 dans le fichier /etc/ejabberd/ejabberd.cfg, comme cela :


{listen,
[
{5222, ejabberd_c2s, [
inet6,
{access, c2s},
{shaper, c2s_shaper},
{max_stanza_size, 65536},
starttls, {certfile, "/etc/ejabberd/ejabberd.pem"}
]},
...


Le plus dur est de trouver un serveur jabber compatible IPv6 poour faire du s2s.

Téléphonie

Il existe une version spécifique d’Asterisk pour IPv6.,mais elle n’a pas été intégrée dans la branche principale du projet et elle n’a pas l’air d’être maintenue activement.
Je vais donc me configurer OpenSER (alias Kamailio) pour faire office de proxy SIP IPv4/IPv6. (en cours )

Télévision

Je diffuse la télévision sur mon résau local avec MuMuDVB (j’ai décrit ma configuration dans ce billet : Diffuser des flux TV sur réseau local avec MuMuDVB). Celui-ci ne supporte pas IPv6.

Par contre VLC supporte très bien IPv6. Il est donc possible de transposer un flux IPv4 multicast vers un flux IPv6 multicast.

Les équipements

Le point noir dans cette migration vient des équipements embarqués qui disposent d’une connectivité IPv4 :

• Switch manageable : aucun firmware disponible avec le support d’IPv6 ;
• Télephones SIP : le SPA941 et le PAP2, ne disposent pas d’un firmware compatible IPv6 ;
• Amplificateur Home-Cinema : idem ;
• Imprimante : idem ;
• RFXCOM : idem ;

Pas de surprises, l’ensemble des équipements IP ne disposent pas d’une connectivité IPv6, il faut chercher dans du matèriel très haut de gamme pour obtenir cette fonctionnalité.

Une solution possible est de rendre ses services accessibles en IPv6 à l’aide d’un reverse proxy 6to4 via Apache :

<VirtualHost [2042:42:42:22:42:42:42:42]:80>
   ServerName host.v6.domaine
   DocumentRoot /var/www
   ProxyPass / http://host.domaine/
   ProxyPassReverse / http://host.domaine/
</VirtualHost>

Mais cela ne fonctionne que pour les inferfaces HTTP de configuration et non pour tous les services fournir par ces équipements.

La seule bonne nouvelle pour les équipements et que la plupart disposent de la possiblité de mise à jours de leur firmware et donc ils seront un jour compatible

Sécurité

Comme vos machines sont directement accessibles via Internet, il est nécessaire d’augmenter le niveau de sécurité du réseau. Pour ma part, j’ai déployé les éléments suivants : Chiffrement TLS/SSL de TOUS les services, c’est le minimum syndical ; Règles de Firewall strictes ; Désactiver des services réseaux inutiles ; Maintien à jours de l’ensemble des paquets ;

Et si vous êtes un peu paranoïaque, (comme moi ) vous pouvez encore ajouter quelques éléments de sécurité en plus :

• Renforcer la sécurité du noyau et des services à l’aide de patches spécifiques ( grsecurity, Suhosin, etc…) ;
• Mettre en place un NIDS comme Prelude ;
• Mettre en place un HIDS comme SAMHAIN.

Bref, Comme les machines peuvent être directement accessibles et vous n’avez plus la “protection” du NAT. Il est nécessaire d’accorder plus d’importance à la sécurisation des vos serveurs.
Si non vous avez de fortes chances de vous retrouver dans ce cas : The brave new world of IPv6. (on me signale qu’il existe une très bonne protection )

Références

• Running IPv6 in practice chez Debian Administration ;
• Linux IPv6 HOWTO : la référence ;
• Securing Debian Manual : sécurisation d’un serveur Debian GNU/Linux ;
• Building a Linux IPv6 DNS Server : article dans le Linux Journal ;
• Living with IPv6 : un blog sympatique sur le sujet ;
• What’s that in your fridge : un flux intéressant sur Flickr.

Conclusion

J’ai appris beaucoup de choses lors de cette migration.

Mon réseau dispose d’une connectivité IPv6 et je vais pouvoir m’amuser avec les nouvelles possiblités offertes

S’il y a quelque chose que vous faites et que personne ne doit savoir, peut-être qu’il faudrait commencer par ne pas le faire

Source : Google CEO Eric Schmidt Dismisses the Importance of Privacy

Il a raison le bon docteur Schmidt, il aurait du faire plus attention Liu Xiaobo avant de chercher droits de l’homme sur un moteur de recherche censuré…

Bref vous m’avez compris ce genre de parole dans la bouche de l’homme le plus puissant de la plante ne m’inspire pas confiance et je continue à penser que le slogan de Google Don’t be evil est une véritable plaisanterie.

Alors au lieu de vous conseiller de passer à Bling, je vais vous expliquer comment faire votre propre moteur de recherche.

Ce billet décrit la mise en place d’un moteur de recherche sous Debian GNU/Linux basé sur Nutch.

Pré-requis

Pour faire votre propre moteur de recherche vous avez besoin de : 450 000 serveurs répartis sur toute la planète ; 80Go d’espace disque par machine ; 4Go de mémoire par machine ; Une connexion fibre optique entre vos “data centers” ;

Bref, si vous n’avez pas cette infrastructure à votre disposition ce n’est pas la peine d’aller plus loin
Bon d’accord, vous voulez simplement un moteur de recherche personnel?

Un seul serveur avec les caractéristiques suivantes :

• Un bon processeur ;
• Beaucoup de mémoire (4Go, ba oui, c’est du Java ma petite dame ) ;
• Un gros disque dur très rapide de plus de 500Go (des Raptor par exemple ) ;
• Une bonne bande passante, avec plus de 2Mb en download;
• Une distribution Debian GNU/Linux ;
• Des compétences en administration d’Apache, Tomcat et ligne de commande ;
• Un peu de temps pour configurer le système et le paramétrer aux petits oignons.

C’est bien plus abordable ?

Fonctionnalités

En mettant en place mon propre moteur de recherche, je voulais obtenir les fonctionnalités suivantes :

• Indexation des documents locaux (ex: un Intranet) ;
• Indexation plus poussé de mes centres d’intérêts ;
• Indépendance par rapport à un moteur de recherche ;

Néanmoins, je dois faire une croix sur :

• la publicité ciblée ;
• la recherche d’images, de vidéos et temps réel ;
• la correction orthographique.

Les limitations

On pourrait dire que Nutch est un moteur de recherche de l’époque “web 1.0″. En effet, il ne contient pas d’algorithme d’Intelligence Bolchevique^Wcollective comme la plupart des moteurs de recherche. Cela signifie que seul le Page rank est utilisé et que les votes des utilisateurs ne sont pas pris en compte. Il est aussi plus sensible au Spamdexing.

Présentation des composants

L’architecture d’un moteur de recherche est assez simple, vous avez besoin : d’un Web crawler, un logiciel qui explore automatiquement le Web à la recherche de ressources. un système d’indexation, dans le cas de Nutch c’est Apache Lucene ; des interfaces de recherche ;

Installation

Voici les étapes nécessaires pour faire fonctionner la version 1.0 Nuch sur une machine Debian GNU/Linux version “lenny”.

Dépendances

Vous avez besoin des composants suivants :
# apt-get install tomcat5.5 tomcat5.5-admin tomcat5.5-webapps sun-java6-jre

Configurer le JRE par default :
# update-alternatives --set java /usr/lib/jvm/java-6-sun/jre/bin/java

Nutch

C’est une application en Java, que je place dans le repertoire opt :

# cd /opt
# wget http://mirror.mkhelif.fr/apache/lucene/nutch/nutch-1.0.tar.gz
# tar xzf nutch-1.0.tar.gz
# ln -s nutch-1.0 nutch
# mkdir nutch/urls
# mkdir nutch/crawl
# chown tomcat55: nutch-1.0


Configuration

La configuration du moteur de recherche se trouve dans le fichier conf/nutch-default.xml, vous disposez de votre fichier conf/nutch-site.xml, spécifique à votre instance. Les variables intéressantes sont :

• http.agent.* : la politesse, pour décrire votre robot ou bien prendre l’identité d’un autre ;
• db.fetch.interval.(default|max) : ces variables définissent le nombre de jours entre chaque passage du robot, comme vous ne pourrez pas faire le tour du web en moins de 30 jours , une bonne idée est d’augmenter ces valeurs ;
• plugin.includes : la définition des plugins pris en charge, ici vous pouvez ajouter la gestion des documents pdf, microsoft word et du protocole https.

Bootstrapping du moteur de recherche

Votre moteur de recherche doit avaler une quantité de donnée importante avant de pouvoir faire une recherche pertinente.
Voici quelques sources pour l’initialiser.

A l’aide d’un annuaire

Il existe de très bons annuaires complets comme le projet Open Directory Project.
Dont l’ensemble des données sont disponibles au format RDF et téléchargeables librement : http://rdf.dmoz.org/rdf/.
Par contre, attention ce fichier référence 4 446 480 sites web et vous allez avoir besoin de beaucoup de place pour les référencer tout ce contenu.

Voici la procédure pour utiliser l’annuaire DMOZ avec Nutch :

$ cd /opt/nutch
$ mkdir urls
$ wget http://rdf.dmoz.org/rdf/content.rdf.u8.gz -O urls/content.rdf.u8.gz
$ gunzip urls/content.rdf.u8.gz
$ bin/nutch org.apache.nutch.tools.DmozParser urls/content.rdf.u8 > urls/dmoz
$ bin/nutch inject crawl/crawldb urls/dmoz
Injector: starting
Injector: crawlDb: crawl/crawldb
Injector: urlDir: urls/dmoz
Injector: Converting injected urls to crawl db entries.
Injector: Merging injected urls into crawl db.
Injector: done


A l’aide d’un Marque-page

Une autre source pour initialiser le moteur de recherche est d’utiliser les adresses contenues dans votre marque-page. Le principal avantage de cette technique est la faible quantité de données à analyser et une pertinence de recherche accrue.
Pour ce faire, vous devez exporter votre marque-page au format HTML (pour Mozilla Firefox) et en extraire les adresses de la manière suivante :


$ cd /opt/nutch
$ grep "A HREF=\"http" bookmarks.html | cut -d '"' -f 2 > urls/bookmarks
$ bin/nutch inject crawl/crawldb urls/bookmarks
Injector: starting
Injector: crawlDb: crawl/crawldb
Injector: urlDir: urls/bookmarks
Injector: Converting injected urls to crawl db entries.
Injector: Merging injected urls into crawl db.
Injector: done


A l’aide de Wikipedia

Wikipedia fourni des dumps de sa base de données au format XML. Il est donc possible d’utiliser les URLs des articles de wikipedia comme source.
Voici la procédure pour la version française de Wikipedia, celle-ci contient 897 974 urls.

$ cd /opt/nutch/
$ mkdir urls
$ wget http://download.wikimedia.org/frwiki/latest/frwiki-latest-abstract.xml -O urls/frwiki-latest-abstract.xml
$ grep "<url>" urls/frwiki-latest-abstract.xml | cut -d '>' -f 2 | cut -d '< ' -f 1 > urls/wikipedia-fr
$ bin/nutch inject crawl/crawldb urls/wikipedia-fr
Injector: starting
Injector: crawlDb: crawl/crawldb
Injector: urlDir: urls/wikipedia-fr
Injector: Converting injected urls to crawl db entries.
Injector: Merging injected urls into crawl db.
Injector: done


What you’re waitin’ for ? Christmas ?

Come get some!

Une fois que vous avez chargé la base de données avec vos urls, il faut les parcourir afin de les indexer. Cela se fait à l’aide de plusieurs commandes :

• generate : sélections des adresses à parcourir ;
• fetch : parcourt des urls ;
• updatedb : mise à jours de la base des adresses ;
• invertlinks : mise à jours de l’index des adresses inversées ;
• index : indexation des données ;

Une séquence classique ressemble donc à cela :

bin/nutch generate crawl/crawldb crawl/segments -topN 1000
s1=`ls -d crawl/segments/2* | tail -1`
bin/nutch fetch $s1
bin/nutch updatedb crawl/crawldb $s1
bin/nutch invertlinks crawl/linkdb $s1
bin/nutch index crawl/indexes crawl/crawldb crawl/linkdb $s1

Cette suite de commandes vous permet de parcourir et d´indexer 1000 adresses issues de votre base.
C’est un très bon 1er test pour voir si cela fonctionne.

Shake it, baby!

Une autre commande intéressante est readdb avec l’option stats, qui permet d’obtenir des informations sur le contenu de votre base :

$ bin/nutch readdb crawl/crawldb/ -stats
CrawlDb statistics start: crawl/crawldb/
Statistics for CrawlDb: crawl/crawldb/
TOTAL urls: 3377315
...
min score: 0.0
avg score: 0.13178158
max score: 401.402
status 1 (db_unfetched): 2966337
status 2 (db_fetched): 300008
status 3 (db_gone): 46659
status 4 (db_redir_temp): 27857
status 5 (db_redir_perm): 36454

Une bonne idées serait de mettre en place un système de monitoring sur ces informations pour suivre le déroulement. Par contre, il faut faire attention car la commande prend plusieurs minutes à s’exécuter. (donc hors de question de la placer dans un plugin munin, un mail tous les soirs serait une meilleur méthode).

Damn… I’m looking good!

Vous pouvez tester en ligne de commande le fonctionnement du moteur de recherche :
$ bin/nutch org.apache.nutch.searcher.NutchBean apache
Total hits: 6413
0 20100104001440/http://xmlgraphics.apache.org/fop/
... be part of Apache's XML Graphics project . Demonstration ... goals of the Apache FOP project are to ...
1 20100103201220/http://velocity.apache.org/
... Library Site building Site tools Apache Reference Apache Website How the ASF ... way in its field. Apache
...


Voilà cela fonctionne en ligne de commande, nous pouvons passer à l’interface end user (enfin un moteur de recherche en ligne de commande c’est très pratique aussi )

Configuration de l’interface web

Nutch fournir un application pour Tomcat / Jboss. Il suffit de la déployer et de lui indiquer l’emplacement de votre index de la manière suivante :

# cd /opt/nutch
# cp nutch-1.0.war /var/lib/tomcat5.5/webapps
... attendre
# vim /var/lib/tomcat5.5/webapps/nutch-1.0/WEB-INF/classes/nutch-default.xml
... remplacer la value de searcher.dir par /opt/nutch/crawl

Mais aussi modifier la sécurité de tomcat, via le fichier /etc/default/tomcat5.5 en mettant la variable TOMCAT5_SECURITY à no.
Ou bien en créant un fichier policy donnant l’accès au répertoire /opt/nutch/crawl. (c’est plus propre )

Vous pouvez ensuite redémarrer tomcat et accèder au moteur de recherche via votre navigateur sur le port 8180.

Problèmes rencontrés

Voici quelques problèmes que j’ai rencontré lors de mes tests de la version 1.0 de Nutch :

La directive merge ne fonctionne pas

Impossible de fusionner deux index, il est nécessaire de re-creer l’ensemble de l’index à chaque fois.

La directive fetch flanche

Lorsque trop nombreux sites sont choisis dans la liste des sites à parcourir par le robot d’indexation à l’aide de l’option topN, le programme produit une erreur et le segement produit est corrompu. (c’est pour cette raison que je limite le nombre de site dans un segment à 5000)

Maintenance de l’index

Une fois le moteur de recherche mise en place, il faut maintenir l’index à jours. Pour cela, j’ai mis en place un simple script de crawl avec cron qui se lance tous les soirs :

#!/bin/sh
bin/nutch generate crawl/crawldb crawl/segments -topN 5000
s1=`ls -d crawl/segments/2* | tail -1`
bin/nutch fetch $s1
bin/nutch updatedb crawl/crawldb $s1
bin/nutch invertlinks crawl/linkdb $s1

et un autre qui re-créer l’index :

#!/bin/sh
rm -rf crawl/indexes/
bin/nutch index crawl/indexes/ crawl/crawldb/ crawl/linkdb/ crawl/segments/*


Optimisation du robot d’indexation

La principale difficulté de ce projet est l’indexation d’une énorme quantité de données avec des moyens techniques très limité.
Voici donc quelques idées pour optimiser l’indexation de votre moteur de recherche.

Utiliser le serveur mandataire de votre fournisseur d’accès à Internet

Vous pouvez ajouter l’adresse du serveur mandataire de votre FAI dans le fichier conf/nutch-site.xml :

<property>
<name>http.proxy.host</name>
<value>proxy.free.fr</value>
</property>
<property>
<name>http.proxy.port</name>
<value>3128</value>
</property>


Note : On me signale dans l’oreillette, que mon FAI à fermer son proxy à cause d’une sombre histoire de Haute Autorité De l’Ouverture Postale Inopinée.

Mise en place d’un serveur DNS locale

Vous avez besoin de mettre en place un serveur cache DNS locale qui prend en charge les requêtes du robot. Vous pouvez faire cela avec ISC BIND ou bien pdnsd.

Augmentation du nombre de Threads

Vous pouvez aussi augmenter le nombre de processus utiliser par le robot d’indexation en modifiant les variables du fichier de configuration :

• fetcher.threads.fetch : nombre de threads au total (42) ;

Pour plus d’informations, vous pouvez voir sur le wiki du projet : OptimizingCrawls.

Imposer^WIntégrer Nutch

Voici quelques astuces pour intégrer Nutch à votre architecture.

Mozilla Firefox

Pour Mozilla Firefox, le système de plugin permet d’inclure votre propre moteur de recherche.
Pour faire cela, il faut placer le fichier nutch.xml dans votre profile Firefox : ~/.mozilla/firefox/*.default/searchplugins (en remplacant par l’addresse de votre instance ) .

DNS Menteur

Vous pouvez modifier la configuration de votre DNS pour résoudre le domaine google avec l’adresse de votre moteur de recherche. (Ouais, je sais Net Neutrality, toussa ). En modifiant la feuille de style de l’interface web certains utilisateurs ne verront surement pas la diffèrence.

Est-ce bien raisonnable ?

Vous allez me dire. Héberger son propre moteur de recherche chez soit, quelle drôle d’idée
Je pousse, le concept d’Auto-hébergement au maximum, mais il est clair que j’ai fait cette article “Just for fun”, car même si je ne peut indexer que 5000 sites par jours (le script fonctionne durant les heures creuses) , soit 1 825 000 en un an, je vais avoir beaucoup de mal à indexer les 4 446 480 urls de DMOZ.

Références

Voici quelques références intéressantes sur le sujet :

• The Anatomy of a Large-Scale Hypertextual Web Search Engine : description de l’architecture de Google ;
• La réponse de Bruce Schneier à Eric Schmidt ;
• Le tutorial pour les versions 0.8.x de Nutch ;
• Le Wiki du projet Nutch ;
• Un tee short très googlitude ;
• Un autre tutorial similaire pour une version plus ancienne : Installation de Nutch 0.8.1 sous Ubuntu 6.10 d’Arnaud Goupil ;
• Le blog du groupe de travail francophone : Frutch ;
• Motrech, le blog consacré aux moteurs de recherche.

Conclusion

Vous avez maintenant à votre disposition un moteur de recherche personnel.
Et vous êtes libre de rechercher des choses sans que personne ne puisse le savoir
L’étape la plus dure est de se passer de l’utilisation google
Si vous voulez aller plus loin dans le monde des moteurs de recherche libre vous pouvez intégrer Nutch avec Solr, comme décrit dans cette article : Using Nutch with Solr.
Afin d’obtenir un moteur de recherche professionnel pour une entreprise. (principalement pour éviter la fuite d’information).
Ou bien si vous si êtes intéressé par un produit similaire aux Solutions d’entreprise de Google.

Pour finir, la petite cerise sur la gâteau, comme Nutch utilise Hadoop, il scale comme un troupeau éléphants

Je reviens des mercredis de la RFID organisé par filrfid, le sujet de la présentation était le protocole ZigBee.

Lors de la présentation faite par Véranith Ly de la société oRFIDée, j’ai appris beaucoup de choses sur ce protocole.

J’aimerai donc vous en faire profiter et parler des domaines qui m’intéressent à savoir la domotique, la robotique et la topologie des réseaux maillés.

Description rapide du standard

ZigBee, est un standard de communication sans-fils comme le Wifi ou le Bluetooth.
Les principaux avantages du standard sont :

• Autonomie de l’émetteur, il est possible de le faire fonctionner durant plusieurs années à l’aide d’une batterie ;
• La possibilité de mettre en place une topologie de réseaux maillés ;
• 65535 nœuds sont addressable sur le réseau ;
• le standard définie : les méthodes de communication sur le réseau, mais aussi les fonctionnement des applications ;
• l’ensemble des produits sont certifiés par l’Alliance ZigBee et soutenus par de nombreuses entreprises industriels ;

Ce qui est intéressant, c’est que le standard définit un ensemble de caractéristiques pour un équipement.
Regroupé sous forme de famille :

• ZigBee Smart Energy ;
• ZigBee Remote Control ;
• ZigBee Home Automation ;
• ZigBee Health Care, non disponible;
• ZigBee Building Automation, pas encore définie ;
• ZigBee Telecommunication Services, non encore définie.

Domaines d’application du protocole

Les domaines d’applications du protocole sont les suivants :

• la gestion de l’énergie et les réseaux de distribution d’électricité « intelligent » ;
• la médecine, avec le suivi des indicateurs physiologiques sur le long terme pour les maladies chroniques.
• Les réseaux de capteurs en général : WSN ;
• Les télécommandes, le protocole est amené à remplacer les télécommandes infrarouge à moyen terme.
• La domotique, pour le contrôle et la gestion des appareils dans une maison ;
• La localisation en temps réel ;
• Et enfin la robotique, pour le contrôle à distance ;

La promesse du standard

Les équipements qui respectent le standard et sont certifiés par l’Alliance ZigBee sont théoriquement interchangeable et peuvent communiquer ensemble.

Cela signifie, qu’il est possible d’allumer à l’aide d’une télécommande de marque A, une douille d’ampoule de marque B et un lecteur de DVD de marque C.

Cela parait trivial dit comme cela, mais dans l’état actuel de développement de la domotique, cela releve du miracle …

Même, s’il existe des protocoles propriétaires pour faire cela, il est nécessaire de vendre son âme à un constructeur (Vendor lock-in garantie sur facture ) ou bien mettre en place des protocoles de Middleware comme xPL et une belle galaxie de protocoles hétérogènes. (cf. le schéma de ma petite installation perso ).

La gestion des binding

La couche applicatif du standard ZigBee, inclut une possibilité très intéressante pour la domotique : le binding.

L’idée est de relier deux équipements du réseau de manière automatique et transparente pour l’utilisateur.

L’un des meilleur exemple pour comprendre est celui d’une ampoule et un d’un interrupteur.

Lorsque l’utilisateur active physiquement le binding, à l’aide d’un bouton par exemple.

Les deux devices se mettent en relation avec le coordinateur du réseau, qui détermine si oui ou non les profils applicatifs sont compatibles et de les lier.

Ce qui permet aux équipements d’être liés automatiquement et il n’est pas nécessaire de configurer les adresses des équipements, etc…

L’état actuel de la certification

Pour l’instant, il y a peu d’équipements qui sont certifiés par l’Alliance :

• ZigBee Smart Energy Certified Products ;
• ZigBee Home Automation Certified Products.

Mais on trouve pas mal de vendeurs d’autres produits que ne sont pas forcement entièrement certifiés mais qui respectent la partie communication du standard.

Problématique du sans-fils

Comme toutes technologies sans-fils, elle présente quelques problématiques particulières :

La source d’énergie

Bien que le module ZigBee nécessite très peu d’énergie pour fonctionner (20mA pour émettre une trame sur le réseau), se pose la question de la source d’énergie.

Lorsque celle-ci est fournie par une pile cela pose de problématique de :

• fiabilité / qualité de la source d’énergie ;
• la nécessité de remplacer régulièrement la source d’énergie ;
• la nécessité de mettre en place un dispositif pour notifier l’utilisateur du statut de la pile.

La sécurité

La sécurité du standard ZigBee repose tout d’abord, sur la sécurité du protocole de communication IEEE 802.15.4. Pour mieux comprendre les méthodes de sécurisation mises en place par le protocole, vous pouvez lire cet article de vulgarisation : Security in 802.15.4 and ZigBee networks ; ou bien cet excellent papier Security Considerations for IEEE 802.15.4 Networks. Mais dans ce domaine, rien de nouveau, ce sont toujours les mêmes principes qui s’appliquent, à savoir :

• Plus la puce dispose de puissance et plus le niveau de chiffrement est fort (au maximum AES128 pour ZigBee) ;
• La qualité des composants et du générateur de nombre aléatoire ( merci de ne pas utiliser le PID du programme ) ;
• La qualité de l’implémentation du code de chiffrement.

Bref, vous vous doutez bien que les modules ZigBee qui seront vendus au grand publique ne seront pas d’un niveau de sécurité militaire et n’embarqueront sûrement pas pas un compteur Geiger comme source d’entropie

D’autant plus que le standard n’impose pas forcement un niveau de chiffrement fort à tous les profils applicatifs.

Robotique

Pour la robotique, il n’existe pas de profil dans le standard, mais la plupart des amateurs dans le domaine ont déjà compris les nombreux intérêts de ZigBee et on voit de plus en plus d’interfaces apparaître (Bioloid, WowWee, etc… )

Logiciels libres

Du coté des logiciels libres, nous avons :

• Un projet mort : ZigBuzz ;
• Le projet IEEE802.15.4/ZigBee Stack for Linux, dont l’objectif est l’intégration de la pile ZigBee dans le noyau Linux, commiter dans la version 2.6.30-rc7 ;
• Le projet FreakZ, dont l’objectif est l’implémentation du pile ZigBee libre pour l’embarque ;

Malheureusement, il y a une incompatibilité entre la licence des spécifications du standard ZigBee et la licence GPL. en effet celle-ci ne prend pas en compte un usage non commercial.

Pour plus de détails sur ce point : Zigbee, Linux, and the GPL.

Néanmoins, le code du protocole IEEE 802.15.4 est déjà le noyau et bénéficie d’un niveau de protection

Matériel

Le matériel ZigBee disponible se découpe en plusieurs familles de la plus simple à la plus complexe :

Émetteur-récepteur

Les principaux constructeurs d’émetteur-récepteur sont Texas instruments et Freescale.

Puce

Les puces prennent en charge la norme IEEE 802.15.4, elles sont produites par : Ember, Jennic, Texas instruments et Freescale.

Modules

Les modules prennent en charge le standard ZigBee et sont produites par : Digi, One-RF, Telegesis, Meshnetrics, Radiocrafts…

Produit fini

• Tritech : dongles USB et routeurs Ethernet/Zigbee ;
• Digi : passerelles RS232/485, USB, Ethernet, GPIO, routeurs autonomes
• Telegesis : dongles USB et CF, routeurs autonomes et Ethernet
• Alektrona : gateway ethernet / zigbee;
• Libelium : capteurs et routeurs multi-protocoles Wifi, Bluetooth, GPRS et GPS ;
• Des shields pour la carte Arduino et ses dérivées.

Offre packagée

Pour les produits packagés, il existe les solutions suivantes :

• Control4 : gamme de produits domotiques ;
• AlerteMe : système de suivi de la consommation électrique et alarme.

Déploiements importants de ces technologies

Il y a pas mal de déploiements de ces technologies aux USA dans le cadre des réseau de distribution d’électricité « intelligent » en Californie et au Texas principalement.

En Europe, le ville de Gothenburg en Suède a déployé un réseau de 90 000 compteurs intelligents.

En France, le déploiement est encore à l’état de recherche avec le projet SensLab, le projet de localisation fait par Orfidée pour la Marine Nationale.

Et d’autres projets couverts par des accords de non divulgation

Références

Voici quelques références pour approfondir le sujet :

• Le site de la ZigBee Alliance ;
• le site sensor-networks ;
• l’article de Sensor-networks sur les différence entre 802.15.4 vs ZigBee ;
• le site du projet IEEE802.15.4/ZigBee Stack for Linux ;

Conclusion

Voilà, ceci est une petite présentation standard ZigBee, que j’ai voulu la plus succincte possible. Le sujet étant très vaste et passionnant. J’ai forcement fait des erreurs et oublié des références. Merci de m’en faire part par mail ou via les commentaires.

Ce billet décrit comment mettre en place un système de la notification par téléphone avec Nagios.

Pré-requis

Vous avez besoin des composants suivants :

• Une distribution Debian GNU/Linux ;
• Une installation fonctionnelle de Nagios ;
• Une PABX IP avec le support du protocole SIP, comme Asterisk ;
• Un système de Synthèse vocale fonctionnelle, comme eSpeak + MBROLA ;
• Un client SIP en ligne de commande comme PJSUA.

Installation

Le client SIP en ligne de commande PJSUA n’est pas disponible dans les paquets du projet Debian.
Il est donc nécessaire de l’installer manuellement à l’aide du classique : configure, make, make install.
La procédure est décrite dans ce billet : Un client SIP en ligne de commande.

Pour l’installation du système de synthèse vocale, vous pouvez vous référer à mon précèdent billet sur le sujet : Text-to-Speech avec eSpeak, MBROLA et Speech Dispatcher.

Configuration

Vous devez créer un compte SIP pour Nagios sur votre PABX et tester que l’enregistrement est fonctionnel.

Pour cela vous avez besoin d’un fichier de configuration spécifique à Nagios pour PJSUA, dans /etc/nagios/sip.cfg par exemple :

--id sip:nagios@pabx.csquad.lan
--registrar sip:pabx.csquad.lan
--realm *
--username nagios
--password secret


Vous pouvez ensuite tester l’enregistrement en ligne de commande :
$ pjsua --config-file /etc/nagios/sip.cfg
...
11:17:05.376 pjsua_acc.c sip:nagios@pabx.csquad.lan: registration success, status=200 (OK), will re-register in 300 seconds

Un appel de test :
$ pjsua --config-file /etc/nagios/sip.cfg --null-audio sip:secretariat@pabx.csquad.lan

Ensuite un appel de test audio avec un message :
$ espeak -v mb/mb-fr1 "E.T. téléphone maison" | /usr/local/bin/mbrola /usr/share/mbrola/fr1/fr1 - test.wav
$ pjsua --config-file /etc/nagios/sip.cfg --play-file=test.wav --auto-play --null-audio sip:secretariat@pabx.csquad.lan
$ rm -f test.wav


On met le tout dans un petit script expect pour prendre en charge la déconnections de manière polie :

#!/usr/bin/expect --
set timeout 45
set addr [lindex $argv 0]
set text [lindex $argv 1]
exec /usr/bin/espeak -v mb/mb-fr1 $text | /usr/local/bin/mbrola /usr/share/mbrola/fr1/fr1 - /tmp/phone-call.wav;
spawn /usr/local/bin/pjsua --app-log-level=3 --config-file /etc/nagios/sip.cfg --play-file /tmp/phone-call.wav --auto-play --null-audio --max-calls 1 sip:$addr
expect {
"DISCONNCTD" {
exit
}
timeout {
send "h\n"
exit
}
eof {
exit
}
}

Et voilà

Il ne nous reste plus qu’à configurer ce type de notification dans Nagios.
Pour cela, il faut modifier le fichier contacts.cfg :
# 'nagios-phone' contact definition
define contact{
contact_name nagios-phone
alias Nagios Admin via Phone
service_notification_period 24x7 ; mouahahahahahaha
host_notification_period 24x7 ; moiahahahahahahah
service_notification_options w,u,c,r
host_notification_options d,u,r
service_notification_commands notify-by-phone
host_notification_commands host-notify-by-phone
email sip:secretariat@pabx.csquad.lan
}

Puis le fichier misccommands.cfg :
# 'notify-by-phone' personnal command definition
define command{
command_name notify-by-phone
command_line /usr/local/bin/phone-call.sh $CONTACTEMAIL$ "$NOTIFICATIONTYPE$ alert - $HOSTALIAS$/$SERVICEDESC$ is $SERVICESTATE$"
}
# 'host-notify-by-phone' personnal command definition
define command{
command_name host-notify-by-phone
command_line /usr/local/bin/phone-call.sh $CONTACTEMAIL$ "Host $HOSTSTATE$ alert for $HOSTNAME$!"
}

Ensuite, vous pouvez définir nagios-phone comme un contact pour des services ou hosts.

Il faut aussi modifier la valeur de la variable notification_timeout dans le fichier de configuration nagios.cfg, pour avoir le temps de décrocher le téléphone et d’en tendre le message.

Conclusion

Vous n’avez plus aucune excuse pour ne pas brancher vos esclaves^Wéquipe d’administrateurs systèmes directement sur le système de surveillance de vos serveurs

Plus sérieusement, la notification par téléphone est une méthode très intrusive. Il est nécessaire de décrocher le téléphone. Il faut donc l’utiliser avec parcimonie.

Mon serveur de mail a été blacklister à cause de sa signature :

$ telnet mail.csquad.org 25
Trying 82.247.220.114...
Connected to mail.csquad.org.
Escape character is '^]'.
220 Microsoft ESMTP MAIL Service, Version: 5.0.2195.6713

Et à votre avis, j’utilise un serveur Microsoft Exchange pour la gestion des mails?

Ne faites pas confiance aux services qui vous proposent des listes d’adresse ip à blacklister …

Ces entreprises portent atteinte directement à la Network neutrality.

A chaque fois que vous installez ce genre de service sur une machine vous :

• augmentez le pouvoir de nuisance de ses services ;
• transformez l’Internet en Minitel.

Pour combattre le spam, les techniques suivantes sont largement suffisantes :

• Le Greylisting ;
• Sender Policy Framework ;
• DomainKeys Identified Mail.

Pour ceux qui me côtoient tous les jours, j’ai principalement deux gros défauts:

• Je m’intéresse à trop de choses …
• J’envoie de la “propagande” par Jabber à mes contacts.

Du coup, le principe du Micro-blogging et du service Twitter m’a beaucoup séduit.

Mais comme je suis un Ayatollah du logiciel libre et que je prône l’auto-hébergement.
Mon inscription sur un service web deux points zéro centralisé aurait fait un peu tâche dans ma pratique du logiciel libre radical (vu le nombre de mots clés dans cette phrase, je pense que je vais avoir droit à une décente des RG ).

Je viens de trouver la solution, Laconica (prononcé “luh-KAWN-ih-kuh”), un logiciel de micro-blogging libre écrit en PHP. L’objet de cet article est de décrire l’installation, la configuration et la mise en place de passerelles (mail, twitter, sms, et jabber) sur un serveur Debian GNU/Linux.

Les Fonctionnalités

Le logiciel dispose des fonctionnalités suivantes :

• Micro-blogging ;
• Export des données au format RSS / Atom ;
• Authentification via OpenID ;
• Gestion de plusieurs comptes ;
• Interface Jabber : notification et post ;
• Interface avec Twitter ;
• Notification via SMS ;
• Feuille de style pour les mobiles ;
• Une traduction de qualité en Français ;
• Gestion du format FOAF ;
• Intégration avec de nombreuses application ;
• Affichage des messages via un “badge” directement dans le code de votre site web : Identica Badge ;
• Génération automatique de Sitemaps pour le référencement ;
• Support du protocole OpenMicroBlogging pour le suivi décentralisé des messages.

Pré-requis

Pour l’installation de Laconica vous avez besoin :

• d’un serveur sous Debian GNU/Linux ;
• serveur HTTP comme Apache 2 ;
• base de donné comme MySQL ou bien Postgresql ;
• d’un serveur de Mail ;
• d’un serveur Jabber (optionnel) ;

Installation des dépendances

Le programme nécessite les dépendances suivantes :

# apt-get install apache2-mpm-prefork libapache2-mod-php5 php5-mysql php5-gd php5-cli php-pear php-mail php-db php-http php-xml-parser php5-curl


Installation du logiciel

Laconica, est une application web, l’installation consiste simplement à extraire le fichier tgz dans le répertoire /var/www et configurer Apache.

# cd /var/www
# wget http://laconi.ca/laconica-0.8.0.tar.gz
# tar xvf laconica-0.8.0.tar.gz
# ln -s laconica-0.8.0 laconica
# chown www-data: laconica-0.8.0
# cd laconica
# mv htaccess.sample .htaccess

Il faut éditer le fichier .htaccess pour modifier la règle RewriteBase.

Vous devez ensuite configurer le site web pour Apache en mettant le contenu suivant dans le fichier /etc/apache2/sites-available/laconica :

<virtualhost *:80>
ServerName mblog.nom_de_domaine
ErrorLog /var/log/apache2/mblog.nom_de_domaine/error.log
CustomLog /var/log/apache2/mblog.nom_de_domaine/access.log common
DocumentRoot /var/www/laconica
</virtualhost>


Il faut créer le répertoire pour les logs du site, activer le site et le module rewrite dans Apache :


# mkdir /var/log/apache2/mblog.nom_de_domaine/
# a2enmod rewrite
Enabling module rewrite.
Run '/etc/init.d/apache2 restart' to activate new configuration!
# a2ensite laconica
Enabling site laconica.
Run '/etc/init.d/apache2 reload' to activate new configuration!
# /etc/init.d/apache2 restart

Vous devez créer une base de données avec MySQL ou PostgreSQL et attribuer tous les droits sur la base à un utilisateur.

Vous pouvez ensuite pointer votre navigateur sur l’adresse de votre site : http://mblog.nom_de_domaine/install.php

La procédure d’installation vous demande simplement les informations de connexion à la base de données.

Une fois l’installation effectuée, vous pouvez vous enregistrer et utiliser l’application.

Configuration Mono-utilisateurs

Une fois que vous avez créer votre compte et que vous êtes le seul à utiliser l’application; il faut interdire les enregistrements de nouveau compte en modifiant le fichier config.php :
$config['site']['closed'] = true;

Configuration de la passerelle Twitter

Mouahah, et puis quoi encore? Non, je n’ai pas testé, je n’ai pas réussi à créer un compte …
Mais d’après la documentation de Laconica, il suffit de saisir son login et mot de passe.

Configuration de la passerelle de Messagerie

Pour cette partie, il faut créer un alias spécial sur votre serveur de messagerie.
Voici ma configuration pour Postfix.
Dans le fichier /etc/aliases, il faut ajouter la ligne suivante :
*:|/var/www/laconica/scripts/maildaemon.php
Refaire la base des alias de postfix :
# postalias /etc/aliases
Rendre le fichier maildaemon.php exécutable.
chmod +x /var/www/laconica/scripts/maildaemon.php
Ce script pour fonctionner nécessite l’extension PECL mailparse de PHP.
La procédure d’installation est la suivante :
# apt-get install dh-make-php php5-dev xsltproc
# cd /usr/src/
# dh-make-pecl --only 5 mailparse
downloading mailparse-2.1.5.tgz ... Starting to download mailparse-2.1.5.tgz (37,332 bytes) ..........done: 37,332 bytes File /var/www/laconica/scripts/mailparse-2.1.5.tgz downloaded
Creating debian source package: php-mailparse-2.1.5
Upstream is: Wez Furlong, Brian Shire
Guessing Maintainer: root
# cd php-mailparse-*/
# dpkg-buildpackage -b
...
# dpkg -i ../php5-mailparse_2.1.5-1_i386.deb


Une fois la passerelle en place, il faut créer une adresse “incoming” :
Pour cela, il faut aller dans la configuration e-mail de votre compte et cliquer sur nouveau pour obtenir une adresse de type : XMWY7QTL3MR42@votre_nom_de_domaine.

Vous pouvez ensuite envoyer un mail à cette adresse et vérifier que tout ce passe bien dans les logs de postfix :

Jul 31 11:02:50 mail postfix/local[30821]: E76C8F40FB: to=<XMWY7QTL3MR42@csquad.org>, relay=local, delay=0.56, delays=0.01/0/0/0.55, dsn=2.0.0, status=sent (delivered to command: /var/www/laconica/scripts/maildaemon.php)


Une petite astuce pour une installation perso, est de faire un seul alias et de modifier le contenu de la table user.incomingemail dans la base de données.

Configuration de la passerelle Jabber

Il faut modifier le fichier de configuration config.php et ajouter les lignes suivantes :

$config['xmpp']['enabled'] = true;
$config['xmpp']['server'] = "jabber.csquad.lan";
$config['xmpp']['port'] = 5222;
$config['xmpp']['user'] = "laconica";
$config['xmpp']['password'] = "***********";
$config['xmpp']['encryption'] = true;
$config['daemon']['user'] = "www-data";
$config['daemon']['group'] = "www-data";


Laconica, ne sait pas s’enregistrer auprès du serveur, ni s’ajouter dans votre roaster, il faut donc le faire manuellement,
soit à l’aide d’un client Jabber classique ou bien à l’aide de l’interface d’administration de votre serveur.
Ejabberd permet de le faire directement via l’interface Web.

Vous pouvez ensuite lancer le daemon à l’aide de php en ligne de commande :

# cd /var/www/laconica/
# php scripts/xmppdaemon.php -f
2009-07-31 06:59:42 LOG_INFO: XMPPDaemon(uniquenamedaemon): INITIALIZE XMPPDaemon laconica@jabber.csquad.lan/uniquenamedaemon
2009-07-31 06:59:42 LOG_INFO: XMPPDaemon(uniquenamedaemon): Connecting to jabber.csquad.lan on port 5222
2009-07-31 06:59:42 LOG_INFO: XMPPDaemon(uniquenamedaemon): Connected
2009-07-31 06:59:42 LOG_INFO: XMPPDaemon(uniquenamedaemon): Sending initial presence.
2009-07-31 06:59:42 LOG_INFO: XMPPDaemon(uniquenamedaemon): Done connecting.
2009-07-31 06:59:42 LOG_DEBUG: XMPPDaemon(uniquenamedaemon): Initializing stanza handlers.
2009-07-31 06:59:42 LOG_DEBUG: XMPPDaemon(uniquenamedaemon): Beginning processing loop.

Une fois lancé, le contact du micro blog doit apparaître dans votre client Jabber.
Mais lorsque vous lui parlez, il ne vous reconnait pas. Il faut donc associé le compte Jabber à votre compte Laconica.
Pour cela, rendez-vous sur l’interface de configuration à l’adresse suivante : http://mblog.votre_nom_de_domaine/settings/im,
et saisissez votre adresse Jabber que Laconica vous demandera de confirmer à l’aide d’une url de vérification.

Et voila, tous les messages que vous envoyez à ce contact Jabber se retrouvent directement sur votre micro blog
Et lorsqu’un utilisateur poste un message vous recevez celui-ci sur votre compte Jabber.

Suivre une personne de manière distribuée

Pour suivre une personne sur Laconica de manière distribuée, il suffit de cliquer sur le bouton subscribe du profil.
L’application vous demande, le pseudo de la personne et l’url de votre profil.
Celle-ci est de la forme : http://laconica.<votre_domaine>/<nickname>/.

Conclusion

Et voilà ! Laconica ça poutre les ours !

FON est une entreprise qui vous propose le marché suivant:
Partager votre connection haut débit à l’aide de la technologie Wifi, pour gagnier de l’argent ou bien accéder au reseau des autres membres de la communauté.
L’idée est très séduisante et permet de construire un réseau sans investir des sommes d’argent astronomiques dans son déploiement. Elle permet aux utilisateurs de profiter d’une connection internet mobile via 6000 hotspot Wifi disponibles en France.

Pour ma part, je cherchais une solution alternative au réseau Wifi d’Orange qui est hors de prix (70 euros par mois pour un accès illimité à 17000 hotspot Wifi et au reseau 3G). J’ai été vite séduit par la proposition de FON, et du coup, j’ai déployé deux hotspot Wifi dans ma ville (Chelles).

La procédure à suivre est assez simple, il suffit de s’enregister sur le site de FON et d’acheter un routeur pour moins de 15 euros (5 euro le routeur et 10 euros de frais de port UPS / PayPal). Ensuite, une fois le routeur recu, il suffit de l’installer et de l’enregistrer dans le réseau FON.
Le routeur est un LinkSys WRT54GL équipé du logiciel OpenWRT et personalisé par FON. Celui-ci est entièrement configurable et fonctionne comme un routeur “normal”.

Je trouve que c’est plutôt une bonne opération :

• un accès Wifi sur près de 80000 hotspot Wifi dans le monde ;
• un bon routeur Wifi à prix réduit (le routeur coûte 50 euros dans le commerce) ;
• pas d’engagement.

L’entreprise propose de gagner de l’argent avec votre routeur en partagant les revenus générés par celui-ci. (Grâce aux itinérants qui utilisent votre hotspot).
Mais je pense qu’à moins de vivre au dessus d’un cafe ou tout autre endroit public fortement peuplé cela ne presente pas beaucoup d’intérêt.

Je pense que ce genre de réseau va se développer dans le futur et accompagner la migration vers “le tout IP” de notre société.
Cette migration et la technologie Wifi donne la chance aux utilisateurs de devenir propriètaire du réseau et ne plus faire office de vache à lait pour les opérateurs, comme c’est actuellement le cas du réseau GSM.

Donc si l’idée vous intéresse, je vous propose de rejoindre le réseau.

Problèmatique

Je dispose d’un portable évoluant parmis plusieurs réseaux informatiques : le travail la maison etc. La configuration réseau de ses environnements est diffèrente ( type de liaison, routeur par défaut, netmask, etc…) et demande la reconfiguration des interfaces à chaque déplacement. Il s’agit d’une tâche pénible et laborieuse, c’est pour cela que je me interessé au problème afin de trouver une solution simple, ne nécessitant aucune intervention de ma part. Celle-ci ne se base pas sur le logiciel NetworkManager, car ce dernier ne permet pas encore de détecter automatiquement sur quel réseau se trouve la machine.

Solution

Ma solution se base sur plusieurs logiciels diffèrents ayant chacun un rôle bien définit :

• wpasupplicant : daemon prennant en charge le réseau Wifi (détection, configuration, authentification et roaming)
• ifplugd : système de détection des interfaces réseaux, permettant de détecter le branchement d’un cable rj45 ou l’apparition d’un point d’accés Wifi.
• guessnet : système de détection réseau basé sur l’utilisation de trames ARP
• resolvconf : système de gestion des serveurs de noms
• ifupdown : scripts de configuration réseau de la distribution Debian

Interfaces réseau

Mon portable dispose de deux interfaces réseaux :

• eth0 : interface ethernet prise en charge par le driver r8169.
• eth1 : interface wifi prise en charge par le driver ipw2200.

Il vaut mieux disposer de drivers libres (exit ndiswrapper et co … ;0)

Installation

L’installation des pâquets nécessaires est extrêment simple à l’aide de apt-get ou d’aptitude :

#aptitude install wpasupplicant ifplugd guessnet resolvconf

Emplacement des fichiers de configuration

L’ensemble de la configuration réseau se trouve dans deux fichiers :

• /etc/network/inerfaces : configuration des toutes les interfaces
• /etc/wpa_supplicant.conf : spécificitées liées aux réseaux sans fils

Configuration

Il faut tout d’abord configurer wpasupplicant afin que celui-ci soit lancé au démarrage de votre machine, la procédure est diffèrente en fonction de la version de votre distribution :

• Sarge (version 0.3.8)
  Editez le fichier /etc/default/wpasupplicant de la manière suivante :

  # /etc/default/wpasupplicant

  # WARNING! Make sure you have a configuration file!

  ENABLED=1

  # Useful flags:
  # -D Wireless Driver
  # -i Interface (required, unless specified in config)
  # -c Configuration file
  # -d Debugging (-dd for more)
  # -w Wait for interface to come up

  OPTIONS=”-w -i eth1 -D ipw -c /etc/wpa_supplicant.conf”
  

  Activez le daemon, indiquez le nom de votre interface réseau et le nom du driver (wpa_supplicant -h pour obtenir la liste des drivers disponibles).
  Il faut ensuite configurer les spécificités de vos réseaux Wifi à l’aide du fichier /etc/wpa_supplicant/wpa_supplicant.conf en vous basant sur l’exemple fourni par le paquet Debian:

  # gunzip -c /usr/share/doc/wpasupplicant/examples/wpa_supplicant.conf.gz > /etc/wpa_supplicant.conf

  Une fois la configuration des réseaux Wifi déclarée, il suffit de lancer le programme à partir du script fourni dans /etc/init.d.

• Autres (version 0.4.8)
  TODO

Nous allons ensuite passer à la configuration de toutes les interfaces dans le fichier /etc/network/interfaces.

Il faut indiquer à ifplugd de prendre en charge les deux interfaces de la manière suivante :

# ifplugd
allow-hotplug eth0 eth1

Puis décrire le mapping des interfaces réseaux avec le script guessnet-ifupdown.

# Interface Mapping
mapping eth0 eth1
        script guessnet-ifupdown
        map default: unknown

Ensuite indiquer les spécificités de chaque réseau :

iface home inet static
        address 192.168.42.42
        netmask 255.255.255.0
        gateway 192.168.42.254

        dns-search csquad.lan
        dns-nameservers 192.168.42.3 192.168.17

        test1 peer address 192.168.42.253 00:12:17:07:C2:C9

iface work inet static
        address 10.0.0.101
        netmask 255.255.255.0
        gateway 10.0.0.1

        dns-search easter-eggs.fr
        dns-nameservers 10.0.0.2 10.0.0.20

        test1 peer address 10.0.0.1 00:50:22:8b:9c:d2

# DHCP par défaut
iface unknown inet dhcp

Les directives intéressantes sont :

• dns-* : la configuration des serveurs DNS via resolvconf.
• test* : les conditions permettant à guessnet d’identifier le réseau. La plupart du temps, il s’agit de l’adresse MAC du routeur par défaut.

Test de fonctionnement

Après la configuration, il ne vous reste plus qu’a tester l’ensemble en :

• Branchant/Débranchant le câble réseau.
• Activant/Désactivant le point d’accès Wifi.

Si tout se passe bien, vos interfaces réseaux seront configurées automatiquement. Dans le cas contraire, vous trouverez de nombreuses informations dans syslog, vous permettant d’identifier le problème.

Zeroconf

Zeroconf est le nom d’un ensemble de technologies permettant à plusieurs ordinateurs de communiquer sans configuration.
Le but est d’obtenir un réseau IP fonctionnel sans dépendance d’une infrastructure (serveur DHCP, serveur DNS, etc.) ou d’une expertise réseau. L’ensemble des ces technologies sont implémantées sous Linux par le projet Avahi.

mod_dnssd

Le module mod_dnssd permet d’intégrer le support de Zeroconf dans Apache2 et de publier par l’intèrmédiaire d’Avahi l’ensemble des sites disponibles sur le serveur.

Installation du module

Tout d’abord vous avez besoin d’Avahi :

# aptitude install avahi

Des biblithèques de developpement d’Apache2 :

# aptitude install apache2-dev

Télécharger les sources du modules sur le site web de l’auteur :

$ wget http://0pointer.de/lennart/projects/mod_dnssd/mod_dnssd-0.4.tar.gz

Compiler et installer le module :

$ tar xzf mod_dnssd-0.4.tar.gz
$ cd mod_dnssd-0.4
$ ./configure && make
# make install

Le module se retrouve dans le répertoire : /usr/lib/apache2/modules/

Configuration d’Apache

Pour publier, un site web il faut activer la publication dans le fichier de configuration d’Apache :

DNSSDEnable On

Pour publier une URL, il suffit d’indiquer son nom à l’aide de la directive DNSSDServiceName :

<location /foobar>
DNSSDServiceName “Documentation”
</location>

Vous pouvez aussi publier des flux RSS en précisant le type de services :

<Location /blog.cgi?rss>
DNSSDServiceName “The blog”
DNSSDServiceTypes _rss._tcp
</Location>

Exploitation

Vous pouvez vérifier que les sites ont bien été publié à l’aide d’utilitaire avahi-discover.