Zipfelmaus » YaCy

YaCyStats-Plugin für WordPress

Rocu — Sat, 04 Jul 2009 17:21:21 +0000

Seit dem ich das letzte mal über YaCy die verteilte Suchmaschine geblogt habe, hat sich einiges getan. Ich habe sehr viel Zeit mit der Pflege und Wartung meines Peers zugebracht und durfte mit ansehen, wie YaCy immer stabiler wurde.

Inszwischen ist YaCy in der Version 0.91 und das spürt man. Die Performance hat sich nach einer Umstellung auf die neue IndexCell Datenstruktur vervielfacht. Die Suche wurde optisch und Funktional wunderbar durch ein wenig Javascript aufgewertet. Man muss seinen Peer nicht mehr alle paar Stunden neustarten: Kurz es macht immer mehr Spaß YaCy zu benutzen.

Nun lenkt YaCy aber natürlich auch ein wenig vom Bloggen ab und daher habe ich mir mal ein paar Stunden Zeit genommen und schnell ein kleines WordPress-Plugin zusammengestrickt. Es zeigt den Status eines YaCy Peers in einem WordPress-Widget an und kann in jedem Theme benutzt werden, dass Widgets unterstützt.

Die Daten bezieht das Plugin über die in YaCy integrierte API und benutzt SimpleXML um sie aus der Antwort zu picken.

Um den Peer nicht mit sinnlosen anfragen zu belasten und die Antwortzeiten des Blogs gering zu halten, werden die Statistiken für einen selbst einstellbaren Zeitraum in der Blogdatenbank zwischengespeichert.

Angezeigt werden der Name des Peers, PPM,Wörter und die Anzahl der indexierten URLs.

Das Plugin läuft bei mir stabil – wie immer übernehme ich aber keine Gewähr für perfektes funktionieren, helfe aber gerne bei Fehlern weiter und freue mich über eure Kommentare, Patches oder Anregungen.

Entgegen der sonst bei Zipfelmaus üblichen Lizenz steht das Plugin unter GNU General Public License (Version 3) um später von WordPress.org gehostet werden zu dürfen.

Version-History

Version 0.1.1 Alpha

- Unterdrücke PHP-Warnung, wenn Peer nicht erreichbar
- Bug beghoben, bei dem das Widget möglw. nicht ausgeblendet wird, wenn Peer nicht erreichbar

Download: yacyPlugin_0.1.1.php

Version 0.1 Alpha

- Hinzufügen von Konfigurationsmöglichkeiten für die URL des Peers und die Zeit des vorhaltens der Ergebnisse im lokalen Cache
Download: yacyStatsPlugin_0.1

Verwandte Artikel:

YaCy ist der perfekte Zeitvertreib

Rocu — Tue, 24 Mar 2009 19:37:11 +0000

Während der letzten Tage habe ich mich wieder einmal eingehender mit YaCy beschäftigt und auf allen Rechnern die mir gehören die sympathische P2P-Suchmaschine installiert.

Vor einiger Zeit hatte ich YaCy auf meinem kleinen VIA V3 installiert, den YaCy ob seines Ressourcenhunger praktisch still legt. Da hilft nur eins: Crawling abstellen und nur die Verteilung und den Empfang vom Index aktiviert. Ob das wirklich Sinn für das Netzwerk macht, weiß ich allerdings nicht.

Auf meinem Macbook Pro hingegen schnurrt YaCy erwartungsgemäß wie eine Raubkatze – 400 Seiten pro Minute sind problemlos drin. Obwohl das Programm auch als Proxy fungieren kann, hat YaCy meinem Squid was die Performance angeht natürlich nichts entgegenzusetzen. Als VDSL-Benutzer bremst mich das ganze doch ziemlich aus

Die dritte Installation habe ich auf einem VSERVER von Hosteurope vorgenommen, denn ich für meine Webseite benutze. Ich war überrascht, dass um die 50 Seiten pro Minute möglich sind – Besucher hat dieses Blog ja praktisch eh keine, da kann man ruhig die Ressourcen für die man bezahlt anderweitig benutzen.

Trotzdem: Mein langfristiges Ziel nur noch mit YaCy zu suchen habe ich noch nicht erreicht. Erstens liefert Google sehr viel bessere Ergebnisse und zweitens lässt sich das Suchfeld meines geliebten Safari 4,so weit ich weiß, gar nicht auf eine alternative Suchmaschine umstellen.

Um die Suchqualität zu verbessern rufe ich meine werten Leser dazu auf sich eine eigene freie, unzensierte P2P-Suchmaschine aufzusetzen. Alle die dazu keine Lust haben, lade ich zu einer Suche mit meinen Installationen ein.

Weiterführende Links

YaCy Projecthomepage
Die Zipfelmaus YaCy-Suche 1

Verwandte Artikel:

Tracking in YaCy einbauen

Rocu — Sun, 16 Nov 2008 10:04:03 +0000

Vor einigen Tagen hatte ich bereits über YaCy berichtet. Ganz vergessen dabei hatte ich, das YaCy neben seiner eher offensichtlichen Funktionalität auch noch weitere Vorteile für den stolzen Besitzer eines eigenen kleinen Homeservers birgt.

So liefert YaCy einen echten eigenen kleinen Caching-Proxy, der bei richtiger Konfiguration das gesamte kleine Netzwerk zu Hause mit seinen Diensten versorgen kann, ausserdem kann YaCy als kleiner kollektiver Bookmarkmanager verwendet werden, bietet ein Blog und ein kleines Wiki, sowie ein Verzeichnis in das statische Dateien über den YaCy-Webserver verteilt werden können.

Suchmaschine von Supeermario (Flickr)

Nun habe ich zwar nicht vor, mein Blog zu YaCy umzuziehen aber immerhin habe ich heute YaCy mal neben dem Port 8080 auch den Port 80 gegeben hier zu Hause und eine eigene IP. Die Suche ist also hier hin umgezogen.

(UPDATE: jetzt liegt YaCy auf meinem Webserver (http://www.zipfelmaus.com:8080))

Evtl. packe ich in das Verzeichnis http://yacy.web2.0du.de/www/, wenn ich die Zeit finde eine kleine Webseite über YaCy hinein.

Nach der ganzen Arbeit nahm allerdings mal wieder mein ausgeprägter Drang hinaus meine Besucher “auszuspionieren” überhand. Daher habe ich den Tracking-Code von Etracker in mein YaCy-Frontend mit hineingeflochten. Wenn man sich dabei zivilisiert verhält, kann man nichts kaputt machen.

Kopiert wird der Code ganz einfach in YACYROOT/htroot/env/templates/footer.template . Nützlich wäre hier evtl. ein kleines Feld im Backend, in das man solchen Code einfach reinpasten kann.

Wer näheres über YaCy erfahren wil, probiert es am besten gleich aus:

http://www.yacy.net/

Verwandte Artikel:

Yacy – Eine verteilte Suchmaschine

Rocu — Thu, 13 Nov 2008 22:22:09 +0000

Vor einigen Tagen haben wir auf YiGG den Weltspion eingeführt. Die Arbeit daran hat uns allen viel Spaß bereitet, da neben dem PHP-Teil auch eine JAVA-Anwendung geschrieben werden musste, die in regelmäßigen Abständen RSS-Feeds nach neuen Einträgen abgrast.

Nebenher mussten tausende RSS-Feeds kategorisiert werden. Das ganze Team war eine schöne Zeit beschäftigt.

Herausgekommen ist eine Anwendung, die live Anzeigt was gerade in der Welt passiert.

Das Kapital einer solchen Anwendung sind natürlich die RSS-Feeds, die abgeklappert werden. Da mein persönlicher virtueller Dunstkreis doch recht klein ist, habe ich nach einer automatisierten Lösung dafür gesucht neue RSS-Feeds zu finden und bin dabei auf YaCy, eine P2P Suchmaschine gestoßen.

YaCy Demonstration 2007 von Michael Christen auf Vimeo.

Seit etwa einer Woche benutze ich YaCy und mein MacBook grast sich langsam aber sicher durchs Internet. Nach dem Starten des Java-Crawlers kann man auf einer Webseite das geschehen beobachten.Das ganze sieht dann so aus:

Das lustige und tolle daran, diese Grafiken werden Live von YaCy erstellt und man kann sie überall einbinden.

Ein weiteres gelungenes Feature ist die Internet-Visualisierung, die aus dem eigenen Index Bilder von der Linkstruktur belibieger Webseiten bauen kann.

Bemerkenswert ist, das YaCy verhältnismäßig wenig Traffic erzeugt und nicht besonders CPU-hungrig ist.

Mein persönliches Fazit: Ich kann mir schön RSS-Feeds aus dem Index ziehen und YaCy darf dafür schön weiterwerkeln. Neben allen Vorteilen gibt es natürlich noch die völlig unzensierte verteilte Suche. Wer es ausprobieren möchte, den lade ich ein sich bei Web 2.0 Dudes YaCy-Suche umzusehen.

Verwandte Artikel: