YaCy-Blog

YaCy 1.0

Heute wird Version 1.0 der freien Suchmaschinensoftware YaCy veröffentlicht. Grund genug, nochmal einen Blick auf die Idee hinter YaCy und die Bedeutung der Software zu werfen.

YaCys Ansatz unterscheidet sich von den bisher üblichen Suchmaschinen dadurch, dass es keinen zentralen Server nutzt.  Stattdessen werden die Suchergebnisse von einem Netzwerk von unabhängigen, gleichberechtigten Peers geliefert. In diesem Netzwerk existiert keine einzelne Instanz, die entscheiden kann, welche Suchergebnisse angezeigt werden und in welcher Reihenfolge dies geschieht.

YaCy läuft auf dem Rechner des Anwenders. Suchworte werden gehasht bevor sie den Rechner des Anwenders verlassen. Im Gegensatz zu üblichen Suchmaschinen wurde YaCy erschaffen, um die Privatsphäre der Benutzer zu schützen. Die eigene Installation der Software erzeugt einen individuellen Suchindex und ein eigenes Ranking, so dass die Suchresultate mit der Zeit sich immer besser den Bedürfnissen des Benutzers anpassen. Außerdem ermöglicht es YaCy, mit wenigen Clicks ein angepasstes Suchportal zu erstellen.

“Die meisten Dinge, die wir im Internet tun, beinhalten eine Suche. Für solch eine wichtige Funktion dürfen wir nicht auf einige wenige große Firmen vertrauen und dabei auch noch unsere Privatsphäre aufs Spiel setzen”, so YaCy-Projektgründer Michael Christen. “Die von YaCy zur Verfügung gestellte freie Suche bringt freie Informationen und freie Benutzer zusammen. YaCy gibt also die Kontrolle über die (freien) Daten der User zurück an uns User.”

Jeder YaCy-Nutzer ist Teil eines großen Suchnetzwerks. YaCy beliefert metager.de mit Suchergebnissen und wird unter anderem auf Websites wie sciencenet.kit.edu, yacy.geocaching-portal.com, oder fsfe.org genutzt, um eine Suchfunktion zur Verfügung zu stellen, welche die Privatsphäre der Nutzer respektiert. Es beinhaltet ein Peer-to-Peer-Protokoll, das es ermöglicht, Suchindizes unter den einzelnen Peers zu teilen.

“Wir verabschieden uns von der Idee, dass Dienste einer zentralen Kontrolle unterstehen müssen und begreifen, wie wichtig es ist, unabhängig zu sein und Infrastrukturen zu errichten, die keinen “Single Point of Failure” beinhalten. In einer zukünftigen Welt, in der verteilte Peer-to-Peer-Systeme eine wichtige Rolle einnehmen, sind freie Suchmaschinen wie YaCy ein wichtiger Baustein.”, sagt Karsten Gerloff, Präsident der Free Software Foundation Europe, anlässlich der Veröffentlichung von YaCy 1.0.

Jeder kann die Suchfunktion auf http://search.yacy.net ausprobieren. Teil des YaCy-Netzwerks kann man werden, indem man die Software auf dem eigenen Computer installiert. YaCy ist freie Software und jeder ist eingeladen sie zu benutzen, zu teilen und zu verbessern. Zur Zeit steht YaCy für GNU/Linux, Windows und MacOS zur Verfügung. Entwickler und  andere Mitwirkende sind herzlich willkommen.

Das Unabhängige Landeszentrum für Datenschutz Schleswig-Holstein realisiert Suchfunktion mit YaCy

Das Unabhängige Landeszentrum für Datenschutz Schleswig-Holstein (ULD) setzt seit einiger Zeit YaCy ein, um eine Suchfunktion für die eigene Web-Präsenz sowie für das Archiv der jährlichen Tätigkeitsberichte zur Verfügung zu stellen. Es wurde eine eigene Oberfläche implementiert, die basierend auf der Ausgabe durch YaCy als RSS-Feed die Liste der Suchergebnisse gut integriert in das Design der Seite präsentiert.

“Da die vorherige Suchmaschine des ULD sowohl Probleme mit HTTPS hatte als auch anfällig für Cross Site Scripting-Angriffe war, wurde ein Austausch erforderlich. Nach einigen Tests fiel die Wahl auf YaCy, das sich dabei unter anderem gegen Nutch durchsetzte. Als Open Source-Project ist der Einsatz von YaCy mit geringen Kosten verbunden; das ist für eine Behörde natürlich immer ein starkes Argument”, erläutert Markus Hansen vom ULD. “Interessant ist für uns aber insbesondere, dass der Quellcode offen liegt und notfalls angepasst werden darf. Von den YaCy-Entwicklern haben wir über den Austausch im Forum auch schon direkte Hilfe bekommen, als wir ein wenig mehr Datensicherheit ohne Einschränkung der Funktionalität brauchten.”

Das Unabhängige Landeszentrum für Datenschutz Schleswig-Holstein ist die Aufsichtsbehörde für Datenschutz und Informationsfreiheit des Landes Schleswig-Holstein. Gut ein Drittel der Stellen der Behörde wird dabei aus eingeworbenen Drittmitteln finanziert, indem das ULD sich an nationalen und internationalen Forschungsprojekten beteiligt, um so Datenschutzaspekte schon in der Entwicklungsphase von Diensten und Produkten mit einzubringen. Zudem können durch das ULD auf gesetzlicher Grundlage Produkte zertifiziert werden, die technisch und rechtlich datenschutzgerecht sind.

YaCy in indischer Bibliothek

Die digitale Bibliothek “Vidya” der Universität Amrita Vishwa Vidyapeetham im indischen Amritapuri setzt seit einiger Zeit YaCy ein. Die digitale Bibliothek umfasst mehr als 2TB Audio, Video und E-Books und wird über eine HTML-Oberfläche bedient, die über 800.000 Seiten umfasst. Die große Anzahl an Seiten hat es notwendig gemacht, eine Suchfunktion zu implementieren, die den Benutzern das schnelle Auffinden von Inhalten ermöglicht.

YaCy wurde ausgewählt, weil es die Anforderungen der Quelloffenheit, die Fähigkeit, Intranetseiten zu indexieren, eine Suchfunktion für Audio-, Video- und Bildinhalte, einfache Installation und die einfache Integrierbarkeit in eine bestehende Umgebung erfüllt. Die Installation läuft unter Ubuntu auf einem Server mit 4 Intel Xeon Prozessoren (2GHz), 2GB RAM und 3TB Plattenplatz.

Zwar existiern keine genauen Daten über die Nutzung der Suchfunktion, jedoch lässt sich aus den Nutzungsdaten der digitalen Bibliothek ableiten, dass die Suche monatlich über 25.000 Mal benutzt wird.

Weitere Informationen in Fibonacci Vol.1 (S. 57ff.)

Geocaching Suchportal

In Zusammenarbeit mit moenk, dem Liebel-Lab und der YaCy-Community (hier beim Aufstellen der Server) ist nun das auf YaCy basierende Geocaching Suchportal entstanden. Die Suche ist bereits auf stark frequentierten Portalen wie dem geoclub.de – Forum und dem geocaching-portal durch einen Suchschlitz eingebunden.

Die Suchergebnisse zeigen Links von speziellen Geocaching-Webseiten, die jeder per Formular bekannt geben kann, die URL ist: http://www.geocaching-portal.com/add_link.php

Als Besonderheit zeigt die Suchseite auch eine Karte von Orten an, die YaCy anhand von Ortsnamen, Telefonvorwahlen, KFZ-Kennzeichen oder Postleitzahlen im Suchbegriff identifiziert. Die Geolokalisation erfolgt mit Hilfe der OpenGeoDB und die Karten stammen von OpenStreetMap. Die Geoinformationen erweitern auch zusammen mit einem speziellen Geocaching-Wortschatz die neue Wortvorschlagsfunktion.

YaCy mit neuer Version 0.9 auf dem LinuxTag

Pünktlich zum diesjährigen LinuxTag ist YaCy in der neuen Version 0.9 erschienen. Auf dem Messegelände unter dem Funkturm in Berlin können sich interessierte Besucher am YaCy-Messestand bei Entwicklern und erfahrenen Anwendern über die Software und ihre Benutzung informieren. Der Messeauftritt steht dieses Jahr im Zeichen des Themas “Integration”. Im Vordergrund stehen Möglichkeiten, YaCy in bestehende Suchdienste einzubinden oder auf Basis von YaCy eine neue Suchfunktion in einer bestehenden Umgebung zu realisieren. Eine Demonstration der noch relativ neuen Live-Suche, die sich in den letzten Monaten von einem einfachen Proof of Concept zu einer ansprechenden Suchfunktion gemausert hat, ist auf der LinuxTag-Seite integriert.

Die auffälligste, mit der Version 0.9 eingeführte Neuerung stellen die sogenannten Navigatoren dar. Hierbei handelt es sich um neben den Suchergebnissen eingeblendete Vorschläge zur Eingrenzung der Suche in den Kategorien “Domain”, “Autor” und “Thema”.

Ein oft gefordertes Feature ist das Vorschlagen von alternativen Suchworten bei offensichtlichen Tippfehler, das nun realisiert wurde.

Außerdem neu ist der einfache Import von Datenbankdumps von phpBB-Foren. Dies ermöglicht es Forenbetreibern, sämtliche Artikel ihres Forums in hoher Geschwindigkeit zu erfassen, ohne dabei die Inhalte erst über HTTP abrufen zu müssen.

YaCy 0.9 ist auf yacy.net erhältlich.

YaCy 0.8 erschienen

Seit Anfang der Woche steht YaCy in der neuen Version 0.8 zum Download bereit. Die Datenstruktur, die YaCy zum Ablegen des Suchindexes nutzt, wurde umgestaltet, was einen erheblichen Leistungszuwachs zur Folge hat. Außerdem wurde die Verteilung von Indexdaten im YaCy-Netz überarbeitet und beschleunigt.

Neu ist die Möglichkeit, Dokumente (sog. Surrogate) im Dublin Core-Format oder als XML-Dump z.B. von Wikipedia einzulesen und so große Textmengen schnell, effizient und strukturiert zu erfassen. Die Benutzung von Surrogaten wird im YaCy-Forum beschrieben.

Auffällig ist die neue Live-Suche im Kopf der Seiten der HTML-Oberfläche von YaCy. Während der Eingabe eines Begriffs sucht YaCy bereits im lokalen Index und zeigt Suchergebnisse an. Beim Bestätigen mit Enter wird eine globale Suche gestartet. Diese Suchemaske kann sehr einfach in eigene Seiten kopiert werden, um dort eine Suchfunktion zur Verfügung zu stellen. Beispiele für Seiten mit einer so realisierten Suchfunktion sind itgrl.de und das YaCy-Wiki.

Nützlich ist die wieder eingeführte UPnP-Unterstützung. Mit dem Windows-Installer wird nun bei Bedarf unter 64-Bit-Systemen auch die 64-Bit-Version von Java installiert. Außerdem enthält die neue Version von YaCy viele kleine Änderungen, die das Arbeiten und Administrieren einfacher machen.

YaCy 0.8 ist auf yacy.net erhältlich.

YaCy bei Twitter

Für Freunde des Microblogging-Dienstes Twitter gibt es dort jetzt auch einen YaCy-Account, der die wichtigsten Neuerungen kurz zusammenfassen wird. Vorrangig soll es Infos zu Änderungen und Bugfixes geben. Gibt es sonst noch weitere Anregungen/Ideen?

YaCy 0.7 löst 0.61 ab

YaCy 0.7 bringt viele lang erwartete Features. So findet YaCy nun dank UTF-8 alle Sprachen dieser Welt. Ebenso kann jetzt per site: inurl: und filetype: gesucht werden. Der Crawler indexiert >1000 Seiten pro Minute.

Die API unterstützt jetzt JSON und ist besser dokumentiert. Die Geschwindigkeit wird in einer Live-Suche während der Eingabe demonstriert.

Auch diesmal konnten Festplattenzugriffe durch Optimierungen reduziert werden. Der HTTP-Server kann nun CGI-Seiten ausliefern, welches jedoch weitere Software erfordert und standardmäßig ausgeschaltet ist.

Noch einfacher ist auch die Konfiguration. Oft genutzte Einstellungen sind nun auf einer Seite zusammengefasst. Die weiteren Optionen befinden sich hinter dem Menüpunkt „Advanced Settings“.

YaCy 0.7 kann ab sofort von yacy.net heruntergeladen werden.

Da YaCy dieses Jahr 1.0 erreichen soll, werden die nächsten Versionen um 1/10 hochgezählt.

YaCy 0.60

Nach nun dreimonatiger Entwicklungszeit ist YaCy in der Version 0.60 fertig gestellt. Lesezeichen können jetzt automatisch neu Indexiert und mit einem Crawl-Start angelegt werden. Ist nicht genügend freier Speicher vorhanden, pausiert YaCy aktuelle Aufträge und gewährleistet so einen sicheren Betrieb. Die Index-Verwaltung zeigt die Top-100 Domains. Die alternative Oberfläche „Rich Client“ wurde weiter ausgebaut.

Unter Windows zeigt sich YaCy jetzt durch ein elegantes Logo im Tray. Bei einem Doppelklick wird die Suchseite aufgerufen. Die Installation wurde unter Windows Vista nochmals verbessert.

YaCy kann sich sehen lassen: die Suchseite lässt sich anpassen und zeigt auf Wunsch die eigene Begrüßung. Auch das Logo lässt sich nun gegen das eigene wechseln. Dies verbessert die Anwendung von YaCy als Portal für eine Spezial-Suche oder das eigene Intranet.

Die Performance lässt sich für Einsteiger jetzt noch bequemer einstellen. Die neuen Profile können in der Geschwindigkeit individuell angepasst werden. Auch Quad-Core Prozessoren werden ab Version 0.60 optimal genutzt.

Schnelle Suchergebnisse bei MetaGer liefert YaCy inzwischen per Voreinstellung. Hierfür werden bislang freiwillige Teilnehmer des Freeworld-Netzes durch MetaGer abgefragt.

YaCy 0.60 kann unter yacy.net heruntergeladen werden.

YaCy 0.59

Nur wenige Tage nach dem LinuxTag 2008 ist YaCy in der Version 0.59 erschienen. Das wichtigste neue Feature ist die Möglichkeit, eine Intranetsuche aufzubauen. Der Einsatz als vom öffentlichen Netz getrennte Installation (sog. Robinson-Peer) wurde stark erleichtert. Mit Version 0.59 kann per Mausklick zwischen den verschiedenen Anwendungsfällen umgeschaltet werden. Das händische Editieren von Konfigurationsdateien ist nicht mehr notwendig. Um die Vertraulichkeit privater Daten (z.B. aus dem Intranet) sicher zu stellen, wird für jeden Anwendungsfall ein separater Index angelegt, so dass eine eindeutige Trennung der verschiedenen Daten gegeben ist.

Ein Feature, das dem Nutzer zeigt, womit der Peer aktuell beschäftigt ist, ist der neue System-Monitor (Terminal-Seite), die aktuelle Ereignisse in textueller und grafischer Form anzeigt. Am auffälligsten dürfte dabei die animierte Grafik sein, welche die Verlinkungsstruktur der zuletzt gecrawlten Domains anzeigt, in die nach einem Mausklick auf die Grafik mit den Tasten “+” bzw. “-” hinein und heraus gezoomt werden kann. Mit den Tasten “a”, “d”, “w”, “s” kann in der Grafik navigiert werden und die Taste mit der Zahl “0″ bringt die Grafik zurück in die Ausgangsposition.

YaCy 0.59 ist ab sofort auf yacy.net erhältlich.