YaCy-Blog

Geocaching Suchportal

In Zusammenarbeit mit moenk, dem Liebel-Lab und der YaCy-Community (hier beim Aufstellen der Server) ist nun das auf YaCy basierende Geocaching Suchportal entstanden. Die Suche ist bereits auf stark frequentierten Portalen wie dem geoclub.de – Forum und dem geocaching-portal durch einen Suchschlitz eingebunden.

Die Suchergebnisse zeigen Links von speziellen Geocaching-Webseiten, die jeder per Formular bekannt geben kann, die URL ist: http://www.geocaching-portal.com/add_link.php

Als Besonderheit zeigt die Suchseite auch eine Karte von Orten an, die YaCy anhand von Ortsnamen, Telefonvorwahlen, KFZ-Kennzeichen oder Postleitzahlen im Suchbegriff identifiziert. Die Geolokalisation erfolgt mit Hilfe der OpenGeoDB und die Karten stammen von OpenStreetMap. Die Geoinformationen erweitern auch zusammen mit einem speziellen Geocaching-Wortschatz die neue Wortvorschlagsfunktion.

YaCy mit neuer Version 0.9 auf dem LinuxTag

Pünktlich zum diesjährigen LinuxTag ist YaCy in der neuen Version 0.9 erschienen. Auf dem Messegelände unter dem Funkturm in Berlin können sich interessierte Besucher am YaCy-Messestand bei Entwicklern und erfahrenen Anwendern über die Software und ihre Benutzung informieren. Der Messeauftritt steht dieses Jahr im Zeichen des Themas “Integration”. Im Vordergrund stehen Möglichkeiten, YaCy in bestehende Suchdienste einzubinden oder auf Basis von YaCy eine neue Suchfunktion in einer bestehenden Umgebung zu realisieren. Eine Demonstration der noch relativ neuen Live-Suche, die sich in den letzten Monaten von einem einfachen Proof of Concept zu einer ansprechenden Suchfunktion gemausert hat, ist auf der LinuxTag-Seite integriert.

Die auffälligste, mit der Version 0.9 eingeführte Neuerung stellen die sogenannten Navigatoren dar. Hierbei handelt es sich um neben den Suchergebnissen eingeblendete Vorschläge zur Eingrenzung der Suche in den Kategorien “Domain”, “Autor” und “Thema”.

Ein oft gefordertes Feature ist das Vorschlagen von alternativen Suchworten bei offensichtlichen Tippfehler, das nun realisiert wurde.

Außerdem neu ist der einfache Import von Datenbankdumps von phpBB-Foren. Dies ermöglicht es Forenbetreibern, sämtliche Artikel ihres Forums in hoher Geschwindigkeit zu erfassen, ohne dabei die Inhalte erst über HTTP abrufen zu müssen.

YaCy 0.9 ist auf yacy.net erhältlich.

YaCy 0.8 erschienen

Seit Anfang der Woche steht YaCy in der neuen Version 0.8 zum Download bereit. Die Datenstruktur, die YaCy zum Ablegen des Suchindexes nutzt, wurde umgestaltet, was einen erheblichen Leistungszuwachs zur Folge hat. Außerdem wurde die Verteilung von Indexdaten im YaCy-Netz überarbeitet und beschleunigt.

Neu ist die Möglichkeit, Dokumente (sog. Surrogate) im Dublin Core-Format oder als XML-Dump z.B. von Wikipedia einzulesen und so große Textmengen schnell, effizient und strukturiert zu erfassen. Die Benutzung von Surrogaten wird im YaCy-Forum beschrieben.

Auffällig ist die neue Live-Suche im Kopf der Seiten der HTML-Oberfläche von YaCy. Während der Eingabe eines Begriffs sucht YaCy bereits im lokalen Index und zeigt Suchergebnisse an. Beim Bestätigen mit Enter wird eine globale Suche gestartet. Diese Suchemaske kann sehr einfach in eigene Seiten kopiert werden, um dort eine Suchfunktion zur Verfügung zu stellen. Beispiele für Seiten mit einer so realisierten Suchfunktion sind itgrl.de und das YaCy-Wiki.

Nützlich ist die wieder eingeführte UPnP-Unterstützung. Mit dem Windows-Installer wird nun bei Bedarf unter 64-Bit-Systemen auch die 64-Bit-Version von Java installiert. Außerdem enthält die neue Version von YaCy viele kleine Änderungen, die das Arbeiten und Administrieren einfacher machen.

YaCy 0.8 ist auf yacy.net erhältlich.

Automatische Portweiterleitung mit UPnP

In den aktuellen Entwicklerversionen, die über das interne Update zu erhalten sind hat nun UPnP Einzug erhalten. UPnP ist ein Standard, den heute nahezu alle gängigen DSL-Router unterstützen. In YaCy wird so nun der genutzte Port freigeschaltet um für das Netzwerk erreichbar zu sein. Um diese Option zu nutzen, muss zum einen UPnP im Router aktiv sein und zum anderen YaCy in der Eingangskonfiguration angewiesen werden dies zu nutzen. Unter Umständen kann die Einrichtung der Weiterleitung kurze Zeit dauern, wenn der verwendete Router nicht auf die Suche antwortet aber sich selbst regelmäßig meldet.

Bisher ist diese Funktion erst auf Windows XP und Ubuntu-Linux getestet. Um bis zum nächsten Release eine zuverlässige Angaben über die Funktion machen zu können freue ich mich über jeden Erfahrungsbericht.  Für den Fall, dass dieser negativ ausfällt wäre es Hilfreich zu wissen ob eine UPnP-Weiterleitung denn mit anderen Programmen funktioniert.

Im Moment sind die Entwicklerversionen noch als alpha-Stadium zu betrachten. Ab Version x.x4 sollten diese einigermaßen stabil laufen.

YaCy bei Twitter

Für Freunde des Microblogging-Dienstes Twitter gibt es dort jetzt auch einen YaCy-Account, der die wichtigsten Neuerungen kurz zusammenfassen wird. Vorrangig soll es Infos zu Änderungen und Bugfixes geben. Gibt es sonst noch weitere Anregungen/Ideen?

YaCy 0.7 löst 0.61 ab

YaCy 0.7 bringt viele lang erwartete Features. So findet YaCy nun dank UTF-8 alle Sprachen dieser Welt. Ebenso kann jetzt per site: inurl: und filetype: gesucht werden. Der Crawler indexiert >1000 Seiten pro Minute.

Die API unterstützt jetzt JSON und ist besser dokumentiert. Die Geschwindigkeit wird in einer Live-Suche während der Eingabe demonstriert.

Auch diesmal konnten Festplattenzugriffe durch Optimierungen reduziert werden. Der HTTP-Server kann nun CGI-Seiten ausliefern, welches jedoch weitere Software erfordert und standardmäßig ausgeschaltet ist.

Noch einfacher ist auch die Konfiguration. Oft genutzte Einstellungen sind nun auf einer Seite zusammengefasst. Die weiteren Optionen befinden sich hinter dem Menüpunkt „Advanced Settings“.

YaCy 0.7 kann ab sofort von yacy.net heruntergeladen werden.

Da YaCy dieses Jahr 1.0 erreichen soll, werden die nächsten Versionen um 1/10 hochgezählt.

Komfortabel nach bestimmten Dateitypen suchen

In der aktuellen Entwicklerversion ist es mit YaCy nun komfortabel möglich, sich nur Dokumente als Suchergebnisse anzeigen zu lassen, die von einem bestimmten Dateityp sind. Dies war bisher schon durch die Eingabe eines entsprechenden regulären Ausdrucks in der URL-Maske (unter “erweiterte Optionen” auf der Suchseite) möglich, jedoch stellt YaCy nun einen bequem zu benutzenden Parameter namens filetype zur Verfügung.

Benutzt wird der Parameter, indem man ihn zusätzlich zum Suchausdruck angibt. Möchte man beispielsweise nach Preislisten suchen, die als PDF-Dateien vorliegen, so genügt die Eingabe von preisliste filetype:pdf und es werden nur noch Links auf PDF-Dateien als Suchergebnis angezeigt.

Der Parameter ist bereits in den aktuellen Entwicklerversionen ab Revision 5418 verfügbar und wird in die nächste Version von YaCy einfließen.

YaCy in der c’t 21/2008

Die seit heute erhältliche c’t 21/2008 enthält ab Seite 180 einen sechsseitigen Artikel von Peter Schüler. Darin wird anhand eines Beispiels detailliert darauf eingegangen, was YaCy ist und wie es installiert und gestartet wird. Es wird eine Übersicht über die verschiedenen Benutzungsszenarien (Websuche im öffentlichen P2P-Netz, eigene Portalsuche, Intranetsuche) gegeben und die wichtigsten Konfigurationsmöglichkeiten werden angesprochen.

Mit diesem Artikel sollte es fast jedem möglich sein, seinen eigenen Peer aufzusetzen und in Betrieb zu nehmen.

YaCy 0.60

Nach nun dreimonatiger Entwicklungszeit ist YaCy in der Version 0.60 fertig gestellt. Lesezeichen können jetzt automatisch neu Indexiert und mit einem Crawl-Start angelegt werden. Ist nicht genügend freier Speicher vorhanden, pausiert YaCy aktuelle Aufträge und gewährleistet so einen sicheren Betrieb. Die Index-Verwaltung zeigt die Top-100 Domains. Die alternative Oberfläche „Rich Client“ wurde weiter ausgebaut.

Unter Windows zeigt sich YaCy jetzt durch ein elegantes Logo im Tray. Bei einem Doppelklick wird die Suchseite aufgerufen. Die Installation wurde unter Windows Vista nochmals verbessert.

YaCy kann sich sehen lassen: die Suchseite lässt sich anpassen und zeigt auf Wunsch die eigene Begrüßung. Auch das Logo lässt sich nun gegen das eigene wechseln. Dies verbessert die Anwendung von YaCy als Portal für eine Spezial-Suche oder das eigene Intranet.

Die Performance lässt sich für Einsteiger jetzt noch bequemer einstellen. Die neuen Profile können in der Geschwindigkeit individuell angepasst werden. Auch Quad-Core Prozessoren werden ab Version 0.60 optimal genutzt.

Schnelle Suchergebnisse bei MetaGer liefert YaCy inzwischen per Voreinstellung. Hierfür werden bislang freiwillige Teilnehmer des Freeworld-Netzes durch MetaGer abgefragt.

YaCy 0.60 kann unter yacy.net heruntergeladen werden.

YaCy bequem unter Windows installieren

Eine besondere Neuerung für Windows-Nutzer ist der jüngst veröffentlichte Windows-Installer. Mit ihm ist der Einstieg in YaCy noch einfacher geworden. Die ausführbare Datei entspricht dem bisherigen Archiv und legt bei der Installation zusätzliche Verknüpfungen an. Ist keine aktuelle Java-Version installiert, wird diese online nachgeladen.

Der Installer bleibt nicht die einzige Entwicklung mit der sich YaCy besser in Windows integriert. Weitere Verbesserungen sind geplant und werden in nächster Zeit den Wohlfühlfaktor von YaCy auch unter anderen Systemen weiter steigern.

Der neue Installer kann unter yacy.net heruntergeladen werden.