On October 2nd YaCy was featured on FLOSS Weekly, a video podcast about Free Libre Open Source Software hosted by Randal Schwartz. The co-host of this episode was Aaron Newcomb. YaCy was represented by Michael Christen.
The podcast can be downloaded as mp3 or mp4 at: http://twit.tv/show/floss-weekly/267
Pünktlich zum diesjährigen LinuxTag ist YaCy in der neuen Version 0.9 erschienen. Auf dem Messegelände unter dem Funkturm in Berlin können sich interessierte Besucher am YaCy-Messestand bei Entwicklern und erfahrenen Anwendern über die Software und ihre Benutzung informieren. Der Messeauftritt steht dieses Jahr im Zeichen des Themas „Integration“. Im Vordergrund stehen Möglichkeiten, YaCy in bestehende Suchdienste einzubinden oder auf Basis von YaCy eine neue Suchfunktion in einer bestehenden Umgebung zu realisieren. Eine Demonstration der noch relativ neuen Live-Suche, die sich in den letzten Monaten von einem einfachen Proof of Concept zu einer ansprechenden Suchfunktion gemausert hat, ist auf der LinuxTag-Seite integriert.
Die auffälligste, mit der Version 0.9 eingeführte Neuerung stellen die sogenannten Navigatoren dar. Hierbei handelt es sich um neben den Suchergebnissen eingeblendete Vorschläge zur Eingrenzung der Suche in den Kategorien „Domain“, „Autor“ und „Thema“.
Ein oft gefordertes Feature ist das Vorschlagen von alternativen Suchworten bei offensichtlichen Tippfehler, das nun realisiert wurde.
Außerdem neu ist der einfache Import von Datenbankdumps von phpBB-Foren. Dies ermöglicht es Forenbetreibern, sämtliche Artikel ihres Forums in hoher Geschwindigkeit zu erfassen, ohne dabei die Inhalte erst über HTTP abrufen zu müssen.
YaCy 0.9 ist auf yacy.net erhältlich.
Seit Anfang der Woche steht YaCy in der neuen Version 0.8 zum Download bereit. Die Datenstruktur, die YaCy zum Ablegen des Suchindexes nutzt, wurde umgestaltet, was einen erheblichen Leistungszuwachs zur Folge hat. Außerdem wurde die Verteilung von Indexdaten im YaCy-Netz überarbeitet und beschleunigt.
Neu ist die Möglichkeit, Dokumente (sog. Surrogate) im Dublin Core-Format oder als XML-Dump z.B. von Wikipedia einzulesen und so große Textmengen schnell, effizient und strukturiert zu erfassen. Die Benutzung von Surrogaten wird im YaCy-Forum beschrieben.
Auffällig ist die neue Live-Suche im Kopf der Seiten der HTML-Oberfläche von YaCy. Während der Eingabe eines Begriffs sucht YaCy bereits im lokalen Index und zeigt Suchergebnisse an. Beim Bestätigen mit Enter wird eine globale Suche gestartet. Diese Suchemaske kann sehr einfach in eigene Seiten kopiert werden, um dort eine Suchfunktion zur Verfügung zu stellen. Beispiele für Seiten mit einer so realisierten Suchfunktion sind itgrl.de und das YaCy-Wiki.
Nützlich ist die wieder eingeführte UPnP-Unterstützung. Mit dem Windows-Installer wird nun bei Bedarf unter 64-Bit-Systemen auch die 64-Bit-Version von Java installiert. Außerdem enthält die neue Version von YaCy viele kleine Änderungen, die das Arbeiten und Administrieren einfacher machen.
YaCy 0.8 ist auf yacy.net erhältlich.
In den aktuellen Entwicklerversionen, die über das interne Update zu erhalten sind hat nun UPnP Einzug erhalten. UPnP ist ein Standard, den heute nahezu alle gängigen DSL-Router unterstützen. In YaCy wird so nun der genutzte Port freigeschaltet um für das Netzwerk erreichbar zu sein. Um diese Option zu nutzen, muss zum einen UPnP im Router aktiv sein und zum anderen YaCy in der Eingangskonfiguration angewiesen werden dies zu nutzen. Unter Umständen kann die Einrichtung der Weiterleitung kurze Zeit dauern, wenn der verwendete Router nicht auf die Suche antwortet aber sich selbst regelmäßig meldet.
Bisher ist diese Funktion erst auf Windows XP und Ubuntu-Linux getestet. Um bis zum nächsten Release eine zuverlässige Angaben über die Funktion machen zu können freue ich mich über jeden Erfahrungsbericht. Für den Fall, dass dieser negativ ausfällt wäre es Hilfreich zu wissen ob eine UPnP-Weiterleitung denn mit anderen Programmen funktioniert.
Im Moment sind die Entwicklerversionen noch als alpha-Stadium zu betrachten. Ab Version x.x4 sollten diese einigermaßen stabil laufen.
In der aktuellen Entwicklerversion ist es mit YaCy nun komfortabel möglich, sich nur Dokumente als Suchergebnisse anzeigen zu lassen, die von einem bestimmten Dateityp sind. Dies war bisher schon durch die Eingabe eines entsprechenden regulären Ausdrucks in der URL-Maske (unter „erweiterte Optionen“ auf der Suchseite) möglich, jedoch stellt YaCy nun einen bequem zu benutzenden Parameter namens filetype zur Verfügung.
Benutzt wird der Parameter, indem man ihn zusätzlich zum Suchausdruck angibt. Möchte man beispielsweise nach Preislisten suchen, die als PDF-Dateien vorliegen, so genügt die Eingabe von preisliste filetype:pdf und es werden nur noch Links auf PDF-Dateien als Suchergebnis angezeigt.
Der Parameter ist bereits in den aktuellen Entwicklerversionen ab Revision 5418 verfügbar und wird in die nächste Version von YaCy einfließen.
Eine besondere Neuerung für Windows-Nutzer ist der jüngst veröffentlichte Windows-Installer. Mit ihm ist der Einstieg in YaCy noch einfacher geworden. Die ausführbare Datei entspricht dem bisherigen Archiv und legt bei der Installation zusätzliche Verknüpfungen an. Ist keine aktuelle Java-Version installiert, wird diese online nachgeladen.
Der Installer bleibt nicht die einzige Entwicklung mit der sich YaCy besser in Windows integriert. Weitere Verbesserungen sind geplant und werden in nächster Zeit den Wohlfühlfaktor von YaCy auch unter anderen Systemen weiter steigern.
Der neue Installer kann unter yacy.net heruntergeladen werden.
Nur wenige Tage nach dem LinuxTag 2008 ist YaCy in der Version 0.59 erschienen. Das wichtigste neue Feature ist die Möglichkeit, eine Intranetsuche aufzubauen. Der Einsatz als vom öffentlichen Netz getrennte Installation (sog. Robinson-Peer) wurde stark erleichtert. Mit Version 0.59 kann per Mausklick zwischen den verschiedenen Anwendungsfällen umgeschaltet werden. Das händische Editieren von Konfigurationsdateien ist nicht mehr notwendig. Um die Vertraulichkeit privater Daten (z.B. aus dem Intranet) sicher zu stellen, wird für jeden Anwendungsfall ein separater Index angelegt, so dass eine eindeutige Trennung der verschiedenen Daten gegeben ist.
Ein Feature, das dem Nutzer zeigt, womit der Peer aktuell beschäftigt ist, ist der neue System-Monitor (Terminal-Seite), die aktuelle Ereignisse in textueller und grafischer Form anzeigt. Am auffälligsten dürfte dabei die animierte Grafik sein, welche die Verlinkungsstruktur der zuletzt gecrawlten Domains anzeigt, in die nach einem Mausklick auf die Grafik mit den Tasten „+“ bzw. „-“ hinein und heraus gezoomt werden kann. Mit den Tasten „a“, „d“, „w“, „s“ kann in der Grafik navigiert werden und die Taste mit der Zahl „0“ bringt die Grafik zurück in die Ausgangsposition.
YaCy 0.59 ist ab sofort auf yacy.net erhältlich.
Nach 4 Tagen ist letzten Samstag der LinuxTag 2008 in Berlin zu Ende gegangen. Der YaCy-Stand war gut besucht und insbesondere an den ersten beiden Tagen, an denen parallel zum LinuxTag noch die IT Profits stattfand, haben zahlreiche Firmenvertreter ein Interesse an der neuen Möglichkeit der Intranet-Suche bekundet. Diese Anwendung war bisher mit YaCy nicht möglich, wurde aber immer wieder nachgefragt. Mit Version 0.59 wird YaCy auch über HTTP abrufbare Inhalte im Intranet indexieren können. Die aktuelle Entwicklerversion, die auf dem LinuxTag gezeigt wurde und die auf yacy.net erhältlich ist, enthält diese Funktion ebenfalls.
Ohne besondere Anstrengungen waren bis Samstagmittag 400 Flyer und mindestens so viele Kugelschreiber unter die Besucher gebracht, so dass noch zusätzliches Infomaterial gedruckt werden mussten. (Vielen Dank an die BeLUG dafür!) Das Interesse bei privaten und geschäftlichen Besuchern war sehr hoch und auch mehrere Journalisten haben sich ausführlich über YaCy informiert.
An den vier Messetagen waren insgesamt sechs Mitglieder der YaCy-Community am Stand vertreten und haben die Zeit zwischen den Besuchergesprächen sowie die Abende dazu genutzt, neue Ideen zu entwickeln und zu diskutieren.
Fazit: Es waren vier anstrengende, aber auch sehr spannende Tage, die sich aber auf jeden Fall gelohnt haben.
Bisher wurde für die Benutzung von YaCy mindestens Java 1.4.2 vorausgesetzt. YaCy 0.56 wird die letzte Version sein, die auf Grundlage von Java 1.4.2 programmiert ist. Mit der Entwicklerversion 0.561 und der darauf basierenden Stable-Version 0.57 wird Java 5 vorausgesetzt werden.
Warum erst jetzt?
Mit dem Umstieg wurde relativ lange gewartet – Java 5 ist mittlerweile über 3 Jahre alt – , was mehrere Gründe hat. Zum Einen sollte verhindert werden, dass durch einen verfrühten Umstieg auf Java 5 YaCy auf zahlreichen Systemen, für die keine Laufzeitumgebung in der entsprechenden Version zur Verfügung stand oder installiert werden konnte, nicht lauffähig ist. Mittlerweile ist Java 5 für alle aktuellen System erhältlich, so dass beim Wechsel der Java-Version hoffentlich kein Peer auf eine alte YaCy-Version festgelegt sein wird. Zum Anderen war Java lange Zeit nicht in einer freien und zu Suns Java-Laufzeitumgebung völlig kompatiblen Version erhältlich. Da freie Alternativen sich hauptsächlich zum Ziel gesetzt haben, Java 1.4.2 anzubieten, wurde lange die Hoffnung gehegt, dass YaCy bald auf einem freien Java laufen könnte. Mittlerweile ist Suns Java zu einem Großteil freie Software und somit steht dem Wechsel nichts mehr entgegen.
Warum nicht gleich Java 6?
Java 6 ist noch nicht für alle aktuellen Systeme verfügbar. Zur Zeit ist für Apple Mac OS X kein Java 6 erhältlich und es ist noch nicht abzusehen, wann dies der Fall sein wird.
Welche Vorteile bietet Java 5?
Mit dem Wechsel von Java 1.4.2 auf Java 5 erhalten die Programmierer einige neue Werkzeuge, welche die Entwicklung vereinfachen und beschleunigen. Besonders hervorzuheben sind die Generics, die sicherstellen, dass sich z.B. in Listen nur solche Objekte befinden, für die die Liste auch vorgesehen ist. Außerdem bietet Java 5 zusätzliche Befehle u.a. zum einfacheren Umgang mit Nebenläufigkeiten. Außer dass für die Ausführung zukünftiger YaCy-Versionen die Java 5-Laufzeitumgebung benötigt wird und dass YaCy noch zuverlässiger wird, ändert sich für reine Anwender nichts.
Nur einen guten Monat nach YaCy 0.52 ist heute Version 0.53 erschienen. Neben der bereits hier erwähnten Webstruktur-Analyse enthält YaCy nun unter anderem eine verbesserte Bildersuche, eine schönere Anzeige der Suchergebnisse der Textsuche, in der die Favicons der Ergebnisseiten angezeigt werden, eine Moderationsfunktion für das Blog und eine Funktion zum Verschieben von Blacklisteinträgen. Ein Überblick über alle Änderungen ist auf der YaCy-Projektseite abrufbar.