YaCy-Blog

YaCy in indischer Bibliothek

Die digitale Bibliothek “Vidya” der Universität Amrita Vishwa Vidyapeetham im indischen Amritapuri setzt seit einiger Zeit YaCy ein. Die digitale Bibliothek umfasst mehr als 2TB Audio, Video und E-Books und wird über eine HTML-Oberfläche bedient, die über 800.000 Seiten umfasst. Die große Anzahl an Seiten hat es notwendig gemacht, eine Suchfunktion zu implementieren, die den Benutzern das schnelle Auffinden von Inhalten ermöglicht.

YaCy wurde ausgewählt, weil es die Anforderungen der Quelloffenheit, die Fähigkeit, Intranetseiten zu indexieren, eine Suchfunktion für Audio-, Video- und Bildinhalte, einfache Installation und die einfache Integrierbarkeit in eine bestehende Umgebung erfüllt. Die Installation läuft unter Ubuntu auf einem Server mit 4 Intel Xeon Prozessoren (2GHz), 2GB RAM und 3TB Plattenplatz.

Zwar existiern keine genauen Daten über die Nutzung der Suchfunktion, jedoch lässt sich aus den Nutzungsdaten der digitalen Bibliothek ableiten, dass die Suche monatlich über 25.000 Mal benutzt wird.

Weitere Informationen in Fibonacci Vol.1 (S. 57ff.)

YaCy mit neuer Version 0.9 auf dem LinuxTag

Pünktlich zum diesjährigen LinuxTag ist YaCy in der neuen Version 0.9 erschienen. Auf dem Messegelände unter dem Funkturm in Berlin können sich interessierte Besucher am YaCy-Messestand bei Entwicklern und erfahrenen Anwendern über die Software und ihre Benutzung informieren. Der Messeauftritt steht dieses Jahr im Zeichen des Themas “Integration”. Im Vordergrund stehen Möglichkeiten, YaCy in bestehende Suchdienste einzubinden oder auf Basis von YaCy eine neue Suchfunktion in einer bestehenden Umgebung zu realisieren. Eine Demonstration der noch relativ neuen Live-Suche, die sich in den letzten Monaten von einem einfachen Proof of Concept zu einer ansprechenden Suchfunktion gemausert hat, ist auf der LinuxTag-Seite integriert.

Die auffälligste, mit der Version 0.9 eingeführte Neuerung stellen die sogenannten Navigatoren dar. Hierbei handelt es sich um neben den Suchergebnissen eingeblendete Vorschläge zur Eingrenzung der Suche in den Kategorien “Domain”, “Autor” und “Thema”.

Ein oft gefordertes Feature ist das Vorschlagen von alternativen Suchworten bei offensichtlichen Tippfehler, das nun realisiert wurde.

Außerdem neu ist der einfache Import von Datenbankdumps von phpBB-Foren. Dies ermöglicht es Forenbetreibern, sämtliche Artikel ihres Forums in hoher Geschwindigkeit zu erfassen, ohne dabei die Inhalte erst über HTTP abrufen zu müssen.

YaCy 0.9 ist auf yacy.net erhältlich.

YaCy 0.8 erschienen

Seit Anfang der Woche steht YaCy in der neuen Version 0.8 zum Download bereit. Die Datenstruktur, die YaCy zum Ablegen des Suchindexes nutzt, wurde umgestaltet, was einen erheblichen Leistungszuwachs zur Folge hat. Außerdem wurde die Verteilung von Indexdaten im YaCy-Netz überarbeitet und beschleunigt.

Neu ist die Möglichkeit, Dokumente (sog. Surrogate) im Dublin Core-Format oder als XML-Dump z.B. von Wikipedia einzulesen und so große Textmengen schnell, effizient und strukturiert zu erfassen. Die Benutzung von Surrogaten wird im YaCy-Forum beschrieben.

Auffällig ist die neue Live-Suche im Kopf der Seiten der HTML-Oberfläche von YaCy. Während der Eingabe eines Begriffs sucht YaCy bereits im lokalen Index und zeigt Suchergebnisse an. Beim Bestätigen mit Enter wird eine globale Suche gestartet. Diese Suchemaske kann sehr einfach in eigene Seiten kopiert werden, um dort eine Suchfunktion zur Verfügung zu stellen. Beispiele für Seiten mit einer so realisierten Suchfunktion sind itgrl.de und das YaCy-Wiki.

Nützlich ist die wieder eingeführte UPnP-Unterstützung. Mit dem Windows-Installer wird nun bei Bedarf unter 64-Bit-Systemen auch die 64-Bit-Version von Java installiert. Außerdem enthält die neue Version von YaCy viele kleine Änderungen, die das Arbeiten und Administrieren einfacher machen.

YaCy 0.8 ist auf yacy.net erhältlich.

YaCy bei Twitter

Für Freunde des Microblogging-Dienstes Twitter gibt es dort jetzt auch einen YaCy-Account, der die wichtigsten Neuerungen kurz zusammenfassen wird. Vorrangig soll es Infos zu Änderungen und Bugfixes geben. Gibt es sonst noch weitere Anregungen/Ideen?

YaCy 0.7 löst 0.61 ab

YaCy 0.7 bringt viele lang erwartete Features. So findet YaCy nun dank UTF-8 alle Sprachen dieser Welt. Ebenso kann jetzt per site: inurl: und filetype: gesucht werden. Der Crawler indexiert >1000 Seiten pro Minute.

Die API unterstützt jetzt JSON und ist besser dokumentiert. Die Geschwindigkeit wird in einer Live-Suche während der Eingabe demonstriert.

Auch diesmal konnten Festplattenzugriffe durch Optimierungen reduziert werden. Der HTTP-Server kann nun CGI-Seiten ausliefern, welches jedoch weitere Software erfordert und standardmäßig ausgeschaltet ist.

Noch einfacher ist auch die Konfiguration. Oft genutzte Einstellungen sind nun auf einer Seite zusammengefasst. Die weiteren Optionen befinden sich hinter dem Menüpunkt „Advanced Settings“.

YaCy 0.7 kann ab sofort von yacy.net heruntergeladen werden.

Da YaCy dieses Jahr 1.0 erreichen soll, werden die nächsten Versionen um 1/10 hochgezählt.

YaCy 0.60

Nach nun dreimonatiger Entwicklungszeit ist YaCy in der Version 0.60 fertig gestellt. Lesezeichen können jetzt automatisch neu Indexiert und mit einem Crawl-Start angelegt werden. Ist nicht genügend freier Speicher vorhanden, pausiert YaCy aktuelle Aufträge und gewährleistet so einen sicheren Betrieb. Die Index-Verwaltung zeigt die Top-100 Domains. Die alternative Oberfläche „Rich Client“ wurde weiter ausgebaut.

Unter Windows zeigt sich YaCy jetzt durch ein elegantes Logo im Tray. Bei einem Doppelklick wird die Suchseite aufgerufen. Die Installation wurde unter Windows Vista nochmals verbessert.

YaCy kann sich sehen lassen: die Suchseite lässt sich anpassen und zeigt auf Wunsch die eigene Begrüßung. Auch das Logo lässt sich nun gegen das eigene wechseln. Dies verbessert die Anwendung von YaCy als Portal für eine Spezial-Suche oder das eigene Intranet.

Die Performance lässt sich für Einsteiger jetzt noch bequemer einstellen. Die neuen Profile können in der Geschwindigkeit individuell angepasst werden. Auch Quad-Core Prozessoren werden ab Version 0.60 optimal genutzt.

Schnelle Suchergebnisse bei MetaGer liefert YaCy inzwischen per Voreinstellung. Hierfür werden bislang freiwillige Teilnehmer des Freeworld-Netzes durch MetaGer abgefragt.

YaCy 0.60 kann unter yacy.net heruntergeladen werden.

YaCy 0.59

Nur wenige Tage nach dem LinuxTag 2008 ist YaCy in der Version 0.59 erschienen. Das wichtigste neue Feature ist die Möglichkeit, eine Intranetsuche aufzubauen. Der Einsatz als vom öffentlichen Netz getrennte Installation (sog. Robinson-Peer) wurde stark erleichtert. Mit Version 0.59 kann per Mausklick zwischen den verschiedenen Anwendungsfällen umgeschaltet werden. Das händische Editieren von Konfigurationsdateien ist nicht mehr notwendig. Um die Vertraulichkeit privater Daten (z.B. aus dem Intranet) sicher zu stellen, wird für jeden Anwendungsfall ein separater Index angelegt, so dass eine eindeutige Trennung der verschiedenen Daten gegeben ist.

Ein Feature, das dem Nutzer zeigt, womit der Peer aktuell beschäftigt ist, ist der neue System-Monitor (Terminal-Seite), die aktuelle Ereignisse in textueller und grafischer Form anzeigt. Am auffälligsten dürfte dabei die animierte Grafik sein, welche die Verlinkungsstruktur der zuletzt gecrawlten Domains anzeigt, in die nach einem Mausklick auf die Grafik mit den Tasten “+” bzw. “-” hinein und heraus gezoomt werden kann. Mit den Tasten “a”, “d”, “w”, “s” kann in der Grafik navigiert werden und die Taste mit der Zahl “0″ bringt die Grafik zurück in die Ausgangsposition.

YaCy 0.59 ist ab sofort auf yacy.net erhältlich.

YaCy 0.58

Zugegeben, YaCy 0.58 ist schon seit einiger Zeit (und zwar seit dem 20. April) erhältlich, aber auch wenn die Nachricht nicht mehr ganz aktuell ist, sollen sie nicht vergeschwiegen werden. Neben zahlreichen technischen Änderungen enthält diese Version nicht nur die bekannte Suchmaske, sondern auch zwei exprimentelle Suchseiten, die einen Eindruck davon geben, in welche Richtung die Oberfläche sich entwickeln könnte.

YaCy 0.58 ist auf http://yacy.net erhältlich.

YaCy 0.57

Seit dem 04.02.2008 ist YaCy 0.57 erhältlich. Neben zahlreichen Änderungen unter der Oberfläche ist die überarbeitete Bookmarkverwaltung besonders erwähnenswert. YaCy 0.57 ist die erste stabile Version, die Java 1.5 voraussetzt.

YaCy 0.57 kann ab sofort von yacy.net herunter geladen werden.

YaCy 0.56!

Heute wurde das neue YaCy 0.56 freigegeben. Eine Übersicht über die Änderungen gegenüber Version 0.55 ist im Changelog zu finden.

Die aktuelle Version kann von yacy.net heruntergeladen werden.