YaCy-Blog

YaCy Bugfix Release 1.01 With New Community Contributions

Today we release a first bugfix release after the 1.0 release last week: download YaCy 1.01. In the context of the main release event we asked for help and new developers: this was a great success! Our new Git repository was cloned 11 times and we got bug fixes and translations: a greek and a chinese translation is meanwhile beeing produced. More help is very welcome, please see our tutorial movie about starting development with YaCy and if you like to make a interface translation, please see this manual.

As response to the great feed-back to our release we had to check if our network was able to scale to up to 4000 peers which our network consisted of in the meantime. We found out that the biggest problem was just a display of the network graphic which is fixed now. During the time of the strongest growth of the search network the distributed hash table failed because it takes time to distribute the index elements to the new peers. Existing peers became invisible since the new peers became ‘in front’ of old one. This caused bad search results. Another problem that was often discussed was: search time and ranking quality. The search time is connected to fraud detection which we showed in a short speech about that topic and we worked on that problem further in the 1.01 release. On public demand we also added indexing to the integrated bookmark system. (see: German Article about YaCy and the integrated Bookmarking).

Please try the new release since it should also be a bit more stable: if you have not discovered the update function yet then please give it a try (it’s very easy to update YaCy!): click on Administration -> System Update (in the top right) -> Select the latest Release from the drop-down box -> Download -> Install Release.

This project can only live if people help. If you help! Please join in!

YaCy 1.0

Heute wird Version 1.0 der freien Suchmaschinensoftware YaCy veröffentlicht. Grund genug, nochmal einen Blick auf die Idee hinter YaCy und die Bedeutung der Software zu werfen.

YaCys Ansatz unterscheidet sich von den bisher üblichen Suchmaschinen dadurch, dass es keinen zentralen Server nutzt.  Stattdessen werden die Suchergebnisse von einem Netzwerk von unabhängigen, gleichberechtigten Peers geliefert. In diesem Netzwerk existiert keine einzelne Instanz, die entscheiden kann, welche Suchergebnisse angezeigt werden und in welcher Reihenfolge dies geschieht.

YaCy läuft auf dem Rechner des Anwenders. Suchworte werden gehasht bevor sie den Rechner des Anwenders verlassen. Im Gegensatz zu üblichen Suchmaschinen wurde YaCy erschaffen, um die Privatsphäre der Benutzer zu schützen. Die eigene Installation der Software erzeugt einen individuellen Suchindex und ein eigenes Ranking, so dass die Suchresultate mit der Zeit sich immer besser den Bedürfnissen des Benutzers anpassen. Außerdem ermöglicht es YaCy, mit wenigen Clicks ein angepasstes Suchportal zu erstellen.

“Die meisten Dinge, die wir im Internet tun, beinhalten eine Suche. Für solch eine wichtige Funktion dürfen wir nicht auf einige wenige große Firmen vertrauen und dabei auch noch unsere Privatsphäre aufs Spiel setzen”, so YaCy-Projektgründer Michael Christen. “Die von YaCy zur Verfügung gestellte freie Suche bringt freie Informationen und freie Benutzer zusammen. YaCy gibt also die Kontrolle über die (freien) Daten der User zurück an uns User.”

Jeder YaCy-Nutzer ist Teil eines großen Suchnetzwerks. YaCy beliefert metager.de mit Suchergebnissen und wird unter anderem auf Websites wie sciencenet.kit.edu, yacy.geocaching-portal.com, oder fsfe.org genutzt, um eine Suchfunktion zur Verfügung zu stellen, welche die Privatsphäre der Nutzer respektiert. Es beinhaltet ein Peer-to-Peer-Protokoll, das es ermöglicht, Suchindizes unter den einzelnen Peers zu teilen.

“Wir verabschieden uns von der Idee, dass Dienste einer zentralen Kontrolle unterstehen müssen und begreifen, wie wichtig es ist, unabhängig zu sein und Infrastrukturen zu errichten, die keinen “Single Point of Failure” beinhalten. In einer zukünftigen Welt, in der verteilte Peer-to-Peer-Systeme eine wichtige Rolle einnehmen, sind freie Suchmaschinen wie YaCy ein wichtiger Baustein.”, sagt Karsten Gerloff, Präsident der Free Software Foundation Europe, anlässlich der Veröffentlichung von YaCy 1.0.

Jeder kann die Suchfunktion auf http://search.yacy.net ausprobieren. Teil des YaCy-Netzwerks kann man werden, indem man die Software auf dem eigenen Computer installiert. YaCy ist freie Software und jeder ist eingeladen sie zu benutzen, zu teilen und zu verbessern. Zur Zeit steht YaCy für GNU/Linux, Windows und MacOS zur Verfügung. Entwickler und  andere Mitwirkende sind herzlich willkommen.

Vortragsvideos online

Von dem bereits in diesem Blog erwähnten Vortrag anlässlich des 26. Oberhofer Kolloquiums der DGI am 11.11.2011 sind nun die Vortragsfolien, der YaCy-Artikel aus dem Tagungsband des 26. Oberhofer Kolloquium und Videos vom Vortrag verfügbar:

Philosophie und Suchmaschinentechnik

YaCy Live-Demo

Veranstaltungen von und mit YaCy

Auch wenn der letzte Artikel hier im Blog schon etwas älter ist, heißt das nicht, dass es nichts zu berichten gäbe. YaCy war zum Beispiel als Suchmaschine beim diesjährigen Chaos Communication Camp im Einsatz, es wurden Vorträge bei der Free-Software-Konferenz RMLL in Straßburg und beim Search Meetup in Frankfurt gehalten, außerdem hat ein YaCy-Workshop im Hackerspace Whitespace im belgischen Gent stattgefunden.

Für die  nähere Zukunft sind ebenfalls Veranstaltungen geplant:

Am 28.09.2011 wird  Michael Christen gemeinsam mit Michael Nebel im Rahmen des SuMa-eV Kongresses in Berlin einen Workshop zum Thema “Aufbau von eigenen Suchmaschinen mit freier Software – Nutch, Hadoop, Solr und YaCy” leiten. Die Teilnahme am Kongress ist in diesem Jahr kostenlos, eine Anmeldung ist jedoch erwünscht. Details finden Interessierte im Kongress-Programm.

Außerdem wird YaCy am 11.11.2011  beim 26. Oberhofer Kolloquium 2011 (“Web 3.0 – wird es das Web der Informationsspezialisten?”) der DGI in Barleben bei Magdeburg im Rahmen der Session “Strategien von Suchmaschinen-Unternehmen” in einem Vortrag vorgestellt werden. Für diese Veranstaltung ist eine kostenpflichtige Anmeldung (DOC) bis zum 28.10.2011 erforderlich.

Das Unabhängige Landeszentrum für Datenschutz Schleswig-Holstein realisiert Suchfunktion mit YaCy

Das Unabhängige Landeszentrum für Datenschutz Schleswig-Holstein (ULD) setzt seit einiger Zeit YaCy ein, um eine Suchfunktion für die eigene Web-Präsenz sowie für das Archiv der jährlichen Tätigkeitsberichte zur Verfügung zu stellen. Es wurde eine eigene Oberfläche implementiert, die basierend auf der Ausgabe durch YaCy als RSS-Feed die Liste der Suchergebnisse gut integriert in das Design der Seite präsentiert.

“Da die vorherige Suchmaschine des ULD sowohl Probleme mit HTTPS hatte als auch anfällig für Cross Site Scripting-Angriffe war, wurde ein Austausch erforderlich. Nach einigen Tests fiel die Wahl auf YaCy, das sich dabei unter anderem gegen Nutch durchsetzte. Als Open Source-Project ist der Einsatz von YaCy mit geringen Kosten verbunden; das ist für eine Behörde natürlich immer ein starkes Argument”, erläutert Markus Hansen vom ULD. “Interessant ist für uns aber insbesondere, dass der Quellcode offen liegt und notfalls angepasst werden darf. Von den YaCy-Entwicklern haben wir über den Austausch im Forum auch schon direkte Hilfe bekommen, als wir ein wenig mehr Datensicherheit ohne Einschränkung der Funktionalität brauchten.”

Das Unabhängige Landeszentrum für Datenschutz Schleswig-Holstein ist die Aufsichtsbehörde für Datenschutz und Informationsfreiheit des Landes Schleswig-Holstein. Gut ein Drittel der Stellen der Behörde wird dabei aus eingeworbenen Drittmitteln finanziert, indem das ULD sich an nationalen und internationalen Forschungsprojekten beteiligt, um so Datenschutzaspekte schon in der Entwicklungsphase von Diensten und Produkten mit einzubringen. Zudem können durch das ULD auf gesetzlicher Grundlage Produkte zertifiziert werden, die technisch und rechtlich datenschutzgerecht sind.

YaCy auf dem LinuxTag 2011

YaCy wird auch in diesem Jahr wieder auf dem LinuxTag in Berlin vertreten sein (Halle 7.2b, Stand 101). Der LinuxTag wird vom 11. bis 14. Mai 2011 auf dem Messegelände stattfinden.

YaCy beim 27c3

Der jährlich stattfindende Chaos Communication Congress stellt mit seinem gut genutzten Netzwerk und den zahlreichen, durch Teilnehmer des Kongresses angebotenen Netzwerkdiensten ein ideales Experimentierfeld für Entwickler netzwerkbasierter Software dar.

Dieses Jahr sind einige YaCy-Entwickler in Berlin, um eine Installation einzurichten, die das Kongress-Netzwerk scannt und per SMB und FTP angebotene Daten durchsuchbar zu machen. YaCy wurde um eine Funktion erweitert, die das einfache Herunterladen vieler Dateien durch ein automatisch erzeugtes Skript ermöglicht.

Weitere Informationen:

• YaCy-Seite im 27c3-Wiki
• Dokumentation zur Suche

YaCy auf Free Software-Konferenzen

Im November folgte YaCy-Projektgründer Michael Christen einer Einladung der FSFE zur FSCONS in Göteborg (Schweden) und kurz darauf zur FOSSASIA in Ho Chi Minh City (Vietnam). Vom Vortrag auf der FOSSASIA wurde ein Video aufgenommen, in dem YaCy vorgestellt wird.

Die Folien der Präsentationen auf beiden Konferenzen sind ebenfalls verfügbar:

• Folien FSCONS 2010
• Folien FOSSASIA 2010

YaCy im Deutschlandfunk

Am 12.06.2010 hat der Deutschlandfunk die Sendung “Computer und Kommunikation” live vom LinuxTag ausgestrahlt. Ein Thema der Sendung war YaCy, das vom Projektgründer Michael Christen vorgestellt wurde.

Die Sendung ist als MP3 erhältlich oder kann als Flash im Browser abgespielt werden. Der Beitrag über YaCy beginnt bei 18 Minuten und 34 Sekunden.

YaCy auf dem LinuxTag 2010

Der LinuxTag 2010 findet vom 09.06. bis zum 12.06. auf dem Messegelände unter dem Funkturm in Berlin statt und YaCy wird auch in diesem Jahr mit einem Stand vertreten sein.

Die diesjährige Teilnahme stellt ein kleines Jubiläum dar, denn es ist das fünfte Mal, dass YaCy sich auf dem LinuxTag präsentiert. YaCys Entwicklung seit dem LinuxTag 2006 in Wiesbaden wurde nicht unerheblich durch Gespräche mit Besuchern des LinuxTags beeinflusst und so hoffen wir auch in diesem Jahr auf viele interessante Fragen, Diskussionen und Anregungen.