Nov 08

YaCy 1.2 Release with embedded Solr

Today we released YaCy 1.2. This is a major change in the architecture of YaCy since Search functions now use primary Solr as indexing engine instead our Peer-to-Peer optimized distributed indexing algorithms. This step also means that YaCy gives up the attempt to create it’s own indexing technology in favor of the much more advanced Solr/Lucene library.

While we will still do Peer-to-Peer search, we will now consider YaCy also as a Crawling and Search Framework for Solr. Today we presented „YaCy as Search Appliance“ at the ApacheCon 2012 with great success:

YaCy Tweets at ApacheCon 2012

Notable new features in YaCy 1.2 are:

  • Embedded Solr 4.0.0 with standard Solr XML search interface integrated
  • Enhanced crawling with live link structure visualization
  • A Host Browser to explore the file structure of crawled hosts: this shows loaded pages, pages with errors and pending files in the same way as a file browser would show the content of a host.

We believe that the new features are also valuable for Web Administration and Search Engine Optimization (i.e. to find dead links etc). Please have a look to the screen shots at the YaCy ApacheCon 2012 Talk Slides.

YaCy is available as Windows, Mac and debian package and also as tarball. To download YaCy, visit the YaCy Home Page.

tl;dr

Use Solr, but don‘t home-brew your own code around it if you do web-, file- or intranet-search, it‘s all inside YaCy. And don‘t buy a commercial appliance, this is free and better!

Dez 07

YaCy Bugfix Release 1.01 With New Community Contributions

Today we release a first bugfix release after the 1.0 release last week: download YaCy 1.01. In the context of the main release event we asked for help and new developers: this was a great success! Our new Git repository was cloned 11 times and we got bug fixes and translations: a greek and a chinese translation is meanwhile beeing produced. More help is very welcome, please see our tutorial movie about starting development with YaCy and if you like to make a interface translation, please see this manual.

As response to the great feed-back to our release we had to check if our network was able to scale to up to 4000 peers which our network consisted of in the meantime. We found out that the biggest problem was just a display of the network graphic which is fixed now. During the time of the strongest growth of the search network the distributed hash table failed because it takes time to distribute the index elements to the new peers. Existing peers became invisible since the new peers became ‚in front‘ of old one. This caused bad search results. Another problem that was often discussed was: search time and ranking quality. The search time is connected to fraud detection which we showed in a short speech about that topic and we worked on that problem further in the 1.01 release. On public demand we also added indexing to the integrated bookmark system. (see: German Article about YaCy and the integrated Bookmarking).

Please try the new release since it should also be a bit more stable: if you have not discovered the update function yet then please give it a try (it’s very easy to update YaCy!): click on Administration -> System Update (in the top right) -> Select the latest Release from the drop-down box -> Download -> Install Release.

This project can only live if people help. If you help! Please join in!

Nov 28

YaCy 1.0

Heute wird Version 1.0 der freien Suchmaschinensoftware YaCy veröffentlicht. Grund genug, nochmal einen Blick auf die Idee hinter YaCy und die Bedeutung der Software zu werfen.

YaCys Ansatz unterscheidet sich von den bisher üblichen Suchmaschinen dadurch, dass es keinen zentralen Server nutzt. Stattdessen werden die Suchergebnisse von einem Netzwerk von unabhängigen, gleichberechtigten Peers geliefert. In diesem Netzwerk existiert keine einzelne Instanz, die entscheiden kann, welche Suchergebnisse angezeigt werden und in welcher Reihenfolge dies geschieht.

YaCy läuft auf dem Rechner des Anwenders. Suchworte werden gehasht bevor sie den Rechner des Anwenders verlassen. Im Gegensatz zu üblichen Suchmaschinen wurde YaCy erschaffen, um die Privatsphäre der Benutzer zu schützen. Die eigene Installation der Software erzeugt einen individuellen Suchindex und ein eigenes Ranking, so dass die Suchresultate mit der Zeit sich immer besser den Bedürfnissen des Benutzers anpassen. Außerdem ermöglicht es YaCy, mit wenigen Clicks ein angepasstes Suchportal zu erstellen.

„Die meisten Dinge, die wir im Internet tun, beinhalten eine Suche. Für solch eine wichtige Funktion dürfen wir nicht auf einige wenige große Firmen vertrauen und dabei auch noch unsere Privatsphäre aufs Spiel setzen“, so YaCy-Projektgründer Michael Christen. „Die von YaCy zur Verfügung gestellte freie Suche bringt freie Informationen und freie Benutzer zusammen. YaCy gibt also die Kontrolle über die (freien) Daten der User zurück an uns User.“

Jeder YaCy-Nutzer ist Teil eines großen Suchnetzwerks. YaCy beliefert metager.de mit Suchergebnissen und wird unter anderem auf Websites wie sciencenet.kit.edu, yacy.geocaching-portal.com, oder fsfe.org genutzt, um eine Suchfunktion zur Verfügung zu stellen, welche die Privatsphäre der Nutzer respektiert. Es beinhaltet ein Peer-to-Peer-Protokoll, das es ermöglicht, Suchindizes unter den einzelnen Peers zu teilen.

„Wir verabschieden uns von der Idee, dass Dienste einer zentralen Kontrolle unterstehen müssen und begreifen, wie wichtig es ist, unabhängig zu sein und Infrastrukturen zu errichten, die keinen „Single Point of Failure“ beinhalten. In einer zukünftigen Welt, in der verteilte Peer-to-Peer-Systeme eine wichtige Rolle einnehmen, sind freie Suchmaschinen wie YaCy ein wichtiger Baustein.“, sagt Karsten Gerloff, Präsident der Free Software Foundation Europe, anlässlich der Veröffentlichung von YaCy 1.0.

Jeder kann die Suchfunktion auf http://search.yacy.net ausprobieren. Teil des YaCy-Netzwerks kann man werden, indem man die Software auf dem eigenen Computer installiert. YaCy ist freie Software und jeder ist eingeladen sie zu benutzen, zu teilen und zu verbessern. Zur Zeit steht YaCy für GNU/Linux, Windows und MacOS zur Verfügung. Entwickler und andere Mitwirkende sind herzlich willkommen.

Sep 21

Veranstaltungen von und mit YaCy

Auch wenn der letzte Artikel hier im Blog schon etwas älter ist, heißt das nicht, dass es nichts zu berichten gäbe. YaCy war zum Beispiel als Suchmaschine beim diesjährigen Chaos Communication Camp im Einsatz, es wurden Vorträge bei der Free-Software-Konferenz RMLL in Straßburg und beim Search Meetup in Frankfurt gehalten, außerdem hat ein YaCy-Workshop im Hackerspace Whitespace im belgischen Gent stattgefunden.

Für die nähere Zukunft sind ebenfalls Veranstaltungen geplant:

Am 28.09.2011 wird  Michael Christen gemeinsam mit Michael Nebel im Rahmen des SuMa-eV Kongresses in Berlin einen Workshop zum Thema „Aufbau von eigenen Suchmaschinen mit freier Software – Nutch, Hadoop, Solr und YaCy“ leiten. Die Teilnahme am Kongress ist in diesem Jahr kostenlos, eine Anmeldung ist jedoch erwünscht. Details finden Interessierte im Kongress-Programm.

Außerdem wird YaCy am 11.11.2011 beim 26. Oberhofer Kolloquium 2011 („Web 3.0 – wird es das Web der Informationsspezialisten?“) der DGI in Barleben bei Magdeburg im Rahmen der Session „Strategien von Suchmaschinen-Unternehmen“ in einem Vortrag vorgestellt werden. Für diese Veranstaltung ist eine kostenpflichtige Anmeldung (DOC) bis zum 28.10.2011 erforderlich.

Mai 02

Das Unabhängige Landeszentrum für Datenschutz Schleswig-Holstein realisiert Suchfunktion mit YaCy

Das Unabhängige Landeszentrum für Datenschutz Schleswig-Holstein (ULD) setzt seit einiger Zeit YaCy ein, um eine Suchfunktion für die eigene Web-Präsenz sowie für das Archiv der jährlichen Tätigkeitsberichte zur Verfügung zu stellen. Es wurde eine eigene Oberfläche implementiert, die basierend auf der Ausgabe durch YaCy als RSS-Feed die Liste der Suchergebnisse gut integriert in das Design der Seite präsentiert.

„Da die vorherige Suchmaschine des ULD sowohl Probleme mit HTTPS hatte als auch anfällig für Cross Site Scripting-Angriffe war, wurde ein Austausch erforderlich. Nach einigen Tests fiel die Wahl auf YaCy, das sich dabei unter anderem gegen Nutch durchsetzte. Als Open Source-Project ist der Einsatz von YaCy mit geringen Kosten verbunden; das ist f+r eine Behörde natürlich immer ein starkes Argument“, erläutert Markus Hansen vom ULD. „Interessant ist für uns aber insbesondere, dass der Quellcode offen liegt und notfalls angepasst werden darf. Von den YaCy-Entwicklern haben wir über den Austausch im Forum auch schon direkte Hilfe bekommen, als wir ein wenig mehr Datensicherheit ohne Einschränkung der Funktionalität brauchten.“

Das Unabhängige Landeszentrum für Datenschutz Schleswig-Holstein ist die Aufsichtsbehörde für Datenschutz und Informationsfreiheit des Landes Schleswig-Holstein. Gut ein Drittel der Stellen der Behörde wird dabei aus eingeworbenen Drittmitteln finanziert, indem das ULD sich an nationalen und internationalen Forschungsprojekten beteiligt, um so Datenschutzaspekte schon in der Entwicklungsphase von Diensten und Produkten mit einzubringen. Zudem können durch das ULD auf gesetzlicher Grundlage Produkte zertifiziert werden, die technisch und rechtlich datenschutzgerecht sind.

Dez 27

YaCy beim 27c3

Der jährlich stattfindende Chaos Communication Congress stellt mit seinem gut genutzten Netzwerk und den zahlreichen, durch Teilnehmer des Kongresses angebotenen Netzwerkdiensten ein ideales Experimentierfeld für Entwickler netzwerkbasierter Software dar.

Dieses Jahr sind einige YaCy-Entwickler in Berlin, um eine Installation einzurichten, die das Kongress-Netzwerk scannt und per SMB und FTP angebotene Daten durchsuchbar zu machen. YaCy wurde um eine Funktion erweitert, die das einfache Herunterladen vieler Dateien durch ein automatisch erzeugtes Skript ermöglicht.

Weitere Informationen: