Gerade einmal etwas mehr als drei Jahre alt, hat Elasticsearch das Thema Suche gehörig durcheinander gewirbelt. Was steckt dahinter, und warum regt Elasticsearch die Fantasie der Entwickler und Architekten so stark an? Der vorliegende Artikel ist der erste von zwei Teilen einer einführenden Übersicht und soll vor allem die Möglichkeiten des Einsatzes als flexibler Data Store in den Vordergrund stellen. Er ist außerdem Teil 5 der großen NoSQL-Serie im Java Magazin.
Egal, ob in Blogbeiträgen, auf Konferenzen oder in Projektberichten, die technische Szene hat im Bereich Suche ein Lieblingsthema gefunden. Dabei war Open-Source-Suche zuvor so klar strukturiert: Apache Lucene als De-facto-Standard für Textanalyse, Indizierung von Daten und das Nachschlagen im Index; Apache Solr als Suchserver, der Apache Lucene einbettet und um komfortable Zusatzfunktionalität erweitert, quasi die All-inclusive-Variante. Wozu also eine weitere Open-Source-Lösung?
Auf der Berlin Buzzwords 2010 berichtete Shay Banon erstmals über sein neues Projekt Elasticsearch. Ich kannte Shay noch von seinem Vorgängerprojekt Compass, das Java-Persistenz-Mechanismen mit der Indizierung der Daten für Suche in einem API verband. Umso erstaunter war ich, als er berichtete, er habe das Projekt hinter sich gelassen, um sich Elasticsearch zuzuwenden, einem Suchserver auf Apache-Lucene-Basis, den er in ersten Versionen seit Anfang 2010 veröffentlicht habe [1]. Es handelt sich um einen automatisch skalierenden Suchserver, der sich um Sharding und Replikation eigenständig kümmert und auch zur Laufzeit neue Knoten des Clusters integriert und den Suchindex automatisch neu verteilt. Das alles ist kombiniert mit einem Interface, das konsequent per JSON über eine RESTful-HTTP-Schnittstelle genutzt wird, sowohl für administrative Aufgaben als auch für Indizierung und Suche. Noch interessanter war es, dass Mozilla auf der gleichen Berlin Buzzwords über den produktiven Einsatz im Rahmen ihres neuen Crash-Reporting-Metrik-Systems berichtete.
In der Folge drehte sich das Elasticsearch-Rad immer schneller. 2012 gründete ein Kernteam mit Shay und Apache-Lucene-Committer Simon Willnauer die gleichnamige Firma [2], die Support und Training anbietet. Und die Liste der Elasticsearch-Nutzer liest sich wie das Who is Who der Internet-Start-up-Szene: Foursquare, Quora, Stack Overflow, GitHub, WordPress oder auch in Deutschland SoundCloud und Immobilienscout24, alles Firmen mit nicht unerheblichen Datenmengen. GitHub beispielsweise spricht von 2 Milliarden Dokumenten und einem 30-TB-Index auf 44 EC2-Instanzen [3].
Datenmodell
Elasticsearch ist ein dokumentenorientierter Data Store auf Basis eines inverted index [4], einer speziellen Datenstruktur, ausgerichtet auf das schnelle Finden von Dokumenten in großen Dokumentenmengen. Für das Verständnis des Elasticsearch-Datenmodells sind drei Begriffe wesentlich, nämlich Index, Type und Document. Abbildung 1 illustriert diese wesentlichen Strukturen. Ich möchte diese zentralen Strukturen des Datenmodells mit einem Vergleich zu der relationalen Datenbankwelt ein wenig näher bringen.
Abb. 1: Das Datenmodell von ElasticsearchElasticsearch speichert alle Dokumente in einem Index. Vergleicht man die Rolle des Index mit der relationalen Welt, kann man den Index grob mit einer Tabelle in Verbindung setzen. Jedoch hinkt dieser Vergleich zugegebenermaßen etwas, da wesentliche Unterschiede existieren. Zum einen speichert der Index die Dokumente nicht unbedingt so wie sie beim Import übergeben wurden. Zum anderen gibt es kein fixes Schema, das sämtliche Dokumente des Index beschreibt. Elasticsearch kann viele Indizes gleichzeitig verwalten, wobei die Domäne bzw. der Kontext der Dokumente entscheidet, ob Dokumente in denselben oder mehreren Indizes gespeichert werden.
Die eigentlichen Daten werden in Dokumenten definiert. Bei Elasticsearch entspricht ein Dokument einem JSON-Objekt. Dieses kann Felder, Arrays oder eingebettete JSON-Objekte definieren, sodass man beliebig komplexe Abbildungen der Daten definieren und direkt in Elasticsearch speichern kann. Im Folgenden werde ich deshalb ein Dokument als JSON-Dokument bezeichnen.
Um wiederum den Vergleich mit der relationalen Welt zu bemühen, kann man ein Dokument mit einer Zeile in einer Datenbanktabelle vergleichen. Allerdings hinkt auch dieser Vergleich, da man grundsätzlich komplett unterschiedliche JSON-Dokumente in einem Index speichern kann. Jedoch gilt die Einschränkung, dass JSON-Dokumente für dasselbe Feld (also Felder mit gleichem Feldnamen) auch immer denselben Feldtyp definieren. Diese Eigenschaft ist durchaus von Vorteil, da sich im Laufe der Zeit sehr oft ein Datenmodell ändert bzw. es erweitert werden muss. Bei Elasticsearch können neu zu speichernde JSON-Dokumente jederzeit an neue Anforderungen oder Gegebenheiten angepasst werden, ohne dass bereits gespeicherte JSON-Dokumente davon betroffen sind.
Der dritte Begriff des Datenmodells von Elasticsearch ist Type. Der Type stellt innerhalb eines Index eine Gruppierung von kontextuell zusammengehörigen JSON-Dokumenten dar. Ein Type ist zum Beispiel eine Person, ein Angestellter, ein Buch etc. Das Verwenden von Types in Elasticsearch ist obligatorisch und dient der effizienten Unterscheidung von gespeicherten JSON-Dokumenten. Ein Type ist immer durch ein so genanntes Mapping (= Schema) definiert, d. h. alle Felder sind mit Feldnamen, Feldtyp und noch weiteren Attributen definiert. Mögliche Feldtypen sind string, integer/long, float/double, boolean.
Das Datenmodell von Elasticsearch wird oft als „schemaless“ beschrieben, eine unglückliche Beschreibung. Am Ende muss auch in Elasticsearch ein Mapping existieren, das die Struktur der JSON-Dokumente beschreibt. Jeder Type hat ein solches Mapping. Elasticsearch bietet aber dem Benutzer eine automatische Erkennung des Mappings an. So kann der Benutzer darauf verzichten, explizit ein Mapping zu definieren.
Die automatische Erkennung des Mapping erfolgt anhand des ersten JSON-Dokuments, das für den angegebenen Type und Index gespeichert wird. Dies mag auf den ersten Blick ein nettes Feature sein, jedoch ist die Erkennung des Mappings auf Basis des ersten JSON-Dokuments natürlich fehleranfällig. Man nehme zum Beispiel das JSON-Dokument:
curl -XPUT 'localhost:9200/books/book/1' –d '
{
"title" : "Der Herr der Ringe",
"price_euro" : 10
}'
und speichert es in einem neuen Index books und Type book. Für den Type book wird folgendes Mapping automatisch erkannt:
curl -XGET 'localhost:9200/books/book/_mapping?pretty'
{
"book" : {
"properties" : {
"price_euro" : {...

