© Excellent backgrounds/Shutterstock.com
Elasticsearch unter NoSQL-Gesichtspunkten

Suche mit anderen Augen


Elasticsearch ist sehr schnell populär geworden. Gerade einmal etwas mehr als drei Jahre alt, hat es das Thema Suche gehörig durcheinandergewirbelt. Was steckt dahinter, und warum regt Elasticsearch die Fantasie der Entwickler und Architekten so stark an? Der vorliegende Artikel bildet den abschließenden zweiten Teil einer einführenden Übersicht von Elasticsearch als flexibler Data Store und dessen Einsatzmöglichkeiten.

In unserem ersten Teil stellten wir zum einen das dokumentenorientierte Datenmodell und die horizontal skalierbare und hochverfügbare Architektur, zum anderen das Index- und Datenmanagement vor.

Wir beschrieben Elasticsearch als einen dokumentenorientierten Data Store, in den man beliebig komplexe JSON-Objekte speichern kann. Das Datenmodell definiert ein solches JSON-Objekt als document und wir führten deshalb das JSON Dokument als Bezeichnung für ein gespeichertes JSON-Objekt in Elasticsearch ein. Diese Bezeichnung werden wir auch in diesem zweiten Teil verwenden. In diesem Zusammenhang diskutierten wir ausführlich das mapping, das zugrunde liegende Schema der JSON-Dokumente. Eine weitere sehr bequeme Eigenschaft von Elasticsearch ist hierbei, dass das mapping, wenn nicht explizit vorgegeben, automatisch erkannt wird – der User kann somit Elasticsearch tatsächlich schemaless verwenden. Weiterhin wurden die für den Einsatz als Data Store wesentlichen Operationen insert, get, update und delete anhand von Beispielen vorgestellt.

In diesem zweiten Teil möchten wir dem Leser eine Übersicht über die umfangreiche Suchfunktionalität von Elasticsearch in Form verschiedener Queries geben. Hervorheben möchten wir hierbei die so genannten Facets, die in Suchapplikationen heute de facto ein Standard für die Drill-down-Suche und Navigation sind. Aber Facets können mehr, denn sie geben einen qualitativen Einblick entlang der zugrunde liegenden Dimensionen in den Datenraum – nicht unähnlich zu einem multidimensionalen Würfel. Und Facets sind schnell, sodass Elasticsearch auch für die Real-Time-Datenanalyse ein geeignetes Werkzeug ist. Neben der Suchfunktionalität und den Facets werden wir in diesem zweiten Teil auch Möglichkeiten und Tools vorstellen, mit denen man einfach Daten in Elasticsearch importieren kann. Des Weiteren geben wir eine Übersicht über verfügbare Clients und Frontends für Suche, Analyse und Clusterkonfiguration. Abschließen möchten wir diesen Artikel mit einigen Möglichkeiten zum Thema Monitoring.

Suche

Auch andere dokumentenorientierte NoSQL Data Stores bieten zwar bereits eine Textsuche an (z. B. MongoDB ab Version 2.4), aber die Volltextsuche von Elasticsearch hat einen sehr großen Umfang an unterschiedlichen Suchtypen (Queries) und bietet zusätzlich eine sehr gute Suchqualität mit vielen Stellschrauben. Im Hintergrund arbeitet Apache Lucene und führt die eigentliche Suche und die Berechnung der Relevance Scores aus. Ein Relevance Score ist hierbei ein numerischer Wert > 0, der die Relevanz eines gefundenen Dokuments zur Suchanfrage ausdrückt, je höher der Wert, desto relevanter. Auf Basis des Relevance Scores ist auch eine Reihenfolge (Ranking) der Suchergebnisse realisiert. Gerade der Fakt, dass Apache Lucene die Volltextsuche von Elasticsearch realisiert, ist ein großer Vorteil gegenüber anderen Lösungen. Lucene ist bereits seit vielen Jahren in Unmengen an Suchprojekten die erste Wahl, da es eine sehr schnelle, hoch optimierte und qualitativ hochwertige Suche ermöglicht.

Was qualitativ hochwertig bedeutet, möchte ich in diesem Artikel nicht näher ausführen. Man müsste hierzu Details zur Textanalyse und Scoring Model in Lucene sowie ein wenig Information-Retrieval-Grundwissen diskutieren. Dies würde den Umfang dieses Artikels sprengen. Ich möchte dem Leser aber an dieser Stelle mitgeben, dass, wenn im Rahmen der Suche nach einem Data Store für eine Applikation auch das Thema Volltextsuche relevant ist, ich Elasticsearch sehr empfehlen kann.

Queries

Elasticsearch bietet eine große Auswahl an unterschiedlichen Queries an und bündelt sie in die Search-APIs. Da eine Query komplex sein kann und eine gute Strukturierungsmöglichkeit hinsichtlich Fehleranalyse und Wartbarkeit wichtig ist, hat Elasticsearch die so genannte Query DSL eingeführt. Im Gegensatz zur Definition der Query über HTTP-URL-Parameter wird auch hier JSON für die Query-Definition verwendet, d. h. die Query DSL ist nichts anderes als ein spezielles JSON-Objekt. Dieses wird dann dem Search-API übergeben und das Suchergebnis ebenfalls als JSON zurückgegeben. Man sieht: Elasticsearch bleibt konsequent beim Motto JSON in/JSON out.

Folgendes Beispiel einer Boolean Query soll die Verwendung der Query DSL illustrieren. Die Query sucht nach allen Mitarbeitern des Sales-Departments, die ein Jahresgehalt zwischen 50 000 und 100 000 haben (Listing 1).

Listing 1

curl -XPOST 'localhost:9200/mycompany/employees/_search?pretty' -d '
{
  "query" : {
    "bool" : { 
      "must" : {
        "range" : {  
          "salary" : { 
            "from" : 50000, "to" : "100000"}
        }
      },
      "must" : {
        "term" : { "department" : "sales" }
      }
    } 
   }
}'

In diesem Artikel kann ich nicht auf alle Suchtypen im Detail eingehen, diese kann man unter [1] finden. Hier eine Auflistung von den gebräuchlichsten Suchtypen als Überblick:

  • term query: Einfache Suche nach Dokumenten mit einem Wort in einem oder mehreren Feldern. Das Wort ist hierbei nicht analysiert, also eine exakte Suche auf ein oder mehreren Feldern.

  • (multi) match query: Bietet ein leichtes Handling für Volltextsuche, denn Elasticsearch versucht die Wahl der Analyse anhand der Felder selbst zu wählen. Die Multiversion bietet eine Suche auf mehreren Feldern gleichzeitig.

  • query_string: Bietet dem User die umfangreiche Lucene-Query-Syntax für das Definieren...

headline from sands settings