Elastic Search AI Lake und Cloud Serverless Cloud-native Architektur für schnelle Echtzeitanwendungen

Anbieter zum Thema

Elasticsearch GmbH C/o TMF München Germany Elasticsearch GmbH

WatchGuard Technologies GmbH

Fsas Technologies GmbH

Zadara Ltd.

Mit Search AI Lake hat Elastic eine Cloud-native Architektur entwickelt, die Anwendungen wie RAG, Search, Observability und Security-Analysen erheblich beschleunigen soll. Sie ist auch die Basis für das nun verfügbare Elastic Cloud Serverless.

Elastic hat mit Elasticsearch eine der weitesten verbreiteten Such- und Analyse-Engines mit zentraler Datenspeicherung und Vektordatenbank für Unternehmen entwickelt. Mit Search AI Lake folgte im Mai dieses Jahres eine Cloud-native Architektur, die mit KI-Hilfe Echtzeitanwendungen Echtzeitanwendungen wie Search, Retrieval Augmented Generation (RAG), Observability und Security beschleunigen sollen. Zudem bildet Search AI Lake die Basis für Elastic Cloud Serverless, das der Hersteller ab sofort bereitstellt.

Search AI Lake ist mehr als ein Data Lake

Laut Elastic ist Search AI Lake nicht einfach nur ein Data Lake für das Speichern einer großen Menge unstrukturierter Daten, sondern eine skalierbare Architektur, die Search- und KI-Relevanz-Funktionen von Elasticsearch mit der massive Speicherkapazität eines Data Lake kombiniert. Ashutosh Kulkarni, CEO von Elastic, vergleicht viele traditionelle Data Lakes eher mit einem Sumpf, in dem sich zwar viele Daten versenken lassen, es aber sehr schwer ist, sie dann auch wieder zu finden, wenn sie schnell benötigt werden. Zudem werden für Aufgaben wie Suche, Analyse und Anwendungsentwicklung Tools von Drittanbietern benötigt, was die Komplexität der Lösung nach oben treibt. Search AI Lake soll diese Probleme beheben.

Die Architektur entkoppelt Compute und Objektspeicher für eine höhere Skalierbarkeit. Dynamisches Caching soll für einen hohen Datendurchsatz sowie performante interaktive Suchen in großen Datenbeständen sorgen. Smart Caching und eine Abfrageparallelisierung auf Segmentebene reduzieren laut Elastic die Latenz bei Abfragen. Indexierung und Low-Level Suche laufen getrennt, was eine unabhängige Skalierung der Workloads ermöglicht. Zudem hat der Hersteller in Search AI Lake eine ganze Reihe KI-gestützter Relevanz-, Abruf- und Reranking-Funktionen untergebracht. Zu ihnen zählen laut Elastic eine in Lucene integrierte native Vektordatenbank, Inferenz-APIs, semantische Suche und die Nutzung unterschiedlicher Transformer-Modelle für die Suchfunktionen. Zusätzlich bietet die Software natives Machine Learning und die Unterstützung der Elasticsearch Query Language (ES|QL).

Für Search, Security und Observability

Elastic verwendet den Search AI Lake über die gesamte Plattform hinweg für Search, Security und Observability. So können Software-Entwickler KI-gestütze Suchfunktionen in ihre Projekte integrieren, oder GenAI-Anwendungen mit lexikalischer oder semantischer Suche erstellen. Bei den Security- und Observability-Anwendungen unterstützt die KI bei der Erkennung und Einordnung von Vorfällen und Ereignissen. Welche Funktionen einschließlich Support für die Kunden verfügbar sind, hängt dabei von der Subskriptionsstufe ab: Das Gros der KI-Optionen gibt es nur mit der Enterprise-Subskription. Genutzt werden sie ebenfalls in Elastic SIEM, das der Hersteller auch als separates Produkt anbietet, etwa für MSPs.

Elastic Cloud Serverless mit Search AI Lake

Seit Anfang Dezember ist Elastic Cloud Serverless auf Basis der Search-AI-Lake-Architektur auf AWS allgemein verfügbar und zwar mit der Region West-EU-1 auch in Europa. Noch dieses Jahr soll der Cloud-Service in Microsoft Azure starten sein und im ersten Quartal 2025 auch in Googles Cloud. Mit dem vollständig verwalteten Service ersparen sich Kunden und Partner laut Elastic den Aufwand für das Management der Cluster und der Infrastruktur, bei Elastic Cloud Serverless erfolgen Skalierung, die Bereitstellung des Storage und die Optimierung der Performance automatisch. Zudem bietet der Projekt-basierte Service ein Schritt-für-Schritt-Onboarding, um beim Einstieg zu helfen.

Angeboten werden die Dienste Elasticsearch Serverless, Elastic Observability Serverless mit vordefinierten Dashboards und Elastic Security Serverless für Security-Analysen und SIEM. Bei Observability und Security sollen die Kosten pro TB bei höheren Datenmengen durch eine neues Preismodell sogar sinken.

(ID:50257100)