BigQuery von Google: Vektorsuche eröffnet neue Möglichkeiten für KI und Datenanalyse

MOUNTAIN VIEW / MÜNCHEN (IT BOLTWISE) – Google hat die Integration der Vektorsuche-Funktionalität in seine BigQuery-Plattform angekündigt, was einen bedeutenden Fortschritt im Bereich der Datenanalyse und Künstlichen Intelligenz darstellt. Die neue Funktion ermöglicht es Nutzern, Vektorähnlichkeitssuchen durchzuführen, die für eine Vielzahl von Daten- und KI-Anwendungen wie semantische Suche, Ähnlichkeitserkennung und Retrieval-Augmented Generation (RAG) mit großen Sprachmodellen (LLMs) unerlässlich sind.

In der Vorschauversion ermöglicht die Vektorsuche von BigQuery eine approximative Nearest-Neighbor-Suche, eine entscheidende Komponente für verschiedene Daten- und KI-Anwendungsfälle. Die Funktion VECTOR_SEARCH, die durch einen optimierten Index unterstützt wird, rationalisiert die Identifizierung eng übereinstimmender Einbettungen durch effiziente Lookups und Distanzberechnungen.

Die Vektorindizes von BigQuery werden automatisch aktualisiert, um eine nahtlose Integration mit den neuesten Daten zu gewährleisten. Die erste Implementierung, genannt IVF (Inverted File for Vectors), kombiniert ein Clustering-Modell mit einem invertierten Zeilenlocator und erstellt einen zweiteiligen Index, der die Leistung optimiert.

Google hat Python-basierte Integrationen mit Open-Source- und Drittanbieter-Frameworks durch die Nutzung von LangChain vereinfacht. Diese Integration ermöglicht es Entwicklern, Vektorsuchfunktionen nahtlos in ihre bestehenden Workflows zu integrieren.

Max Ostapenko, Senior Product Manager bei Opera, äußerte seine Begeisterung über die neue Funktion: „Ich war positiv überrascht, als ich die Vektorsuche mit Einbettungen in BigQuery ausprobiert habe! Wir tauchen jetzt mit Vertex AI in die Welt der Verbesserung von Produkterkenntnissen ein. Es erweitert die Möglichkeiten, mit Textdaten zu arbeiten.“

Um Nutzern die Nutzung der Vektorsuche zu erleichtern, hat Google ein umfassendes Tutorial bereitgestellt. Anhand des öffentlichen Datensatzes von Google Patents zeigt das Tutorial drei verschiedene Anwendungsfälle: Patentsuche mit vorgenerierten Einbettungen, Patentsuche mit BigQuery-Einbettungsgenerierung und RAG durch Integration mit generativen Modellen.

Omid Fatemieh und Michael Kilberry, Engineering Lead bzw. Head of Product bei Google, heben die fortschrittlichen Fähigkeiten von BigQuery hervor, die es Nutzern ermöglichen, die Suchfälle auf vollständige RAG-Abläufe auszuweiten. Insbesondere können Nutzer die Ausgabe von VECTOR_SEARCH-Abfragen als Kontext für den Aufruf der Natural Language Foundation (LLM)-Modelle von Google über die ML.GENERATE_TEXT-Funktion von BigQuery nutzen.

Das Engagement von Google zur Verbesserung von BigQuery geht über die Vektorsuche hinaus. Der Cloud-Anbieter hat die Verfügbarkeit von Gemini 1.0 Pro für BigQuery-Kunden über Vertex AI angekündigt. Darüber hinaus wurde eine neue BigQuery-Integration mit Vertex AI für Text und Sprache eingeführt.

Während die Einführung der Vektorsuche den BigQuery-Nutzern erweiterte Funktionen bietet, ist es wichtig zu beachten, dass die Abrechnung für die CREATE VECTOR INDEX-Anweisung und die VECTOR_SEARCH-Funktion auf der BigQuery-Compute-Preisgestaltung basiert. Für die CREATE VECTOR INDEX-Anweisung wird nur die indizierte Spalte für die Berechnung der verarbeiteten Bytes berücksichtigt, um eine transparente und vorhersehbare Abrechnung für den Benutzer zu gewährleisten.

Mit der Integration der Vektorsuche verschiebt Google BigQuery weiterhin die Grenzen der Datenanalyse und Künstlichen Intelligenz und stattet Nutzer mit leistungsstarken Werkzeugen aus, um Erkenntnisse zu gewinnen und Innovationen voranzutreiben.