Von Wörtern zu Vektoren
Computer rechnen mit Zahlen, nicht mit Bedeutungen. Ein Embedding-Modell (embedding model) löst das: Es liest einen Text und gibt eine feste Anzahl von Kommazahlen zurück. Diese Liste heißt Vektor. OpenAI beschreibt ein Embedding genau so: als Vektor, also als Liste von Gleitkommazahlen, deren Abstand zueinander die Verwandtschaft der Inhalte misst.
Jede Zahl steht grob für eine Eigenschaft der Bedeutung. Welche das ist, legt niemand von Hand fest. Das Modell hat es beim Training aus sehr vielen Texten gelernt. Deshalb kann man die einzelnen Zahlen nicht lesen wie eine Tabelle. Wichtig ist nur, wie nah sich zwei Vektoren sind.
Ein Zahlenbeispiel mit drei Dimensionen
Echte Embeddings haben über tausend Zahlen. Zur Anschauung reichen drei. Die Werte unten sind frei gewählt und stammen aus keinem echten Modell:
| Text | Vektor (vereinfacht) | Ähnlichkeit zu „Bauschutt“ |
|---|---|---|
| „Bauschutt“ | 0,8 · 0,5 · 0,1 | 1,00 |
| „mineralische Abfälle“ | 0,7 · 0,6 · 0,2 | 0,98 |
| „Öffnungszeiten“ | 0,1 · 0,2 · 0,9 | 0,31 |
Die Kosinus-Ähnlichkeit (cosine similarity) misst den Winkel zwischen zwei Vektoren. Zeigen beide in dieselbe Richtung, ergibt sich 1. Je unterschiedlicher die Bedeutung, desto kleiner der Wert. OpenAI empfiehlt für seine Embeddings dieses Maß und weist darauf hin, dass die Wahl des Abstandsmaßes meist wenig ausmacht. Kleine Abstände bedeuten nahe Verwandtschaft, große Abstände geringe.
Ähnlichkeitssuche statt Stichwortsuche
Eine klassische Stichwortsuche findet nur Einträge, in denen das gesuchte Wort vorkommt. Kunden benutzen aber selten dieselben Wörter wie Ihre Preisliste. Eine Ähnlichkeitssuche (semantic search) vergleicht stattdessen Vektoren. Sie findet den Eintrag, der inhaltlich am nächsten liegt.
?Anfrage eines Kunden
Im Chat„Was kostet es, wenn ich Bauschutt bei Ihnen abgebe?“
Treffer 1nahEintrag „Siedlungsabfälle / mineralische Abfälle: Annahme und Preise“. Das Wort „Bauschutt“ kommt darin nicht vor.
Treffer 2mittelEintrag „Containerdienst: Größen und Stellplatz“. Passt zum Thema, beantwortet die Preisfrage aber nicht.
Kein TrefferweitEintrag „Öffnungszeiten und Anfahrt“. Gehört zum Unternehmen, nicht zur Frage.
Schematische Darstellung. „nah“, „mittel“ und „weit“ stehen für den Abstand der Vektoren zur Frage.
Eine reine Stichwortsuche hätte hier nichts gefunden, weil „Bauschutt“ in keinem Eintrag steht. Die Ähnlichkeitssuche erkennt, dass Bauschutt zu den mineralischen Abfällen gehört. Diese Treffer gibt ein KI-System anschließend an ein Sprachmodell weiter, das daraus die Antwort formuliert. Dieses Vorgehen heißt RAG (Retrieval-Augmented Generation, deutsch etwa: Antworten mit vorheriger Suche).
Embedding-Modelle im Überblick
Embeddings erzeugt ein eigenes KI-Modell, nicht das Sprachmodell, das später antwortet. Es gibt Modelle als Cloud-Dienst und offene Modelle, die Sie auf einem eigenen Server betreiben können. Eine Auswahl, ohne Rangfolge:
| Modell | Anbieter | Zahlen je Text | Betrieb |
|---|---|---|---|
| text-embedding-3-small | OpenAI | 1.536 | Cloud-Schnittstelle |
| text-embedding-3-large | OpenAI | 3.072 | Cloud-Schnittstelle |
| gemini-embedding-001 / gemini-embedding-2 | 3.072 | Cloud-Schnittstelle | |
| multilingual-e5-large | offenes Modell, MIT-Lizenz | 1.024 | eigener Server möglich |
| bge-m3 | BAAI, offenes Modell, MIT-Lizenz | 1.024 | eigener Server möglich |
Die Modelle von OpenAI und Google lassen sich auf weniger Zahlen kürzen. Google empfiehlt dafür 768, 1.536 oder 3.072. Kürzere Vektoren brauchen weniger Speicher. bge-m3 verarbeitet laut Modellkarte über 100 Sprachen und Texte bis 8.192 Token. multilingual-e5-large schneidet Texte nach 512 Token ab, längere Dokumente müssen vorher in Abschnitte geteilt werden.
Ein Modell, eine Welt. Vektoren verschiedener Modelle passen nicht zusammen. Frage und Wissen müssen mit demselben Modell eingebettet sein. Wer das Modell wechselt, muss den gesamten Bestand neu berechnen.
Datenschutz: Wo werden Embeddings berechnet?
Um ein Embedding zu erzeugen, muss das Modell den Text lesen. Entscheidend ist also, wo das Modell läuft.
- Cloud-Schnittstelle: Der Text geht an den Anbieter, zurück kommt der Vektor. Bei OpenAI werden Daten aus der Schnittstelle nach eigener Angabe standardmäßig nicht zum Training genutzt. Protokolle zur Missbrauchskontrolle bewahrt OpenAI bis zu 30 Tage auf. Für die Embedding-Schnittstelle ist eine Null-Speicherung (Zero Data Retention) möglich, ebenso eine Verarbeitung in Europa unter Bedingungen.
- Eigener Server: Ein offenes Modell wie bge-m3 oder multilingual-e5 läuft auf Ihrer eigenen Hardware oder bei einem Hoster Ihrer Wahl. Der Text verlässt diesen Server nicht.
Auch der fertige Vektor ist nicht anonym. Forscher um John X. Morris haben 2023 gezeigt, dass sich aus Embeddings Text zurückgewinnen lässt: Bei kurzen Texten mit 32 Token gelang das in 92 Prozent der Fälle wortgenau, und aus klinischen Notizen ließen sich vollständige Namen rekonstruieren. Behandeln Sie Embeddings deshalb wie die Originaltexte: mit Zugriffsrechten und einem Speicherort, den Sie kennen.
Grenzen von Embeddings
- Zahlen und Nummern: „47-11-02“ und „47-11-03“ sehen für ein Embedding fast gleich aus. Für Artikelnummern, Preise und Normen ist eine exakte Suche besser.
- Eigennamen und Fachbegriffe: Seltene Produktnamen oder hausinterne Abkürzungen kennt das Modell nicht. OpenAI weist zum Beispiel darauf hin, dass seine Modelle der dritten Generation keine Ereignisse nach September 2021 kennen.
- Verneinung und Details: „mit Anhänger“ und „ohne Anhänger“ können dicht beieinander liegen. Die Suche findet beide, das Sprachmodell muss danach genau lesen.
Die übliche Lösung heißt hybride Suche (hybrid search): Eine Stichwortsuche und eine Ähnlichkeitssuche laufen gleichzeitig, und die Ergebnisse werden zusammengeführt. Weaviate beschreibt das als Verbindung einer Vektorsuche mit einer Stichwortsuche nach dem Verfahren BM25. Qdrant setzt dafür zusätzlich dünn besetzte Vektoren (sparse vectors) ein, die exakte Wörter erfassen.
Was das für Ihr Unternehmen heißt
Sie müssen Embeddings nicht selbst berechnen. Sie stecken in jeder Wissensdatenbank, die Fragen in normaler Sprache beantwortet. Wichtig ist, was Sie davon merken:
- Ein Web- oder WhatsApp-Chat und eine Telefon-KI können Ihr Firmenwissen auch dann finden, wenn Kunden andere Wörter benutzen als Sie.
- Ein KI-Postfach kann eingehende E-Mails mit früheren Antworten oder Unterlagen abgleichen, die inhaltlich passen.
- Preise, Artikelnummern und Fristen gehören zusätzlich in eine exakte Suche oder eine Tabelle, nicht nur in Fließtext.
- Fragen Sie Ihren Anbieter, wo die Embeddings berechnet und wo die Vektoren gespeichert werden.
In der Firmenwissensdatenbank von GrisaKI liegen die Vektoren in einer PostgreSQL-Datenbank mit der Erweiterung pgvector auf Servern von Hetzner in Deutschland. Zu jedem Abschnitt werden das verwendete Modell und die Anzahl der Zahlen gespeichert, damit ein späterer Modellwechsel sauber möglich ist.
Verwandte Begriffe
- Vektordatenbank: der Speicher, in dem Embeddings abgelegt und durchsucht werden.
- LLM (großes Sprachmodell): formuliert aus den gefundenen Abschnitten die Antwort.
- KI-Token: die Einheit, in der Modelle Text zählen, auch beim Einbetten.
- KI-Halluzination: erfundene Antworten, die eine gute Suche im eigenen Wissen seltener macht.
- KI-Modelle: Überblick über verbreitete KI-Modelle und Anbieter.
Häufige Fragen
Was heißt Embedding auf Deutsch?
Embedding heißt auf Deutsch Einbettung, im KI-Zusammenhang auch Vektoreinbettung. Gemeint ist, dass ein Text in einen Zahlenraum eingebettet wird, in dem ähnliche Bedeutungen nah beieinander liegen.
Was ist der Unterschied zwischen Embedding und Embeddings?
Ein Embedding ist der Vektor zu einem einzelnen Text oder Abschnitt. Embeddings ist die Mehrzahl, also zum Beispiel alle Vektoren einer Wissensdatenbank. Inhaltlich meinen beide Begriffe dasselbe Verfahren.
Was ist ein Embedding-Modell?
Ein Embedding-Modell ist ein KI-Modell, das Text in einen Vektor fester Länge übersetzt. Beispiele sind text-embedding-3-small von OpenAI, die Gemini-Embedding-Modelle von Google und offene Modelle wie bge-m3 oder multilingual-e5-large. Es antwortet nicht selbst, sondern liefert nur die Zahlen für die Suche.
Kann man aus einem Embedding den Originaltext zurückgewinnen?
Teilweise ja. Eine Studie von 2023 hat bei kurzen Texten mit 32 Token 92 Prozent wortgenau rekonstruiert und aus klinischen Notizen Namen zurückgewonnen. Embeddings sollten deshalb genauso geschützt werden wie die Texte, aus denen sie stammen.
Muss ich Embeddings neu berechnen, wenn ich das Modell wechsle?
Ja. Vektoren verschiedener Modelle sind nicht vergleichbar. Nach einem Modellwechsel müssen alle gespeicherten Texte mit dem neuen Modell neu eingebettet werden, sonst passen Frage und Wissen nicht mehr zusammen.
Findet eine Suche mit Embeddings auch Artikelnummern?
Nur unzuverlässig, weil ähnliche Nummern für das Modell fast gleich aussehen. Für Artikelnummern, Preise und exakte Fachbegriffe kombiniert man die Ähnlichkeitssuche mit einer Stichwortsuche. Das nennt man hybride Suche.
Über den Autor
Sandro Griesing
Gründer von GrisaKI und Geschäftsführer der new face Media GmbH in Sangerhausen
Sandro Griesing hat über zehn Jahre Agenturerfahrung. Mit GrisaKI richtet er KI-Assistenten für Telefon, Chat, E-Mail und interne Abläufe in mittelständischen Unternehmen ein, vor allem in Mitteldeutschland.
Mehr über GrisaKIQuellen
- OpenAI: Vector embeddings (Embeddings-Leitfaden), englisch, abgerufen am 16.10.2026
- Google: Embeddings – Gemini API, englisch, abgerufen am 16.10.2026
- BAAI: Modellkarte bge-m3, Hugging Face, abgerufen am 16.10.2026
- intfloat: Modellkarte multilingual-e5-large, Hugging Face, abgerufen am 16.10.2026
- OpenAI: Data controls in the OpenAI platform, englisch, abgerufen am 16.10.2026
- Morris, Kuleshov, Shmatikov, Rush: Text Embeddings Reveal (Almost) As Much As Text, EMNLP 2023, arXiv, abgerufen am 16.10.2026
- Weaviate: Hybrid search, englisch, abgerufen am 16.10.2026
- Qdrant: Documentation Overview, englisch, abgerufen am 16.10.2026
Stand der Angaben: 16.10.2026. Modellnamen und Größen ändern sich schnell. Maßgeblich ist jeweils die aktuelle Dokumentation des Anbieters.