SciblyTechnologie und Forschung · · 2 Min. Lesezeit
Wissensgraph per Sprachmodell: gegen Span-Modelle gemessen
Wir haben GLiNER und ein Sprachmodell an 1.524 Dokumenten gemessen: Auf Firmentexten fand das Sprachmodell Beziehungen etwa doppelt so zuverlässig, für 0,77 $ für alle Dokumente.
Niclas GregorMitgründer von Scibly
Das Wichtigste auf einen Blick
- Für einen Wissensgraphen aus Firmentexten gibt es zwei Wege: ein kleines Span-Modell wie GLiNER oder ein Sprachmodell (LLM).
- An 1.524 Dokumenten fand das Sprachmodell Beziehungen in Firmentexten etwa doppelt so zuverlässig wie das beste Span-Modell (F1 0,60 gegen 0,32), für 0,77 $ insgesamt.
- Es liefert zu jeder Beziehung den Satz, der sie belegt, seit wann sie gilt und ob sie beendet ist; ein Span-Modell nur Namen und Paare.
- Grenzen: Die Firmentexte sind von einem Sprachmodell geschrieben, und heute liest ein anderes Modell als damals gemessen.
Wie baut man einen Wissensgraphen aus Firmentexten?
Ein Wissensgraph hält fest, wer im Team woran arbeitet, welche Systeme was nutzen und was entschieden wurde, sodass Menschen und Agenten es finden, auch wenn es über viele Mails und Meetings verteilt steht. Ein Modell liest dafür jeden Text und schreibt heraus, welche Personen, Projekte, Systeme und Firmen er nennt und wie sie zusammenhängen. Dafür gibt es zwei Wege: ein kleines Span-Modell, das Namen im Text markiert und Paare bildet, oder ein Sprachmodell (LLM), das Namen und Beziehungen als strukturierte Antwort zurückgibt. Wir haben beide an 1.524 Dokumenten gemessen. Auf Firmentexten fand das Sprachmodell Beziehungen etwa doppelt so zuverlässig wie das beste Span-Modell (F1 0,60 gegen 0,32), für 0,77 $ für alle Dokumente.
Was ist ein Span-Modell, und was macht das Sprachmodell?
Ein Span-Modell wie GLiNER bekommt eine Liste von Typen, etwa Person oder Organisation, und markiert die Stellen im Text, die dazu passen. GLiNER-Relex erkennt dabei auch Beziehungen zwischen den markierten Namen. So ein Modell ist klein genug für den eigenen Server und kostet nichts pro Aufruf.
Das Sprachmodell liest jeden Text in einem einzigen Aufruf und füllt ein festes Formular aus: jeden Namen mit Typ und jede Beziehung mit dem Satz, der sie belegt. So sieht dieselbe Mail als Graph aus, einmal von jedem gelesen:
Jonas WeberÜbergabe CheckoutSeit dem 1. Oktober läuft der Checkout über Adyen statt Stripe. Mia (Payments-Team) hat das Projekt von mir übernommen.
Ein Wissensgraph braucht mehr als Paare: Seit wann gilt etwas, gilt es noch, und in welchem Satz steht es? Das Sprachmodell liefert das zu jeder Beziehung mit, ein Span-Modell nur die Namen und Paare.
Wie haben wir gemessen?
- Daten. 1.024 Dokumente aus CorporateBench, erfundene Mails und Kalendereinträge dreier Firmen, bei denen jede Beziehung als ausdrücklich oder nur angedeutet markiert ist. Dazu 500 Wikipedia-Texte aus Re-DocRED.
- Vorgaben. Jedes Modell bekam dieselben Typen und Beziehungen.
- Maß. F1, ein Wert zwischen 0 und 1. Er ist nur hoch, wenn ein Modell viel von dem findet, was im Text steht, und dabei selten danebenliegt.
- Modelle. Drei GLiNER-Modelle gegen
deepseek-v4.1-flashmit unserem Prompt, gemessen am 6. Oktober 2026.
Was kam heraus?
- Sprachmodell
- Span-Modell (GLiNER)
- Sprachmodell, alle 1.524 Dokumente
- 0,77 $
- Span-Modelle: keine Rechnung pro Aufruf, nur Rechenzeit auf dem eigenen Server
- 0 $
- Angedeutetes. Auch Beziehungen, die ein Text nur andeutet, fand das Sprachmodell fast so gut wie ausdrücklich genannte.
- Raten hilft nicht. Senkt man die Schwelle, ab der GLiNER-Relex eine Beziehung meldet, findet es fast so viele Beziehungen. Dann sind aber vier von fünf seiner Vorschläge falsch.
- Wikipedia ist anders. Dort kommt GLiNER-Relex nah an das Sprachmodell. Auf solchen Texten haben seine Autoren es gemessen.
Auch als Vorfilter, der dem Sprachmodell die Namen liefert, hilft ein Span-Modell nicht: Das Sprachmodell findet die Namen selbst besser. Scibly nutzt keins, auch nicht als Vorstufe.
Wo hat die Messung ihre Grenzen?
- CorporateBench ist von einem Sprachmodell geschrieben. Das schmeichelt wahrscheinlich einem Sprachmodell als Leser.
- Re-DocRED passt nur grob. Seine Beziehungen haben wir grob auf unsere abgebildet. Die Werte ordnen die Modelle, sie messen sie nicht genau.
- Das Modell hat gewechselt. Inzwischen liest ein anderes Sprachmodell die Texte. Gegen die Span-Modelle haben wir es nicht neu gemessen.
Wer seine Texte nur auf eigener Hardware lesen lassen will, könnte ein kleines Modell wie GLiNER-Relex mit den Antworten des Sprachmodells nachtrainieren (Distillation). Scibly selbst läuft auf Anfrage auch auf eurer eigenen Infrastruktur, mehr dazu unter Sicherheit.
