Transformer
Der Transformer ist eine 2017 vorgestellte Netzarchitektur, die moderne Sprach-KI erst möglich gemacht hat. Ihr Kernbaustein ist der Aufmerksamkeitsmechanismus („Attention"), mit dem das Modell gewichtet, welche Wörter im Kontext für die Bedeutung besonders wichtig sind. Nahezu alle heutigen LLMs basieren auf Transformern.
Was Transformer für dein Unternehmen bedeutet
Mit dem Begriff Transformer arbeitest du im Tagesgeschäft selten, er hilft aber beim Einordnen: Er erklärt, warum heutige Sprachmodelle Zusammenhänge in langen Texten erfassen und warum sich so unterschiedliche Aufgaben wie Übersetzen, Zusammenfassen und Programmieren mit derselben Technik lösen lassen. Für die Auswahl eines Werkzeugs ist die Architektur kaum ein Kriterium, die Ergebnisse mit deinen Daten dagegen schon.
Beispiel aus der Praxis: Ein Zulieferer mit Kunden in mehreren Ländern lässt technische Dokumentationen von einem transformerbasierten Übersetzungsdienst vorübersetzen. Weil das Modell den ganzen Satzzusammenhang berücksichtigt, sind die Entwürfe gut brauchbar. Fachbegriffe gleicht eine Mitarbeiterin mit der firmeneigenen Terminologieliste ab, bevor die Texte an Kunden gehen.
Häufige Fragen zu Transformer
Weil er Texte nicht mehr strikt Wort für Wort nacheinander verarbeitet, sondern alle Teile eines Textes gleichzeitig zueinander in Beziehung setzen kann. Das macht das Training auf sehr großen Datenmengen effizient und bildet die Grundlage für die großen Sprachmodelle, die seit einigen Jahren im Einsatz sind.
Attention ist ein Mechanismus, mit dem das Modell für jedes Wort abwägt, welche anderen Wörter im Text dafür gerade wichtig sind. Im Satz „Die Bank hatte wegen des Feiertags geschlossen“ hilft das zum Beispiel, Bank als Geldinstitut und nicht als Sitzbank zu verstehen.
Es wird an alternativen und ergänzenden Architekturen geforscht, und manche Modelle kombinieren verschiedene Ansätze. Für deine Entscheidungen spielt das kaum eine Rolle. Wichtig ist, dass deine Lösung nicht an ein einzelnes Modell gebunden ist, damit du bessere Modelle später ohne großen Umbau einsetzen kannst.