Der Transformer ist eine 2017 vorgestellte Netzarchitektur, die moderne Sprach-KI erst möglich gemacht hat. Ihr Kernbaustein ist der Aufmerksamkeitsmechanismus („Attention"), mit dem das Modell gewichtet, welche Wörter im Kontext für die Bedeutung besonders wichtig sind. Nahezu alle heutigen LLMs basieren auf Transformern.