Quantum Transformer: Nutzung Variationeller Quantenschaltkreise zur Natürlichen Sprachverarbeitung

Quantum Transformer: Nutzung Variationeller Quantenschaltkreise zur Natürlichen Sprachverarbeitung

Abstract:

Jüngste Fortschritte im Bereich großer Sprachmodelle haben Transformermodelle als dominantes Paradigma in der natürlichen Sprachverarbeitung etabliert. Während diese Modelle Spitzenleistungen erzielen, führt ihr exponentielles Wachstum in Bezug auf Parameteranzahl und Rechenaufwand zu zunehmenden Bedenken hinsichtlich Skalierbarkeit, Energieverbrauch und ökologischer Nachhaltigkeit. Parallel dazu hat sich Quantum Machine Learning als vielversprechendes Forschungsfeld herausgebildet, das untersucht, ob Quantencomputing effizientere Lernmechanismen bieten kann, insbesondere durch den Einsatz von parametrisierten Quantenschaltkreisen, die mit vergleichsweise wenigen Parametern wettbewerbsfähige Leistungen zeigen. Diese Arbeit untersucht, ob sich ein Quanten-Transformermodell entwerfen lässt, das die klassische Transformerarchitektur strukturell nachbildet und gleichzeitig auf Noisy Intermediate-Scale Quantum Hardware ausführbar bleibt. Zu diesem Zweck wird eine modulare, NISQ-kompatible Quanten-Transformerarchitektur vorgestellt, die die zentralen klassische Komponenten Embedding, Multi-Head Attention und Encoder-Decoder-Struktur mithilfe von VQCs realisiert. Jede Komponente wird mit flachen, stark verschränkenden Quantenschaltkreisen implementiert, um Schaltkreistiefe und Parameteranzahl zu minimieren. Das Modell wird anhand synthetischer Sprachmodellierungsaufgaben evaluiert, wobei Quanten- und klassische Varianten unter gleichen Bedingungen, einschließlich identischer Token-Vokabulare und äquivalenter Parameterbudgets verglichen werden. Die Ergebnisse zeigen, dass das Quantenmodell in der Lage ist, einfache formale Sprachen zu erlernen, schnell zu konvergieren und in bestimmten Konfigurationen deterministische Tokenfolgen perfekt zu rekonstruieren. Bei komplexeren Aufgaben, die Generalisierungsfähigkeit erfordern, bleibt die Leistung jedoch hinter der klassischer Modelle zurück. Diese Ergebnisse demonstrieren die prinzipielle Durchführbarkeit der vorgeschlagenen Architektur auf nahzeitlicher Hardware und positionieren das Modell als Machbarkeitsnachweis für das Potenzial von Encoder-Decoder-Quantum-Transformern in der Sprachverarbeitung.

Autor/in:

Julian Hager

Betreuer:

Studentische Abschlussarbeit | Veröffentlicht Juni 2025 | Copyright © QAR-Lab
Anfragen zu dieser Arbeit an die Betreuer