Optimierung von Variational Quantum Circuits für Hybride Quantum Proximal Policy Optimization Algorithmen

Optimierung von Variational Quantum Circuits für Hybride Quantum Proximal Policy Optimization Algorithmen

Abstract:

Quantencomputer, welche sich aktuell in der Entwicklung befinden, bieten in der Theorie neben der Hoffnung auf einen Quantenvorteil auch die Möglichkeit der Parameterreduktion. Diese ist insbesondere für das Machine Learning interessant, da sie einen schnelleren Lernvorgang und geringeren Arbeitsspeicherverbrauch für die rechenintensiven Prozesse erlauben würde. Im aktuellen Noisy Intermediate-Scale Quantum (NISQ) Zeitalter ist die Anzahl der Quantenbits jedoch noch beschränkt und Quantenrauschen erschwert das Training, daher konzentriert sich die Forschung auf Variational Quantum Circuits (VQCs). Diese hybriden Algorithmen aus einem parametrisierten Quantenschaltkreis mit klassischer Optimierung benötigen nur wenige Qubits, wodurch sie bereits jetzt die Möglichkeit bieten relevante Erfolge zu erzielen. In der der Literatur wurden in den letzten Jahren einige interessante Versionen vorgestellt, welche diese einsetzen, um Reinforcement Learning Probleme zu lösen und dabei vielversprechende Ansätze zur Verbesserung der Performance verwenden, welche es verdienen genauer betrachtet zu werden. In dieser Arbeit wird die Effektivität von Data Re-uploading, Input und Output Scaling und einer exponentiell abfallenden Lernrate für den Actor VQC eines Quantum Proximal Policy Optimization (QPPO) Algorithmus in den Frozen Lake und Cart Pole Umgebungen auf ihre Fähigkeit die Leistung des Schaltkreises im Verhältnis zur verwendeten Parameterzahl zu erhöhen evaluiert. Die Ergebnisse zeigen, dass die exponentiell abfallenden Lernrate und Data Re-uploading ohne das Hinzufügen weiterer trainierbarer Parameter die Leistung des VQC und dessen Hyperparameterstabilität deutlich erhöhen. Während Input Scaling keinen Einfluss auf die Parametereffizienz zu haben scheint, konnte Output Scaling eine wirksame Greediness-Kontrolle und so eine deutliche Steigerung der Performance und Robustheit ermöglichen.

Autor/in:

Timo Witter

Betreuer:

Studentische Abschlussarbeit | Veröffentlicht Februar 2024 | Copyright © QAR-Lab
Anfragen zu dieser Arbeit an die Betreuer