Quantum Reinforcement Learning via parametrisierten Quantum Walks

Quantum Reinforcement Learning via parametrisierten Quantum Walks

Abstract:

Random Walks finden in verschiedenen Forschungsbereichen wie der Informatik, der Psychologie, dem Finanzwesen oder der Mathematik Anwendung, da sie ein grundlegendes Konzept der Wahrscheinlichkeitstheorie und Stochastik darstellen. Herkömmliche Computer stoßen jedoch schnell an ihre Grenzen hinsichtlich der Rechenkomplexität, so dass andere Wege zur effizienten Lösung komplexer Probleme wie das Quantencomputing erforderlich sind. Quantum Walks, das Quantenäquivalent zum klassischen Random Walk, nutzen Quanteneffekte wie Überlagerung und Verschränkung, um effizienter zu sein als ihre klassischen Gegenstücke. Dennoch stellt die Ausführung von Programmen auf Quantenrechnern in der nahen Zukunft aufgrund der hohen Fehlerraten, des Rauschens und der Anzahl der verfügbaren Qubits eine gewisse Herausforderung dar. Für eine große Anzahl von Graphproblemen wirkt die Kodierung mit Gray Code Directed Edges (GCDE) diesen Problemen entgegen, indem sie die erforderliche Anzahl von Qubits durch eine effiziente Darstellung von bipartiten Graphen unter Verwendung von Gray Code reduziert.

Diese Arbeit untersucht Random Walks in Grid Worlds und Glued Trees unter Verwendung klassischer Reinforcement Learning Strategien wie Proximal Policy Optimization oder Deep Q-learning Networks. In einem weiteren Schritt werden die Umgebungen mit effizienter GCDE-Kodierung neu aufgebaut. Die Umgebungen werden in parametrisierte Quantenschaltkreise übersetzt, deren Parameter durch den Agenten optimiert und gelernt werden. Der Beitrag dieser Arbeit beinhaltet die Anwendung der effizienten GCDE-Kodierung in Quantenumgebungen und einen Vergleich zwischen einem Quanten- und einem Random-Walker hinsichtlich Trainingszeiten und Zieldistanzen. Außerdem werden die Auswirkungen unterschiedlicher Startpositionen beim Training und bei der Auswertung berücksichtigt.

Autor/in:

Sabrina Egger

Betreuer: