Untersuchung der Noise Resilienz von Variationellen Quantum Schaltkreisen in Reinforcement Learning Umgebungen

Untersuchung der Noise Resilienz von Variationellen Quantum Schaltkreisen in Reinforcement Learning Umgebungen

Abstract:

Diese Bachelorarbeit untersucht die Robustheit von Variational Quantum Circuits (VQCs) im Reinforcement Learning (RL) im Vergleich zu klassischen neuronalen Netzwerken unter dem Einfluss von Observation Noise. Observation Noise beschreibt hierbei die Unsicherheit, die entsteht, wenn die von einem RL-Agenten wahrgenommenen Zustände von den tatsächlichen Zuständen der Umgebung abweichen, etwa durch Sensorrauschen, Umwelteinflüsse oder gezielte adversariale Angriffe. Ein deterministischer REINFORCE-Algorithmus wird angewendet, der statt des üblichen stochastischen Samplings stets die Aktion mit der höchsten Wahrscheinlichkeit wählt. Diese methodische Entscheidung ermöglicht eine gezielte Analyse des direkten Einflusses von Observation Noise auf die Policy des Agenten, unabhängig von zufälligen Explorationseffekten. Die Robustheit wird anhand der deterministischen Variante der bekannten Reinforcement Learning-Umgebung Frozen-Lake untersucht, die um ein Observations-rauschmodell mit einer eigens designten Hot-Zone-Logik erweitert wird. Innerhalb dieser Hot-Zones erhält der Agent gezielt falsche Beobachtungen orthogonal zu seiner ursprünglichen Bewegungsrichtung. Ein klassisches neuronales Netz in Form eines Multi-Layer Perceptron (MLP) wird mit einem Variationellen Quanten Schaltkreis(VQC)verglichen. Obwohl das MLP oft schneller konvergiert, zeigt es eine volatile und nicht-monotone Leistungsentwicklung unter zunehmendem Rauscheinfluss. Dagegen demonstriert der VQC eine überlegene Stabilität mit einem vorhersagbaren Leistungsabfall, insbesondere bei höheren Rauschstufen. Die Ergebnisse weisen darauf hin, dass die strukturellen Eigenschaften von VQCs bessere Generalisierung und Robustheit gegenüber strukturiertem Observation Noise ermöglichen könnten.

Autor/in:

Justin Dominik Marinus Klein

Betreuer:

Studentische Abschlussarbeit | Veröffentlicht Juli 2025 | Copyright © QAR-Lab
Anfragen zu dieser Arbeit an die Betreuer