Architektonische Einflüsse auf variationelle Quantenschaltkreise im Multi-Agenten Reinforcement Learning: Evolutionäre Optimierungsstrategien

Abstract:

Das Forschungsgebiet des Multi-Agenten Reinforcement Learning (MARL) gewinnt zunehmend an Bedeutung, insbesondere in Anwendungsbereichen wie autonomem Fahren und Robotik, in denen mehrere Akteure interagieren. Eine zentrale Herausforderung des MARL ist das exponentielle Wachstum der Dimensionen in den Zustands- und Aktionsräumen. Die Nutzung quantenmechanischer Eigenschaften bietet vielversprechende Lösungen, da sie eine kompakte Verarbeitung hochdimensionaler Daten ermöglicht und die Anzahl der zu optimierenden Parameter reduziert. Ein Nachteil gradientenbasierter Optimierungs-Methoden im Quanten MARL ist das Auftreten von Barren Plateaus, welche die Konvergenz durch ineffektive Parameter-Updates behindern. Evolutionäre Algorithmen umgehen dieses Problem, indem sie ohne Gradienten arbeiten. Aufbauend auf Forschungsergebnissen, die das Potenzial Evolutionärer Algorithmen zur Optimierung Variationaler Quantenschaltkreise für MARL aufzeigen, untersuchen wir, welchen Einfluss die Einführung von Modifikationen der Architektur im Evolutionsprozess auf die Optimierung hat. Drei Architekturkonzepte für Variationale Quantenschaltkreise — Ebenen-Basiert, Gatter-Basiert und Prototyp-Basiert — wurden mithilfe zweier evolutionärer Strategien untersucht: einer Kombination aus Rekombination und Mutation (ReMu) sowie einer nur auf Mutation basierenden Strategie (Mu). Die Effizienz der Ansätze wurde anhand des Coin Games evaluiert, wobei eine Version ohne Anpassungen der Architektur als Vergleichsgrundlage diente. Die Mu-Strategie in Kombination mit dem Gatter-Basierten Ansatz erzielte die besten Ergebnisse, einschließlich der höchsten Punktzahlen, der meisten gesammelten Münzen und der höchsten Eigenmünzenquote, und benötigte dabei die geringste Anzahl an Parametern. Darüber hinaus benötigte eine Variante des Gate-Basierten Ansatzes, welche vergleichbare Ergebnisse wie die der Vergleichsgrundlage erzielte, deutlich weniger Gatter, was zu einer Beschleunigung der Laufzeit um 90,1% führte.

Autor/in:

Karola Schneider

Betreuer:

Trainierbarkeit des Quantum Federated Lernens

Abstract:

Diese Arbeit untersucht die Implementierung und Evaluierung von Quantum Federated Learning (QFL), bei dem Variational Quantum Circuits (VQCs) kollaborativ über mehrere mehreren Quanten-Clients trainiert werden. Der Hauptfokus liegt auf dem Vergleich der Leistung und der Trainierbarkeit von QFL mit traditionellen, nicht föderierten Ansätzen des maschinellen Quantenlernens unter dem MNIST-Datensatz. Die Experimente wurden mit 2, 3, 4 und 5 Clients durchgeführt, die jeweils und mit einer unterschiedlichen Anzahl von Schichten (1, 2 und 4) in den Quantenschaltungen durchgeführt. Quantenschaltungen. Die Trainierbarkeit der Modelle wurde durch die Auswertung von Genauigkeit, Verlust und Gradientennormen während des gesamten Trainingsprozesses bewertet. Die Ergebnisse zeigen, dass QFL zwar kollaboratives Lernen ermöglicht und deutliche Verbesserungen während des Trainings signifikante Verbesserungen in diesen Metriken zeigt, die Basismodelle ohne föderiertes Lernen aufgrund des ununterbrochenen Optimierungsprozesses eine bessere Leistung in Bezug auf
Optimierungsprozess. Zusätzlich wurde die Auswirkung der Erhöhung der Anzahl der Schichten auf die Trainingsstabilität und -leistung untersucht.

Autor/in:

Sina Mohammad Rezaei

Betreuer:

Studentische Abschlussarbeit | Veröffentlicht November 2024 | Copyright © QAR-Lab
Anfragen zu dieser Arbeit an die Betreuer