Evaluierung von metaheuristischen Optimierungsalgorithmen für Quantum Reinforcement Learning

Evaluierung von metaheuristischen Optimierungsalgorithmen für Quantum Reinforcement Learning

Abstract:

Quantum Reinforcement Learning bietet das Potenzial für Vorteile gegenüber klassischem Reinforcement Learning, wie beispielsweise eine kompaktere Repräsentation des Zustandsraums durch Quantenzustände. Darüber hinaus deuten theoretische Untersuchungen darauf hin, dass Quantum Reinforcement Learning in bestimmten Szenarien eine schnellere Konvergenz als klassische Ansätze aufweisen kann. Allerdings bedarf es weiterer Forschung, um die tatsächlichen Vorteile von Quantum Reinforcement Learning in praktischen Anwendungen zu validieren. Diese Technologie sieht sich zudem mit Herausforderungen wie einer flachen Lösungslandschaft konfrontiert, die durch fehlende oder geringe Gradienten gekennzeichnet ist und somit die Anwendung traditioneller, gradientenbasierter Optimierungsmethoden ineffizient macht. In diesem Kontext gilt es, gradientenfreie Algorithmen als Alternative zu prüfen. Die vorliegende Arbeit befasst sich mit der Integration von metaheuristischen Optimierungsalgorithmen wie der Partikelschwarmoptimierung, dem Ameisenkolonie-Algorithmus, der Tabu Suche, Simulated Annealing und der Harmonie Suche in Quantum Reinforcement Learning. Diese Algorithmen bieten Flexibilität und Effizienz bei der Parameteroptimierung, da sie spezialisierte Suchstrategien und Anpassungsfähigkeit nutzen. Die Ansätze werden im Rahmen von zwei Reinforcement Learning Umgebungen evaluiert und mit zufälliger Aktionsauswahl verglichen. Die Ergebnisse zeigen, dass in der 5×5 Empty MiniGrid Umgebung alle Algorithmen zu akzeptablen oder sogar sehr guten Ergebnissen führen, wobei Simulated Annealing und die Partikelschwarmoptimierung die besten Leistungen erzielen. In der Cart Pole Umgebung erreichen Simulated Annealing und die Partikelschwarmoptimierung optimale Ergebnisse, während der Ameisenkolonie-Algorithmus, die Tabu Suche und die Harmonie Suche nur leicht besser abschneiden als ein Algorithmus mit zufälliger Aktionswahl. Diese Ergebnisse demonstrieren das Potenzial metaheuristischer Optimierungsmethoden wie der Partikelschwarmoptimierung und Simulated Annealing für effizientes Lernen in Quantum Reinforcement Learning Systemen, zeigen aber auch die Notwendigkeit einer sorgfältigen Auswahl und Anpassung des Algorithmus an die jeweilige Problemstellung.

Autor/in:

Daniel Seidl

Betreuer:

Studentische Abschlussarbeit | Veröffentlicht Mai 2024 | Copyright © QAR-Lab
Anfragen zu dieser Arbeit an die Betreuer