Wegzusammenhang des Topologischen Randes zwischen Features, die von einem Einschichtigen Perzeptron, das zwischen Zwei Kategorien Differenziert, Unterschiedlich Kategorisiert Werden

Wegzusammenhang des Topologischen Randes zwischen Features, die von einem Einschichtigen Perzeptron, das zwischen Zwei Kategorien Differenziert, Unterschiedlich Kategorisiert Werden

Abstract:

Dank der bemerkenswerten Fortschritte im High-Performance-Computing können Maschinen immer größere Datenmengen verarbeiten, um zahlreiche Parameter eines Machine-Learning-Modells (ML-Modell) anzulernen. Auf diese Weise erkennt und lernt eine Maschine Muster und kann durchaus zu guten und schnellen Entscheidungen kommen. Der Erfolg eines ML-Modells hängt jedoch nicht nur von der Leistungsfähigkeit des Systems ab, auf dem es läuft, welches dadurch große oder weniger große Datenmengen verarbeiten kann. Zahlreiche und vielfältige Daten sind meist hilfreich, aber nicht der alleinige Schlüssel zu einem zuverlässigen Modell. Auch Modelle mit nur wenigen trainierbaren Parametern, bei denen kleinere Datensätze für das Training ausreichen, können erstaunliche Ergebnisse liefern, wenn das Basismodell sinnvoll gewählt ist und zu den Daten und der Aufgabe passt.

Abstrakt betrachtet sind ML-Modelle parametrisierte Funktionen, bei denen die Parameter während des Lernprozesses optimiert werden. Um zu prüfen, ob ein bestimmtes ML-Modell qualitativ passt, können wir auf mathematische Weise Anforderungen an das Modell aufstellen. Hier erwägen wir solche Vorgaben, die keine konkrete Belegung der Parameter voraussetzen, sondern die ein bestimmtes Verhalten der dem Modell entsprechenden Funktion für beliebige Parameter erwarten. Anschließend können wir beweisen, dass ein bestimmtes Modell die Anforderungen erfüllt oder ein spezifischeres Gegenbeispiel konstruieren, aus dem hervorgeht, dass eine bestimmte mathematische Eigenschaft für das betrachtete Modell nicht im Allgemeinen gilt.

In dieser Bachelorarbeit betrachten wir Single Layer Perceptrons (SLPs), die Features zwischen zwei verschiedenen Labels kategorisieren. SLPs kann man als Ursprung der heutigen Deep Neural Networks bezeichnen. Wir zeigen, dass unter bestimmten Vorbedingungen der Rand zwischen den beiden Kategorien innerhalb des Feature Space wegzusammenhängend ist. Dies spricht dafür, dass ein SLP eine vernünftige Wahl ist, wenn wir bestimmtes Vorwissen über die Features haben: Falls wir wissen, dass die Grenze zwischen den beiden Kategorien in der Realität wegzusammenhängend ist, können wir Modelle ausschließen, die einen Rand mit Unterbrechungen (nicht wegzusammenhängend) erzeugen.

Autor/in:

Max Mustermann

Betreuer:

Studentische Abschlussarbeit | Veröffentlicht Dezember 2023 | Copyright © QAR-Lab
Anfragen zu dieser Arbeit an die Betreuer