Deutschenglish

CI/CD für unüberwachte Außreißererkennung


Die agilen Vorgehensweisen Continuous Integration und Continuous Deployment haben sich als Standards in der industriellen Softwareentwicklung etabliert. Durch die Anwendung dieser Methoden kann die Zeit zwischen der Entwicklung und Markteinführung gesenkt werden, während eine höhere Softwarequalität gewährleistet werden kann. Allerdings wurde der Verwendung von CI/CD für Machine Learning Anwendungen bisher wenig Aufmerksamkeit geschenkt, insbesondere in Szenarien des unüberwachten Lernens, in dem keine bekannten Zielwerte vorhanden sind. Anomalieerkennung ist ein weit verbreitetes Anwendungsfeld für unüberwachtes Lernen, welche das Ziel hat, ungewöhnliches Verhalten in Datensätzen oder Zeitreihendaten zu identifizieren. Daher findet sie in vielen Bereichen Anwendung z.B. in der Erkennung von Betrug, bei Netzwerkangriffen oder bei der Analyse von medizinischen Daten. Diese Masterarbeit widmet sich der Herausforderung, CI/CD Vorgehensweisen im Bereich der unüberwachten Anomalieerkennung anzuwenden. Um dies zu erreichen, werden die ursprünglichen Prinzipien hinter CI/CD mithilfe einer Literaturrecherche herausgearbeitet und an die Vorraussetzungen des Lebenszyklusses von Anwendungen der Anomalieerkennung angepasst. Basierend auf diesen angepassten Prinzipien wird eine Ende-zu-Ende CI/CD Pipeline konzeptioniert. Eine konkrete Implementierung, mithilfe von Technologien wie Kubeflow, Kale und Rok, demonstriert die Umsetzbarkeit der Pipeline. Weiterhin wird die Scoring Distance vorgeschlagen, eine Metrik zur Evaluierung der Performance von Machine Learning Modellen zur unüberwachten Anomalieerkennung. Eine Analyse der Scoring Distance zeigt, dass sie nicht so aussagekräftig ist wie das F-Maß, eine Metrik die auf der Grundwahrheit basiert. Dennoch konnte gezeigt werden, dass beide Metriken ähnlich mit unterschiedlich performanten Modellen skalieren. Dementsprechend ist die Scoring Distance eine vielversprechende Lösung für die interne Modellevaluierung.