Die Entwicklung des Ausreißerkonzepts

Die moderne Datenwissenschaft hat die Art und Weise, wie wir Ausreißer verstehen, revolutioniert und sie von bloßen "Fehlern", die beseitigt werden müssen, in wertvolle Informationsquellen verwandelt. Parallel dazu wurde Malcolm Gladwells Buch "Ausreißer: Die Geschichte des Erfolgs" eine ergänzende Perspektive auf den menschlichen Erfolg als statistisch anormales, aber bedeutungsvolles Phänomen.

‍

Von einfachen Werkzeugen zu ausgefeilten Methoden

In der traditionellen Statistik wurden Ausreißer durch relativ einfache Methoden wie die Boxplots, der Z-Score (der misst, wie weit ein Wert vom Mittelwert abweicht) und der Interquartilsbereich (IQR).

‍

Diese Methoden sind zwar nützlich, haben aber erhebliche Einschränkungen. Ein einziger Ausreißer würde genügen, um ein lineares Regressionsmodell völlig zu verzerren - zum Beispiel, indem die Steigung von 2 auf 10 erhöht wird. Dies macht traditionelle statistische Modelle in der Praxis anfällig.

Mit dem maschinellen Lernen wurden ausgefeiltere Ansätze eingeführt, die diese Einschränkungen überwinden:

• Isolation Forest: Ein Algorithmus, der Ausreißer "isoliert", indem er zufällige Entscheidungsbäume konstruiert. Ausreißer werden in der Regel schneller isoliert als normale Punkte und erfordern weniger Unterteilungen.
• Lokaler Ausreißerfaktor: Diese Methode analysiert die lokale Dichte um jeden Punkt. Ein Punkt in einer Region mit geringer Dichte im Vergleich zu seinen Nachbarn wird als Ausreißer betrachtet.
• Autoencoder: Neuronale Netze, die lernen, normale Daten zu komprimieren und zu rekonstruieren. Wenn ein Punkt schwer zu rekonstruieren ist (und einen hohen Fehler produziert), wird er als abnormal betrachtet.

Arten von Ausreißern in der realen Welt

La Datenwissenschaft unterscheidet zwischen verschiedenen Kategorien von Ausreißern, die jeweils einzigartige Auswirkungen haben:

• Globale Ausreißer: Werte, die in Bezug auf den gesamten Datensatz eindeutig außerhalb der Skala liegen, wie z. B. eine Temperatur von -10 °C, die in einem tropischen Klima aufgezeichnet wurde.
• Kontextbedingte Ausreißer: Werte, die im Allgemeinen normal erscheinen, aber in ihrem spezifischen Kontext Ausreißer sind. Zum Beispiel eine Ausgabe von 1.000 € in einem einkommensschwachen Viertel oder ein plötzlicher Anstieg des Internetverkehrs um 3 Uhr morgens.
• Kollektive Ausreißer: Gruppen von Werten, die zusammengenommen ein abnormales Verhalten aufweisen. Ein klassisches Beispiel sind synchronisierte Spitzen im Netzwerkverkehr, die auf einen Cyberangriff hindeuten könnten.

Die Parallele zu Gladwells Erfolgstheorie

Die "10.000-Stunden-Regel" und ihre Grenzen

In seinem Buch führt Gladwell die berühmte "10.000-Stunden-Regel" ein, die besagt, dass Fachwissen ein bestimmtes Maß an bewusster Übung erfordert. Er nennt Beispiele wie Bill Gates, der bereits als Teenager privilegierten Zugang zu einem Computerterminal hatte und wertvolle Programmierstunden sammelte.

‍

Diese Theorie ist zwar faszinierend, wurde aber im Laufe der Zeit auch kritisiert. Wie Paul McCartney feststellte: "Es gibt viele Bands, die 10.000 Stunden in Hamburg geübt haben und nicht erfolgreich waren, es ist also keine narrensichere Theorie.

‍

Das Konzept, das dieser Regel zugrunde liegt, wurde von mehreren Autoren und Wissenschaftlern angezweifelt, und wir selbst haben starke Zweifel an der Gültigkeit der Theorie oder ihrer Universalität. Für diejenigen, die sich für die in diesem Buch behandelten Themen interessieren, möchte ich folgendes anführen dieses Beispielaber Sie können noch viele weitere finden, wenn Sie daran interessiert sind.

‍

In ähnlicher Weise haben wir in der Datenwissenschaft erkannt, dass es nicht nur auf die Menge der Daten ankommt, sondern auch auf ihre Qualität und ihren Kontext. Ein Algorithmus wird nicht automatisch besser, wenn er mehr Daten erhält - er braucht ein kontextbezogenes Verständnis und eine angemessene Qualität.

‍

Die Bedeutung des kulturellen Kontextes

Gladwell zeigt auf, wie sehr die Kultur die Erfolgswahrscheinlichkeit beeinflusst. Er erörtert beispielsweise, dass die Nachkommen asiatischer Reisbauern nicht aus genetischen Gründen, sondern aufgrund sprachlicher und kultureller Faktoren zu mathematischen Spitzenleistungen neigen:

• Das chinesische Zahlensystem ist intuitiver und erfordert weniger Silben zur Aussprache der Zahlen
• Der Reisanbau erfordert, anders als die westliche Landwirtschaft, eine ständige und sorgfältige Verbesserung der bestehenden Techniken und keine Ausweitung auf neue Flächen.

Diese kulturelle Beobachtung deckt sich mit dem kontextbezogenen Ansatz für Ausreißer in der modernen Datenwissenschaft. So wie ein Wert in einem bestimmten Kontext anomal, in einem anderen aber normal sein kann, ist auch der Erfolg stark kontextabhängig.

‍

Abhilfestrategien: Was können wir tun?

In der modernen Datenwissenschaft, verschiedene Strategien zur Behandlung von Ausreißern angewandt:

1. Entfernung: Nur bei offensichtlichen Fehlern (wie z. B. negativen Altersangaben) gerechtfertigt, aber riskant, weil dadurch wichtige Signale eliminiert werden könnten.
2. Umwandlung: Techniken wie die "Winsorisierung" (Ersetzen von Extremwerten durch weniger extreme Werte) erhalten die Daten, indem sie ihre verzerrenden Auswirkungen verringern.
3. Auswahl der Algorithmen: Verwendung von Modellen, die von sich aus robust gegenüber Ausreißern sind, wie z. B. Random Forests anstelle von linearer Regression
4. Generative Reparatur: Einsatz fortschrittlicher Techniken wie GANs (Generative Adversarial Networks) zur Synthese plausibler Ersetzungen für Ausreißer

‍

Reale Fallstudien zur Erkennung von Ausreißern beim maschinellen Lernen und bei der künstlichen Intelligenz

Jüngste Anwendungen von Methoden zur Erkennung von Ausreißern und Anomalien haben die Art und Weise, wie Unternehmen ungewöhnliche Muster in verschiedenen Sektoren erkennen, grundlegend verändert:

‍

Banken und Versicherungen

‍

‍

‍

Eine besonders interessante Fallstudie betrifft die Anwendung von Techniken zur Erkennung von Ausreißern auf der Grundlage von Reinforcement Learning zur Analyse von granularen Daten, die von niederländischen Versicherungs- und Pensionsfonds gemeldet werden. Gemäß den Regelwerken Solvabilität II und FTK müssen diese Finanzinstitute große Datensätze einreichen, die einer sorgfältigen Validierung bedürfen. Die Forscher entwickelten einen Ensemble-Ansatz, der mehrere Algorithmen zur Erkennung von Ausreißern kombiniert, darunter die Analyse des Interquartilsbereichs, Abstandsmetriken für die nächsten Nachbarn und die Berechnung lokaler Ausreißerfaktoren, ergänzt durch Reinforcement Learning zur Optimierung der Ensemble-Gewichte. 1.

‍

Das System hat erhebliche Verbesserungen gegenüber herkömmlichen statistischen Methoden gezeigt, indem es seine Erkennungsfähigkeiten mit jeder verifizierten Anomalie kontinuierlich verfeinert, was es besonders wertvoll für die behördliche Aufsicht macht, bei der die Überprüfungskosten erheblich sind. Mit diesem adaptiven Ansatz wurde die Herausforderung bewältigt, dass sich die Datenmuster im Laufe der Zeit ändern, und der Nutzen der zuvor überprüften Anomalien maximiert, um die zukünftige Erkennungsgenauigkeit zu verbessern.

In einer anderen bemerkenswerten Umsetzung implementierte eine Bank ein integriertes System zur Erkennung von Anomalien, das historische Daten zum Kundenverhalten mit fortschrittlichen Algorithmen des maschinellen Lernens kombinierte, um potenziell betrügerische Transaktionen zu erkennen. Das System überwachte Transaktionsmuster, um Abweichungen vom gewohnten Kundenverhalten zu erkennen, z. B. plötzliche geografische Veränderungen der Aktivitäten oder atypische Ausgabenvolumina.. 5.

‍

Diese Implementierung ist besonders bemerkenswert, da sie ein Beispiel für den Wechsel von reaktiver zu proaktiver Betrugsbekämpfung ist. Berichten zufolge konnte der britische Finanzsektor durch ähnliche Systeme zur Erkennung von Anomalien in Echtzeit, die in allen Bankgeschäften eingesetzt wurden, etwa 18 % der potenziellen Verluste auffangen. Dieser Ansatz ermöglichte es den Finanzinstituten, verdächtige Transaktionen sofort zu stoppen und Konten für weitere Untersuchungen zu kennzeichnen, wodurch erhebliche finanzielle Verluste verhindert werden konnten, bevor sie eintraten.. 3

‍

Die Forscher entwickelten und bewerteten einen auf maschinellem Lernen basierenden Algorithmus zur Erkennung von Anomalien, der speziell für die Validierung von klinischen Forschungsdaten in mehreren neurowissenschaftlichen Registern konzipiert wurde. Die Studie zeigte die Wirksamkeit des Algorithmus bei der Erkennung anomaler Muster in den Daten, die auf Unachtsamkeit, systematische Fehler oder absichtliche Fälschung von Werten zurückzuführen sind. 4.

Die Forscher bewerteten mehrere Abstandsmetriken und stellten fest, dass eine Kombination aus Canberra-, Manhattan- und Mahalanobis-Abstandsberechnungen eine optimale Leistung erbrachte. Die Implementierung erreichte eine Erkennungsempfindlichkeit von über 85 Prozent, als sie anhand unabhängiger Datensätze validiert wurde, was sie zu einem wertvollen Instrument zur Wahrung der Datenintegrität in der klinischen Forschung macht. Dieser Fall veranschaulicht, wie die Erkennung von Anomalien zur evidenzbasierten Medizin beiträgt und die höchstmögliche Datenqualität in klinischen Studien und Registern gewährleistet.. 4.

‍

Das System hat seine universelle Anwendbarkeit bewiesen, was auf eine mögliche Implementierung in andere elektronische Datenerfassungssysteme (EDC) als die in den ursprünglichen neurowissenschaftlichen Registern verwendeten schließen lässt. Diese Anpassungsfähigkeit unterstreicht die Übertragbarkeit von gut konzipierten Ansätzen zur Erkennung von Anomalien auf verschiedene Plattformen zur Verwaltung von Gesundheitsdaten.

‍

Herstellung

‍

‍

‍

Fertigungsunternehmen haben hochentwickelte, auf maschinellem Sehen basierende Systeme zur Erkennung von Anomalien eingesetzt, um Defekte in gefertigten Teilen zu identifizieren. Diese Systeme untersuchen Tausende ähnlicher Komponenten auf Produktionslinien und verwenden Bilderkennungsalgorithmen und maschinelle Lernmodelle, die auf großen Datensätzen trainiert wurden, die sowohl fehlerhafte als auch nicht fehlerhafte Beispiele enthalten. 3

‍

Die praktische Umsetzung dieser Systeme stellt einen erheblichen Fortschritt gegenüber manuellen Prüfverfahren dar. Durch die Erkennung selbst kleinster Abweichungen von etablierten Standards können diese Systeme zur Erkennung von Anomalien potenzielle Fehler identifizieren, die andernfalls unentdeckt bleiben würden. Diese Fähigkeit ist besonders wichtig in Branchen, in denen das Versagen eines Bauteils zu katastrophalen Folgen führen kann, wie z. B. in der Luft- und Raumfahrtindustrie, wo ein einziges fehlerhaftes Teil zu einem Flugzeugunfall beitragen kann..

‍

Neben der Komponentenprüfung haben die Hersteller die Fehlererkennung auf die Maschinen selbst ausgedehnt. Diese Systeme überwachen kontinuierlich Betriebsparameter wie Motortemperatur und Kraftstoffstand, um potenzielle Fehlfunktionen zu erkennen, bevor sie zu Produktionsausfällen oder Sicherheitsrisiken führen..

‍

Unternehmen aus allen Branchen haben auf Deep Learning basierende Systeme zur Erkennung von Anomalien implementiert, um ihren Ansatz für das Management der Anwendungsleistung zu verändern. Im Gegensatz zu herkömmlichen Überwachungsmethoden, die auf Probleme reagieren, nachdem sie sich auf den Betrieb ausgewirkt haben, ermöglichen diese Implementierungen die Identifizierung potenziell kritischer Probleme.

‍

Ein wichtiger Aspekt der Implementierung betrifft die Korrelation verschiedener Datenströme mit wichtigen Leistungskennzahlen der Anwendung. Diese Systeme werden anhand großer historischer Datensätze trainiert, um Muster und Verhaltensweisen zu erkennen, die auf einen normalen Anwendungsbetrieb hindeuten. Beim Auftreten von Abweichungen erkennen Algorithmen zur Erkennung von Anomalien potenzielle Probleme, bevor sie zu Betriebsunterbrechungen führen.

‍

Die technische Implementierung macht sich die Fähigkeit von Modellen des maschinellen Lernens zunutze, Daten über verschiedene Leistungsmetriken automatisch zu korrelieren, was eine genauere Identifizierung der Grundursache ermöglicht als herkömmliche schwellenwertbasierte Überwachungsansätze. IT-Teams, die diese Systeme nutzen, können auftretende Probleme schneller diagnostizieren und beheben und so die Ausfallzeiten von Anwendungen und deren Auswirkungen auf das Unternehmen erheblich reduzieren.

DE

‍

‍

‍

Bei der Erkennung von Anomalien in der Computersicherheit liegt der Schwerpunkt auf der kontinuierlichen Überwachung des Netzverkehrs und des Nutzerverhaltens, um subtile Anzeichen für ein Eindringen oder abnormale Aktivitäten zu erkennen, die herkömmliche Sicherheitsmaßnahmen umgehen könnten. Diese Systeme analysieren Netzverkehrsmuster, Benutzerzugriffsverhalten und Systemzugriffsversuche, um potenzielle Sicherheitsbedrohungen zu erkennen.

‍

Implementierungen sind besonders effektiv bei der Erkennung neuer Angriffsmuster, die von signaturbasierten Erkennungssystemen möglicherweise nicht erkannt werden. Durch die Festlegung von Basisverhaltensweisen für Benutzer und Systeme kann die Anomalieerkennung Aktivitäten aufzeigen, die von diesen Normen abweichen, was möglicherweise auf eine laufende Sicherheitsverletzung hinweist. Diese Fähigkeit macht die Anomalieerkennung zu einem wesentlichen Bestandteil moderner Computersicherheitsarchitekturen und ergänzt die traditionellen Präventivmaßnahmen.3.

‍

Aus diesen Fallstudien gehen mehrere gemeinsame Implementierungsansätze hervor. Die Unternehmen verwenden in der Regel eine Kombination aus deskriptiven Statistiken und Techniken des maschinellen Lernens, wobei die spezifischen Methoden je nach den Merkmalen der Daten und der Art der potenziellen Anomalien ausgewählt werden. 2.

‍

Schlussfolgerung

Diese Fallstudien aus der Praxis zeigen den praktischen Wert der Ausreißer- und Anomalieerkennung in einer Vielzahl von Sektoren. Von der Betrugsprävention im Finanzwesen bis zur Datenvalidierung im Gesundheitswesen, von der Qualitätskontrolle in der Produktion bis zur Überwachung von IT-Systemen haben Unternehmen erfolgreich immer ausgefeiltere Erkennungsmethoden eingeführt, um ungewöhnliche Muster zu erkennen, die es wert sind, untersucht zu werden.

‍

Die Entwicklung von rein statistischen Ansätzen hin zu auf künstlicher Intelligenz basierenden Systemen zur Erkennung von Anomalien stellt einen bedeutenden Fortschritt dar, der eine genauere Identifizierung komplexer anomaler Muster und eine Verringerung falsch positiver Ergebnisse ermöglicht. In dem Maße, in dem diese Technologien weiter reifen und mehr Fallstudien entstehen, können wir mit weiteren Verfeinerungen der Implementierungsstrategien und der Ausweitung auf zusätzliche Anwendungsbereiche rechnen.

‍

Die moderne Datenwissenschaft empfiehlt einen hybriden Ansatz für den Umgang mit Ausreißern, der statistische Präzision mit der kontextbezogenen Intelligenz des maschinellen Lernens kombiniert:

1. Verwendung traditioneller statistischer Methoden für eine erste Untersuchung der Daten
2. Einsatz von fortgeschrittenen ML-Algorithmen für anspruchsvollere Analysen
3. Aufrechterhaltung der ethischen Wachsamkeit gegenüber Ausschlussverzerrungen
4. Entwicklung eines bereichsspezifischen Verständnisses dafür, was eine Anomalie ist

Genauso wie Gladwell uns auffordert, Erfolg als ein komplexes Phänomen zu sehen, das von Kultur, Gelegenheit und Timing beeinflusst wird, drängt uns die moderne Datenwissenschaft dazu, Ausreißer nicht als einfache Fehler, sondern als wichtige Signale in einem breiteren Kontext zu sehen.

‍

Die Ausreißer des Lebens umarmen

So wie die Datenwissenschaft dazu übergegangen ist, Ausreißer nicht mehr als bloße Fehler zu betrachten, sondern sie als Quelle wertvoller Informationen anzuerkennen, so müssen auch wir die Art und Weise ändern, wie wir unkonventionelle Karrieren betrachten, d. h. von der einfachen numerischen Analyse zu einem tieferen, kontextbezogeneren Verständnis von Erfolg übergehen.

‍

Erfolg entsteht in jedem Bereich aus der einzigartigen Schnittmenge von Talent, gesammelter Erfahrung, Kontaktnetzen und kulturellem Kontext. Wie moderne Algorithmen des maschinellen Lernens, die Ausreißer nicht mehr eliminieren, sondern versuchen, sie zu verstehen, müssen auch wir lernen, den Wert in den seltensten Verläufen zu sehen.