Kritische Analyse von realen Anwendungsfällen von LLM: Zwischen Versprechen und Wirklichkeit

Während die Debatte über den tatsächlichen Wert von großen Sprachmodellen (LLM) weitergeht, ist es wichtig, reale Anwendungsfälle, die von Unternehmen implementiert wurden, kritisch zu untersuchen. Diese Analyse zielt darauf ab, konkrete Anwendungen von LLMs in verschiedenen Sektoren zu untersuchen und ihren tatsächlichen Wert, ihre Grenzen und ihr Potenzial kritisch zu bewerten.

‍

E-Commerce und Einzelhandel: Gezielte Optimierung oder Overengineering?

Im Einzelhandel und im elektronischen Handel werden LLM für eine Vielzahl von Aufgaben eingesetzt:

• Interne Assistenten und Verbesserung der Arbeitsabläufe: Instacart hat einen KI-Assistenten namens Ava entwickelt, um Teams beim Schreiben, Prüfen und Debuggen von Code zu unterstützen, die Kommunikation zu verbessern und interne Tools zu entwickeln. Obwohl vielversprechend, fragt man sich, ob diese Assistenten wesentlich mehr Wert bieten als herkömmliche und weniger komplexe Tools für die Zusammenarbeit.
• Inhaltsmoderation und Sicherheit: Whatnot nutzt LLM, um die multimodale Inhaltsmoderation, den Betrugsschutz und die Erkennung von Unregelmäßigkeiten in Angeboten zu verbessern. Zillow setzt LLM ein, um diskriminierende Inhalte in Immobilienanzeigen zu erkennen. In diesen Fällen handelt es sich um spezifische Anwendungen, bei denen LLM einen echten Mehrwert bieten kann, die jedoch genaue Verifizierungssysteme erfordern, um falsch positive und negative Ergebnisse zu vermeiden.
• Informationsextraktion und Klassifizierung: OLX hat den Prosus AI Assistant entwickelt, um Jobrollen in Anzeigen zu identifizieren, während Walmart ein System zur Extraktion von Produktattributen aus PDFs entwickelt hat. Diese Fälle zeigen den Nutzen von LLMs bei der Automatisierung sich wiederholender Aufgaben, die andernfalls erhebliche manuelle Arbeit erfordern würden.
• Kreative Inhaltserstellung: StitchFix kombiniert algorithmisch generierten Text mit menschlicher Aufsicht, um die Erstellung von Werbetiteln und Produktbeschreibungen zu vereinfachen. Instacart generiert Bilder von Lebensmittelprodukten. Diese Anwendungen werfen Fragen nach der Originalität der generierten Inhalte und der potenziellen Homogenisierung der Werbesprache auf.
• Verbesserung der Suche: Leboncoin, Mercado Libre und Faire nutzen LLM, um die Suchrelevanz zu verbessern, während Amazon LLM einsetzt, um Beziehungen des gesunden Menschenverstands zu verstehen und relevantere Produktempfehlungen zu geben. Diese Fälle stellen einen Bereich dar, in dem der Mehrwert von LLM potenziell signifikant ist, aber die Berechnungskomplexität und die damit verbundenen Energiekosten rechtfertigen möglicherweise nicht die inkrementelle Verbesserung gegenüber bestehenden Suchalgorithmen.

Fintech und Bankwesen: Navigieren zwischen Wert und regulatorischen Risiken

‍

Im Finanzsektor wird das LLM aufgrund der Sensibilität der Daten und der strengen aufsichtsrechtlichen Anforderungen mit Vorsicht angewendet:

• Klassifizierung und Kennzeichnung von Daten: Grab nutzt LLM für die Datenverwaltung, die Klassifizierung von Entitäten, die Identifizierung sensibler Informationen und die Zuweisung geeigneter Kennzeichnungen. Dieser Anwendungsfall ist besonders interessant, da er eine kritische Herausforderung für Finanzinstitute angeht, aber strenge Kontrollmechanismen erfordert, um Klassifizierungsfehler zu vermeiden.
• Erstellung von Berichten über Finanzkriminalität: SumUp generiert strukturierte Erzählungen für Berichte über Finanzbetrug und Geldwäsche. Diese Anwendung verspricht zwar eine Verringerung des manuellen Arbeitsaufwands, wirft aber Bedenken hinsichtlich der Fähigkeit der LLM auf, rechtlich sensible Themen ohne menschliche Aufsicht ordnungsgemäß zu behandeln.
• Unterstützung bei Finanzfragen: Digits schlägt Abfragen im Zusammenhang mit Bankgeschäften vor. Dieser Anwendungsfall zeigt, wie LLMs Fachkräfte unterstützen können, ohne sie zu ersetzen - ein potenziell nachhaltigerer Ansatz als die vollständige Automatisierung.

Technologie: Automatisierung und Service

‍

Im Technologiesektor werden LLM in großem Umfang zur Verbesserung der internen Arbeitsabläufe und der Benutzerfreundlichkeit eingesetzt:

• Vorfallsmanagement und Sicherheit: Laut security.googleblog.com verwendet Google LLM, um Zusammenfassungen von Sicherheits- und Datenschutzvorfällen für verschiedene Empfänger, darunter Führungskräfte, Manager und Partnerteams, bereitzustellen. Dieser Ansatz spart den Managern Zeit und verbessert die Qualität der Zusammenfassungen von Vorfällen. Microsoft setzt LLM zur Diagnose von Produktionsvorfällen ein, während Meta ein KI-gestütztes System zur Ursachenanalyse entwickelt hat. Incident.io erstellt Zusammenfassungen von Softwarevorfällen. Diese Beispiele zeigen den Wert von LLMs bei der Beschleunigung kritischer Prozesse, werfen aber Fragen über ihre Zuverlässigkeit in kritischen Situationen auf.
• Programmierhilfe: GitHub Copilot bietet Code-Vorschläge und automatische Vervollständigungen, während Replit LLM für die Code-Reparatur entwickelt hat. NVIDIA verwendet LLM, um Software-Schwachstellen zu erkennen. Diese Tools erhöhen die Produktivität von Entwicklern, können aber auch ineffiziente oder unsichere Codemuster verbreiten, wenn sie unkritisch eingesetzt werden.
• Datenabfragen und interne Suche: Honeycomb hilft Nutzern beim Schreiben von Datenabfragen, Pinterest verwandelt Nutzerabfragen in SQL-Abfragen. Diese Fälle zeigen, wie LLM den Zugang zu Daten demokratisieren können, aber auch zu Fehlinterpretationen oder Ineffizienz führen können, wenn kein gründliches Verständnis der zugrunde liegenden Datenstrukturen vorhanden ist.
• Klassifizierung und Verwaltung von Supportanfragen: GoDaddy klassifiziert Supportanfragen, um das Kundenerlebnis zu verbessern. Dropbox fasst Fragen zu Dateien zusammen und beantwortet sie. Diese Fälle zeigen das Potenzial von LLMs zur Verbesserung des Kundendienstes, geben aber Anlass zu Bedenken hinsichtlich der Qualität und Genauigkeit der generierten Antworten.

Lieferungen und Mobilität: Betriebliche Effizienz und Anpassung

‍

Im Liefer- und Mobilitätssektor werden LLM eingesetzt, um die betriebliche Effizienz und das Nutzererlebnis zu verbessern:

• Testen und technischer Support: Uber nutzt LLM zum Testen mobiler Anwendungen mit DragonCrawl und hat Genie, einen KI-Copiloten zur Beantwortung von Supportfragen, entwickelt. Diese Tools können den Zeitaufwand für das Testen und den Support erheblich reduzieren, erfassen aber möglicherweise keine komplexen Probleme oder Randfälle, wie es ein menschlicher Tester tun würde.
• Extrahieren und Abgleichen von Produktinformationen: DoorDash extrahiert Produktdetails aus SKU-Daten und Delivery Hero gleicht seinen Bestand mit den Produkten der Konkurrenz ab. Diese Fälle zeigen, wie LLMs komplexe Datenabgleichsprozesse automatisieren können, aber ohne angemessene Kontrollen zu Verzerrungen oder Fehlinterpretationen führen können.
• Konversationssuche und Relevanz: Picnic verbessert die Suchrelevanz für Produktlisten, während Swiggy eine neuronale Suche implementiert hat, um den Nutzern zu helfen, Lebensmittel auf konversationelle Weise zu entdecken. Diese Fälle veranschaulichen, wie LLM Suchschnittstellen intuitiver machen können, aber auch "Filterblasen" schaffen können, die die Entdeckung neuer Produkte einschränken.
• Automatisierung des Supports: DoorDash hat einen LLM-basierten Support-Chatbot entwickelt, der Informationen aus der Wissensdatenbank abruft, um Antworten zu generieren, mit denen Probleme schnell gelöst werden können. Dieser Ansatz kann die Reaktionszeiten verbessern, erfordert aber robuste Leitplanken für den Umgang mit komplexen oder emotional aufgeladenen Situationen.

Soziales, Medien und B2C: Personalisierte Inhalte und Interaktionen

‍

In den sozialen Medien und bei B2C-Diensten werden LLM eingesetzt, um maßgeschneiderte Inhalte zu erstellen und die Interaktion zu verbessern:

• Inhaltsanalyse und -moderation: Yelp hat sein System zur Inhaltsmoderation mit LLM aktualisiert, um Drohungen, Belästigungen, Obszönitäten, persönliche Angriffe oder Hassreden zu erkennen. LinkedIn analysiert verschiedene Inhalte auf der Plattform, um Informationen über Fähigkeiten zu extrahieren. Diese Fälle zeigen das Potenzial von LLM bei der Verbesserung der Qualität von Inhalten, geben aber Anlass zur Sorge über Zensur und die mögliche Einschränkung der Meinungsfreiheit.
• Erstellung von Bildungsinhalten und Marketing: Duolingo nutzt LLM, um Designern bei der Erstellung relevanter Übungen zu helfen, während Nextdoor LLM einsetzt, um auffällige E-Mail-Objekte zu erstellen. Diese Anwendungen können die Effizienz steigern, aber auch zu einer übermäßigen Standardisierung von Inhalten führen.
• Mehrsprachige Übersetzung und Kommunikation: Roblox nutzt ein maßgeschneidertes mehrsprachiges Modell, um den Benutzern eine nahtlose Kommunikation in ihrer eigenen Sprache zu ermöglichen. Diese Anwendung zeigt das Potenzial von LLM bei der Überwindung von Sprachbarrieren, kann aber kulturelle Nuancen in die Übersetzungen einbringen.
• Interaktion mit Medieninhalten: Vimeo ermöglicht es Nutzern, sich mit Videos über ein RAG-basiertes Frage- und Antwortsystem zu unterhalten, das Videoinhalte zusammenfassen, auf Schlüsselmomente verweisen und zusätzliche Fragen vorschlagen kann. Diese Anwendung zeigt, wie LLM die Art und Weise, wie wir mit Multimediainhalten interagieren, verändern kann, wirft aber Fragen über die Genauigkeit der generierten Interpretationen auf.

Kritische Bewertung: Realer Wert vs. dem Trend folgen

Chitra Sundaram, Leiterin des Bereichs Datenmanagement bei Cleartelligence, Inc. weist darauf hin: "LLMs sind Ressourcenfresser. Das Trainieren und Ausführen dieser Modelle erfordert eine enorme Rechenleistung, was zu einem erheblichen CO2-Fußabdruck führt. Bei einer nachhaltigen IT geht es um die Optimierung der Ressourcennutzung, die Minimierung von Verschwendung und die Wahl der richtigen Größe der Lösung". Diese Beobachtung ist besonders relevant, wenn man die vorgestellten Anwendungsfälle analysiert.

‍

Aus der Analyse dieser Anwendungsfälle ergeben sich mehrere kritische Überlegungen:

1. Inkrementeller Wert vs. Komplexität

‍

Viele Anwendungen von LLMs bieten inkrementelle Verbesserungen gegenüber bestehenden Lösungen, allerdings mit deutlich höheren Rechen-, Energie- und Implementierungskosten. Wie Chitra Sundaram feststellt, ist die Verwendung eines LLM zur Berechnung eines einfachen Durchschnittswerts so, als würde man eine Bazooka verwenden, um eine Fliege zu treffen" (paste-2.txt). Es ist von entscheidender Bedeutung zu beurteilen, ob der Mehrwert diese Komplexität rechtfertigt, insbesondere wenn man bedenkt:

• Der Bedarf an robusten Überwachungssystemen
• Energiekosten und Umweltauswirkungen
• Die Komplexität der Wartung und Aktualisierung
• Anforderungen an die Fachkenntnisse

2. Abhängigkeit von menschlicher Aufsicht

‍

Die meisten erfolgreichen Anwendungsfälle verfolgen einen "Human-in-the-Loop"-Ansatz, bei dem die LLM den Menschen eher unterstützen als ihn vollständig ersetzen. Dies legt nahe, dass:

• Vollständige Automatisierung über LLM bleibt problematisch
• Der Hauptwert liegt in der Verbesserung der menschlichen Fähigkeiten, nicht in deren Ersatz
• Die Effektivität hängt von der Qualität der Mensch-Maschine-Interaktion ab

3. Bereichsspezifität vs. allgemeine Anwendungen

‍

Die überzeugendsten Anwendungsfälle sind diejenigen, in denen LLMs für bestimmte Bereiche angepasst und optimiert wurden, mit eingebettetem Fachwissen:

• Feinabstimmung auf branchenspezifische Daten
• Integration mit bestehenden Systemen und Wissensquellen
• Leitplanken und kontextspezifische Beschränkungen

4. Integration mit bestehenden Technologien

In den wirksamsten Fällen wird das LLM nicht isoliert eingesetzt, sondern durch zusätzliche Maßnahmen ergänzt:

• Datenrettungs- und Archivierungssysteme (RAG)
• Spezialisierte Algorithmen und bestehende Arbeitsabläufe
• Überprüfungs- und Kontrollmechanismen

Wie im Anwendungsfall von Google hervorgehoben wird, ermöglicht die Integration von LLMs in die Arbeitsabläufe bei Sicherheits- und Datenschutzvorfällen eine "beschleunigte Reaktion auf Vorfälle unter Verwendung generativer KI", wobei die generierten Zusammenfassungen auf verschiedene Zielgruppen zugeschnitten werden, um sicherzustellen, dass relevante Informationen die richtigen Personen in einem möglichst nützlichen Format erreichen.

‍

Schlussfolgerung: Ein pragmatischer Ansatz für LLMs

Chitra Sundaram bietet eine aufschlussreiche Perspektive, wenn er sagt: "Auf dem Weg zu einer nachhaltigen Analyse geht es darum, das richtige Werkzeug für die Aufgabe zu wählen und nicht nur dem neuesten Trend hinterherzulaufen. Es geht darum, in qualifizierte Analytiker und eine solide Datenverwaltung zu investieren. Es geht darum, Nachhaltigkeit zu einer Hauptpriorität zu machen".

‍

Die Analyse dieser realen Anwendungsfälle bestätigt, dass LLM keine Wunderlösung sind, sondern leistungsfähige Instrumente, die bei strategischer Anwendung auf spezifische Probleme einen erheblichen Wert bieten können. Organisationen sollten:

1. Identifizierung spezifischer Probleme, bei denen die Verarbeitung natürlicher Sprache einen wesentlichen Vorteil gegenüber herkömmlichen Ansätzen bietet
2. Beginnen Sie mit Pilotprojekten, die den Wert schnell und messbar nachweisen können.
3. Integration des LLM in bestehende Systeme, anstatt die Arbeitsabläufe vollständig zu ersetzen
4. Beibehaltung von Mechanismen zur menschlichen Überwachung, insbesondere bei kritischen Anwendungen
5. Systematische Bewertung des Kosten-Nutzen-Verhältnisses, wobei nicht nur Leistungsverbesserungen, sondern auch Energie-, Wartungs- und Modernisierungskosten berücksichtigt werden

Die Unternehmen, die im Zeitalter der LLMs florieren, sind nicht unbedingt diejenigen, die sie am weitesten verbreiten, sondern diejenigen, die sie am strategischsten einsetzen, indem sie ein Gleichgewicht zwischen Innovation und Pragmatismus herstellen und ein kritisches Auge auf den tatsächlichen Wert haben, der jenseits des Hypes entsteht.

‍