Data Science. Michael Zimmer
Чтение книги онлайн.
Читать онлайн книгу Data Science - Michael Zimmer страница 24
Zum Beispiel kann das Ziel eines Autokaufs die räumliche Unabhängigkeit sein. Wie gut dieses Ziel durch den Kauf erreicht wird, ist sehr schwer zu messen. Während die Weiterleitung eines Links an einen Freund nur wenig über diese Zielerreichung aussagt, kann es doch ein Etappenziel darstellen, das vermuten lässt, dass ein bestimmtes Auto in die nähere Auswahl einbezogen wurde.
4.4.4Die Erwartung an die Güte des Modells bestimmen
Maschinelle Lernverfahren machen in der Regel Vorhersagen, die nicht in allen Fällen richtig sind. Da unterscheiden sie sich nicht von Menschen. Im Falle einer Klassifikationsaufgabe kann die Güte eines Modells beispielsweise durch die F-Measure, also die Kombination aus Precision und Recall, angegeben werden [Baeza-Yates & Ribeiro-Neto 1999]. Abhängig vom Einsatzgebiet des Datenprodukts ist es entscheidend, zu verstehen, welche Eigenschaft dem Nutzer besonders wichtig ist. Möchte er z.B. einen höheren Recall, soll also eine Klassifikation für möglichst viele Fälle angeben werden, bei entsprechender Verminderung der Precision oder sollen die Vorhersagen eher richtig sein und im Zweifelsfall nicht angezeigt werden. Damit dies richtig eingeschätzt werden kann, ist es wichtig, zu verstehen, was im schlimmsten Fall bei einem Fehler des Algorithmus passieren kann. Im Zweifelsfall müssen Fehlerquellen auch manuell während der Entwicklung abgefangen werden.
Bei Urlaubsbildern wird man es entschuldigen können, wenn ein Kuchen als Sonnenuntergang klassifiziert wird. Wenn die IBAN auf einer Überweisung erkannt werden soll, hilft eine unscharfe Erkennung nicht, weil dann doch alle erkannten Ziffern überprüft werden müssten.
Aus der Robotik ist das Konzept des Uncanny Valley bekannt [Mori 1970]. Die Sympathie, die einer Maschine entgegengebracht wird, steigt zunächst mit ihrer Ähnlichkeit zu menschlichem Verhalten/Aussehen. Sobald die Ähnlichkeit aber einen bestimmten Grad erreicht hat, fällt sie signifikant, bis eine absolute Übereinstimmung mit menschlichem Verhalten erreicht wurde. Etwas Ähnliches kann man sich bei der Güte von Algorithmen vorstellen. Ein Algorithmus, von dem man weiß, dass er eine gute Vorhersage liefert, ist eine gute Informationsquelle, aber der Nutzer weiß auch, dass er sich nicht zu 100% darauf verlassen kann, und denkt entsprechend selber nach. Bei einer sehr guten Vorhersage geht die Anzahl der Änderungen so stark zurück, dass der Mensch sich zu sehr auf den Algorithmus verlässt. Wie die tragischen Beispiele von Tesla zeigen, auch mit tödlichem Ausgang.
Im Rahmen der Konzeption des Datenprodukts müssen daher die Präferenzen der Nutzer bezüglich der Güte des Modells herausgefunden werden und auch die Konsequenzen aus einer zu guten Vorhersage abgewogen werden.
4.4.5Mit dem Datenprodukt beginnen
Die bisher beschriebenen Schritte dienten dazu, Hypothesen bezüglich relevanter Wertversprechen und Ziele des Nutzers zu formulieren. Diese gilt es nun zu überprüfen. Entsprechend dem Lean-Startup-Vorgehensmodell sollten diese Hypothesen schrittweise validiert werden.
Im ersten Schritt gilt es daher, herauszufinden, wie der Nutzer das definierte Problem aktuell löst, welche Entscheidungsoptionen er hat und welche Unsicherheiten damit verbunden sind. Darauf aufbauend kann ein sehr einfacher Algorithmus verwendet werden, der beispielsweise sehr wenige Datenquellen nutzt, um die aktuelle Vorgehensweise zur Problemlösung leicht zu verbessern. Es ist entscheidend, dass man zu Beginn der Entwicklung nicht die ausgefallensten Algorithmen einsetzt oder gar versucht, alle möglichen Datenquellen einzubeziehen. Dies ist in der Regel sehr aufwendig. Am Anfang muss man mit wenig Aufwand herausfinden, ob ein Kunde von einem Informationsangebot überhaupt profitiert. Außerdem dient der einfache Algorithmus oder eine Heuristik als Basis, um später die Verbesserungen durch andere Algorithmen nachweisen zu können.
Zum Beispiel wurden die ersten Empfehlungen auf bekannten E-Commerce-Portalen zunächst nicht aufwendig berechnet, sondern sie bestanden aus einer zufälligen Auswahl von Produkten aus dem Produktkatalog. Das Ziel dieser Implementierung war einzig und alleine, herauszufinden, ob Kunden überhaupt etwas mit einer Produktempfehlung anfangen können und ob diese zu höheren Verkäufen führt [Linden et al. 2003].
4.4.6Kontinuierliche Verbesserung mit der Datenwertschöpfungskette
Wenn man herausgefunden hat, auf welche Art man ein Datenprodukt dem Nutzer anbieten kann, geht es im nächsten Schritt darum, die Vorhersagegüte kontinuierlich zu verbessern. Dies kann gelingen, indem andere Algorithmen zum Einsatz kommen und/oder mehr Datenquellen benutzt werden. Teilweise wird man auch Situationen/Fälle identifizieren, die auch durch eine Verbesserung des Algorithmus nicht zum richtigen Ergebnis führen. Diese Fälle gilt es zu bewerten und im Zweifelsfall manuell zu behandeln. Weiterhin kann davon ausgegangen werden, dass die Nutzung der ersten Version des Datenprodukts weitere klassifizierte Daten generiert, die für Trainingszwecke zur Algorithmenoptimierung genutzt werden können.
Damit man alle Daten, die innerhalb der Customer Journey anfallen bzw. anfallen könnten, betrachtet, können die Datenflüsse mithilfe der Datenwertschöpfungskette4 analysiert werden (vgl. Abb. 4–4). Diese beschreibt den Fluss der Daten von deren Entstehung bis zur Nutzung. Die Datenwertschöpfungskette sollte für alle Datenobjekte betrachtet werden. Nicht immer werden zum Beispiel alle Schritte für Stamm- und Transaktionsdaten gleichermaßen gut unterstützt. Insbesondere der Rückfluss wird oft vergessen, d.h., es wird nicht protokolliert, wie der Nutzer mit den Daten interagiert. Eine typische Datenwertschöpfungskette enthält die Schritte, die der folgenden Abbildung zu entnehmen sind:
Abb. 4–4 Abdeckung der Datenwertschöpfung bewerten
4.4.7Skalierung und Alleinstellungsmerkmal
In dieser Phase der Entwicklung eines Datenprodukts ist geklärt, welches Wertversprechen das Datenprodukt erfüllt, wie dies gemessen werden kann und welche Datenquellen zur Verfügung stehen, um den Algorithmus zu verbessern. Oft sind zu diesem Zeitpunkt die Methoden des A/B-Tests bereits implementiert und können genutzt werden. Nun gilt es, das Produkt so zu gestalten, dass die Nutzung des Produkts selbst zur kontinuierlichen Verbesserung des Produkts führt. Das Design der Feedbackschleife wird damit zum kritischen Erfolgsfaktor.
4.5Kritischer Erfolgsfaktor Feedbackschleife
Ein zentrales Element der Kybernetik ist die Rückkopplung oder Feedbackschleife. Gerade wenn Daten im Zentrum des Wertversprechens liegen, kommt der Feedbackschleife aus zwei Gründen eine besondere Bedeutung zu. Einerseits kann die Feedbackschleife dazu genutzt werden, das Produkt zu verbessern. Andererseits ermöglicht die Feedbackschleife, Daten zu generieren, die die Basis des Produkt-Alleinstellungsmerkmals werden.
Die Google-Suchergebnisse sollen als Beispiel verdeutlichen, wie die Feedbackschleife zur Verbesserung des Produkts beiträgt. Google hat einen Algorithmus, der auch ohne Nutzer tolle Ergebnisse auf die vorderen Ränge bringt. Einzigartig wird er aber durch die Integration der Nutzer-Interaktionen.