Digitales Töten

Auch die NSA betreibt Machine Learning. Und Fehler können dann tödlich sein. Welche Fehler die NSA dabei macht, ist dank Edward Snowden an die Öffentlichkeit geraten und wurde von Patrick Ball, einem Data Scientist und Gründer der Human Rights Data Analysis Group, schön analysiert. Um es kurz zu fassen - das Problem ist die Ground Truth, d.h. für Supervised Learning benötigt man Trainingsdaten mit echten Terroristen. Von denen gibt es aber nicht so viele. Und die beantworten auch keine Meinungsumfragen. Anscheinend wurden einige der Algorithmen zur Massenüberwachung von Telekommunikationsdaten mit 7! “Terroristen” trainiert. Das Ergebnis nennt Ball bullshit. Der Fehler ist ähnlich dem Fehler, der vielen Ärzte bei diagnostischen Tests unterläuft, die Krankheiten aufspüren sollen, die in der Population selten vorkommen. Da führen dann auch rel. geringe Fehlerraten bei den Test zu vielen falsch positiven Ergebnissen. Der Unterschied ist, dass in dem Fall nur ein Patient beunruhigt wird (bis ein anderer Test Entwarnung gibt), infolge von Fehlentscheidungen der NSA können aber dann schon mal Menschen durch Drohnen sterben (allein in Pakistan 2500 ~ 4000 in den letzten 11 Jahren). Ein weiteres Argument für unser Curriculum im High Integrity System Master (Current Topics: Machine Learning).

Update: Auch der Stern berichtet inzwischen.