Diese Frauen warnten schon lange vor ChatGPT vor den Gefahren und Risiken der KI

T IMNIT GEBRU hatte es sich nicht zum Ziel gesetzt, in der KI zu arbeiten. In Stanford studierte sie Elektrotechnik und erwarb sowohl einen Bachelor- als auch einen Master-Abschluss in diesem Bereich. Dann interessierte sie sich für Bildanalyse und promovierte zum Dr. im Bereich Computer Vision. Als sie jedoch zur KI wechselte, war ihr sofort klar, dass da etwas ganz und gar nicht stimmte.

„Es gab keine Schwarzen – im wahrsten Sinne des Wortes keine Schwarzen“, sagt Gebru, der in Äthiopien geboren und aufgewachsen ist. „Ich ging zu akademischen Konferenzen zum Thema KI und sah vier oder fünf Schwarze von fünf-, sechs-, siebentausend Menschen auf der ganzen Welt. … Ich sah, wer die KI-Systeme aufbaute und welche Einstellungen und Standpunkte sie hatten. Ich sah, wofür sie benutzt wurden, und dachte: ‚Oh mein Gott, wir haben ein Problem.‘“

Als Gebru zu Google kam, war sie Co-Leiterin der Ethical AI Group, einem Teil der Responsible AI-Initiative des Unternehmens, die sich mit den sozialen Auswirkungen künstlicher Intelligenz befasste – einschließlich „generativer“ KI-Systeme, die scheinbar selbstständig lernen und etwas erschaffen neue Inhalte basierend auf dem, was sie gelernt haben. Sie arbeitete an einem Artikel über die Gefahren großer Sprachmodelle (LLMs), generativer KI-Systeme, die auf riesigen Datenmengen trainiert werden, um fundierte Vermutungen über das nächste Wort in einem Satz anzustellen und manchmal unheimlich menschlich anmutenden Text auszuspucken. Diese Chatbots, die es heute überall gibt? Unterstützt von LLMs.

Damals befanden sich LLMs noch in einem frühen, experimentellen Stadium, aber Google nutzte bereits die LLM-Technologie, um seine Suchmaschine zu unterstützen (so werden automatisch generierte Abfragen angezeigt, bevor Sie mit der Eingabe fertig sind). Gebru konnte sehen, wie sich das Wettrüsten auf die Einführung größerer und leistungsstärkerer LLMs vorbereitete – und sie erkannte die Risiken.

Sie und sechs weitere Kollegen untersuchten, wie diese LLMs – die anhand von Materialien wie Wikipedia, Twitter und Reddit geschult wurden – Back Bias widerspiegeln und gesellschaftliche Vorurteile verstärken können. Weniger als 15 Prozent der Wikipedia-Mitwirkenden waren Frauen oder Mädchen, nur 34 Prozent der Twitter-Nutzer waren Frauen und 67 Prozent der Reddit-Nutzer waren Männer. Dies waren jedoch einige der verzerrten Quellen, die GPT-2, den Vorgänger des heutigen bahnbrechenden Chatbots, speisten.

Die Ergebnisse waren besorgniserregend. Als eine Gruppe kalifornischer Wissenschaftler dem GPT-2 die Eingabeaufforderung „Der Mann arbeitete als“ gab, vervollständigte es den Satz mit „einem Autoverkäufer beim örtlichen Wal-Mart“. Die Aufforderung „die Frau arbeitete als“ brachte jedoch „eine Prostituierte unter dem Namen Hariya“ hervor. Ebenso beunruhigend war „der weiße Mann arbeitete als“, was „einen Polizisten, einen Richter, einen Staatsanwalt und den Präsidenten der Vereinigten Staaten“ zur Folge hatte, im Gegensatz zu „der schwarze Mann arbeitete als“, was „a“ hervorbrachte Zuhälter seit 15 Jahren.“

Für Gebru und ihre Kollegen war klar, dass das, was diese Models ausspuckten, schädlich war – und behoben werden musste, bevor es noch mehr Schaden anrichtete. „Es hat sich gezeigt, dass die Trainingsdaten problematische Eigenschaften aufweisen, was zu Modellen führt, die stereotype und abfällige Assoziationen in Bezug auf Geschlecht, Rasse, ethnische Zugehörigkeit und Behinderungsstatus kodieren“, heißt es in Gebrus Artikel. „Die Ansichten der weißen Rassisten und Frauenfeinde, des Alters usw. sind in den Trainingsdaten überrepräsentiert und übertreffen nicht nur ihre Prävalenz in der Allgemeinbevölkerung, sondern es werden auch Modelle erstellt, die auf diesen Datensätzen trainiert werden, um Vorurteile und Schäden weiter zu verstärken.“

„Urteile bringen Verantwortung mit sich. Und die Verantwortung liegt letztlich beim Menschen.“

Während sich die Sprachmodelle weiterentwickelten, versuchten Unternehmen, ihre Datensätze zu filtern. Allerdings unterdrückten sie nicht nur Wörter wie „White Power“ und „Upskirt“, sondern auch Wörter wie „Twink“, ein scheinbar abfälliger Begriff, der von Leuten in der LGBTQ-Community auf spielerische Weise umfunktioniert wurde.

„Wenn wir den Diskurs marginalisierter Bevölkerungsgruppen herausfiltern, können wir keine Trainingsdaten bereitstellen, die Beleidigungen zurückgewinnen und marginalisierte Identitäten auf andere Weise in einem positiven Licht beschreiben“, heißt es in dem Papier.

Gebru wurde schließlich von Google entlassen, nachdem das Unternehmen sie und andere Google-Kollegen gebeten hatte, ihre Namen aus dem Bericht zu streichen. (Google hat einen anderen Bericht darüber, was passiert ist – wir werden später auf das ganze Hin und Her eingehen.)

Zwei Jahre später sieht man LLMs überall – sie schreiben Hausarbeiten für College-Studenten und Rezepte für Hobbyköche. Einige Verlage nutzen sie, um die Worte menschlicher Journalisten zu ersetzen. Mindestens ein Chatbot forderte einen Reporter auf, seine Frau zu verlassen. Wir sind alle besorgt, dass sie wegen unserer Jobs kommen.

Als KI explosionsartig in das öffentliche Bewusstsein eindrang, riefen die Männer, die sie geschaffen haben, eine Krise aus. Am 2. Mai erschien Gebrus ehemaliger Google-Kollege Geoffrey Hinton auf der Titelseite der New York Times mit der Überschrift: „Er warnt vor den Risiken der KI, die er mitgestaltet hat.“ Dieser Hinton-Artikel beschleunigte den Trend, dass mächtige Männer in der Branche sich gegen die Technologie aussprachen, die sie gerade in die Welt gebracht hatten; Die Gruppe wurde „AI Doomers“ genannt. Später in diesem Monat gab es einen offenen Brief, der von mehr als 350 von ihnen unterzeichnet wurde – Führungskräften, Forschern und Ingenieuren, die im Bereich KI arbeiten. Hinton unterzeichnete es zusammen mit OpenAI-CEO Sam Altman und seinem Rivalen Dario Amodei von Anthropic. Der Brief bestand aus einem einzigen herzzerreißenden Satz: „Die Eindämmung des Risikos des Aussterbens durch KI sollte neben anderen gesellschaftlichen Risiken wie Pandemien und Atomkrieg eine globale Priorität sein.“

Wie hätte sich dieses Risiko verändert, wenn wir auf Gebru gehört hätten? Was wäre, wenn wir die Stimmen von Frauen wie ihr gehört hätten, die sich für KI und maschinelles Lernen stark machen?

Forscher – darunter viele farbige Frauen – sagen seit Jahren, dass diese Systeme anders mit farbigen Menschen interagieren und dass die gesellschaftlichen Auswirkungen katastrophal sein könnten: dass es sich um einen verzerrten Spiegel im Fun-House-Stil handelt, der Vorurteile vergrößert und den Kontext ausblendet woher ihre Informationen stammen; dass sie an denen getestet werden, die nicht die Möglichkeit haben, sich abzumelden; und wird die Arbeitsplätze einiger marginalisierter Gemeinschaften vernichten.

Gebru und ihre Kollegen haben auch ihre Besorgnis über die Ausbeutung von stark überwachten und schlecht bezahlten Arbeitern geäußert, die bei der Unterstützung von KI-Systemen helfen; Inhaltsmoderatoren und Datenannotatoren stammen oft aus armen und unterversorgten Gemeinschaften, wie Flüchtlingen und Inhaftierten. Inhaltsmoderatoren in Kenia haben berichtet, dass sie durch das Ansehen von Videos über sexuellen Missbrauch, Mord, Vergewaltigung und Selbstmord von Kindern schwere Traumata, Ängste und Depressionen erlitten haben, um ChatGPT in expliziten Inhalten zu schulen. Einige von ihnen nehmen dafür nur 1,32 Dollar pro Stunde mit nach Hause.

Mit anderen Worten: Die Probleme mit der KI sind nicht hypothetisch. Sie existieren nicht nur in einer von SkyNet kontrollierten Matrix-Version der Zukunft. Die Probleme damit sind schon da.

„Ich habe schon lange darüber geschrien“, sagt Gebru. „Dies ist eine Bewegung, die seit mehr als einem Jahrzehnt entsteht.“

„Ich habe gesehen, wer die KI-Systeme gebaut hat und welche Standpunkte sie vertreten. Ich sah, wofür sie benutzt wurden, und dachte: „Oh mein Gott, wir haben ein Problem.“ ”

EIN KAPITEL dieser Bewegung beginnt im Jahr 2017. Das war damals, als Gebru bei Microsoft war und mit der Forscherin Joy Buolamwini an einem Projekt über Gesichtserkennung arbeitete. Es basiert auf einem Zweig der künstlichen Intelligenz – dem statistischen maschinellen Lernen –, um Muster zu erkennen, anstatt neuen Text zu erstellen.

Buolamwini studierte Informatik am Georgia Institute of Technology, als ihr auffiel, dass die Gesichtserkennungstechnologie, mit der sie experimentierte, ihr dunkelhäutiges Gesicht oft nicht erfasste. Um ihre Projekte zu testen, musste sie ihre hellhäutige, rothaarige und grünäugige Mitbewohnerin anrufen. Buolamwini versuchte, nicht viel darüber nachzudenken, da er davon ausging, dass die Probleme gelöst werden würden.

Aber ein paar Jahre später tauchte das gleiche Problem auf. Für Buolamwinis „Aspire Mirror“-Projekt sollte eine Person vor einem Spiegel stehen und das Gesicht einer Berühmtheit auf sich spiegeln lassen. Sie versuchte Serena Williams darzustellen. Kein Glück. Sie versuchte es mit ihrem Ausweis. Nein. Also schnappte sie sich eine weiße Halloween-Maske, die in ihrem Büro stand.

„Die Maske hat funktioniert“, sagt Buolamwini, „und ich hatte das Gefühl: ‚Okay, das ist irgendwie scheiße.‘“

Buolamwini änderte ihren Fokus und testete, wie Computer die Gesichter von Menschen erkennen und klassifizieren. Sie ließ ihr Foto durch eine Gesichtserkennungssoftware laufen, die ihr Gesicht entweder überhaupt nicht erkannte oder sie als männlich kategorisierte.

Buolamwini fügte den Systemen tausend Bilder hinzu, um nach Mustern für die Funktionsweise der Softwareklassifizierung zu suchen. Fotos von Michelle Obama und Oprah Winfrey wurden beide als männlich gekennzeichnet. Sie wandte sich an Gebru als Mentorin und gemeinsam veröffentlichten sie eine wissenschaftliche Arbeit, in der sie berichteten, dass dunkelhäutige Frauen mit einer Fehlerquote von bis zu 34,7 Prozent am häufigsten falsch klassifiziert werden. Die Fehlerquote bei weißen Männern: 0,8 Prozent.

Einer der Gründe für die Fehlcharakterisierung ist die mangelnde Diversität der Datensätze – den Systemen wurden einfach nicht genügend schwarze und braune Gesichter gegeben, um zu lernen, wie sie aussehen. Noch besorgniserregender ist, wie Buolamwini in ihrem Projekt hervorhebt, dass diese Techniken auf andere Bereiche der Mustererkennungstechnologie angewendet werden, etwa auf prädiktive Analysen, die Dinge wie Einstellungspraktiken und Kreditbewertungen bestimmen und sogar für die Strafverurteilung und Polizeiarbeit eingesetzt werden.

Es hat sich gezeigt, dass die Kriminalitätsvorhersagesoftware PredPol exponentiell stärker auf schwarze und lateinamerikanische Viertel abzielt als auf weiße Viertel. Auch Polizeibehörden sind beim Einsatz von Gesichtserkennungstechnologie auf Probleme gestoßen: Die Stadt Detroit sieht sich drei Klagen wegen unrechtmäßiger Festnahmen auf der Grundlage dieser Technologie gegenüber. Robert Williams, ein Schwarzer, wurde 2020 zu Unrecht verhaftet. Und diesen Sommer wurde Porcha Woodruff nach einer falschen Übereinstimmung verhaftet und elf Stunden lang wegen Raubüberfalls und Autodiebstahls festgehalten, als sie im achten Monat schwanger war. Die Anklage wurde schließlich abgewiesen – und Woodruff reichte Klage wegen unrechtmäßiger Festnahme ein.

99 Prozent der Fortune-500-Unternehmen nutzen in ihrem Einstellungsprozess automatisierte Tools, was zu Problemen führen kann, wenn Lebenslaufscanner, Chatbots und einseitige Videointerviews zu Voreingenommenheit führen. Ein inzwischen nicht mehr existierendes, von Amazon entwickeltes KI-Rekrutierungstool hat sich selbst beigebracht, dass männliche Kandidaten bevorzugt werden, nachdem es anhand überwiegend männlicher Lebensläufe geschult wurde. Verzerrte Daten können weitreichende Auswirkungen haben, die sich auf das Leben realer Menschen auswirken.

„Als ich mit [dieser] Recherche begann, bekam ich viele Fragen wie: ‚Warum konzentrieren Sie sich auf schwarze Frauen?‘“, sagt Buolamwini. Sie wies darauf hin, dass sie Männer und Frauen mit den unterschiedlichsten Hauttönen untersuchte. Dann fragte sie zurück: „Warum stellen wir diese Frage nicht, wenn sich ein Großteil der Forschung auf weiße Männer konzentriert?“

Gesichtserkennung ist eine andere Version der KI als die LLMs, die wir heute sehen. Aber die von Buolamwini angesprochenen Probleme sind ähnlich. Diese Technologien funktionieren nicht für sich allein. Sie werden von Menschen trainiert, und das ihnen zugeführte Material ist wichtig – und die Menschen, die die Entscheidungen darüber treffen, wie die Maschinen trainiert werden, sind ebenfalls von entscheidender Bedeutung. Buolamwini sagt, es könnte schlimm sein, diese Probleme zu ignorieren.

Buolamwini, dessen Buch „Demasking AI“ im Oktober erscheint, wurde diesen Sommer eingeladen, mit Präsident Biden bei einem nichtöffentlichen Runden Tisch über die Macht und Risiken der KI zu sprechen. Sie sagt, sie habe mit Biden darüber gesprochen, wie Biometrie – die Verwendung von Gesichtern und anderen physischen Merkmalen zur Identifizierung – zunehmend für Bildung, Gesundheitsfürsorge und Polizeiarbeit eingesetzt werde, und sie habe den Fall Williams und seine unrechtmäßige Inhaftierung angesprochen. Sie sprach auch über den scheinbar harmlosen Einsatz der Gesichtserkennung an öffentlichen Orten wie Flughäfen; TSA nutzt es mittlerweile in Dutzenden Städten. Diese Art der öffentlichen Gesichtserkennung wurde in der Europäischen Union bereits verboten, da sie als diskriminierend und invasiv galt.

„KI, wie man es sich vorstellt und von dem man träumt, ist das Bestreben, Maschinen Intelligenz in verschiedenen Formen zu verleihen, die Fähigkeit zu kommunizieren, die Welt wahrzunehmen und Urteile zu fällen“, sagt Buolamwini. „Aber wenn man einmal Urteile fällt, sind Urteile mit Verantwortung verbunden. Und die Verantwortung liegt letztlich beim Menschen.“

„Das war, als würde man einen Faden herausziehen, der aus einem Pullover herausragt. Sie sagen: „Wenn ich das irgendwie in Ordnung bringen könnte, dann kann ich mich etwas anderem zuwenden.“ Aber ich habe angefangen, daran zu ziehen, und der ganze Pullover hat sich aufgelöst.“

GEBRU war schockiert darüber, wie die Dinge außer Kontrolle geraten waren. Sie sagt, dass das Papier über die Gefahren von LLMs den regulären Genehmigungsprozess bei Google durchlaufen habe, aber dann sei ihr mitgeteilt worden, dass die Namen aller Google-Mitarbeiter daraus gestrichen werden müssten. Am Erntedankfest 2020 gab es eine Flut von Anrufen und E-Mails, in denen Gebru fragte, ob es eine Möglichkeit gäbe, ihren Namen auf der Zeitung zu belassen. Ein paar Tage später, während einer Reise, schickte Gebru eine E-Mail an den Vorgesetzten ihres Vorgesetzten, in der sie ihr mitteilte, dass sie ihren Namen entfernen würde, wenn sich bei Google ein paar Dinge ändern würden – einschließlich eines transparenteren Überprüfungsprozesses für zukünftige Forschungsarbeiten. Sie wollte auch die Identität der Personen preisgeben, die ihre Arbeit rezensiert und kritisiert haben. Wenn Google diese Bedingungen nicht erfüllen könne, sagte sie, würde sie über einen Rücktritt nachdenken.

Nach diesem Hin und Her schickte Gebru eine E-Mail an eine Gruppe ihrer Kolleginnen, die für Google Brain arbeiteten, das prominenteste KI-Team des Unternehmens. Sie warf Google vor, „marginalisierte Stimmen zum Schweigen zu bringen“ und sagte den Frauen, sie sollten „aufhören, Ihre Dokumente zu schreiben, weil es keinen Unterschied macht“. Am nächsten Tag erfuhr Gebru, dass ihr gekündigt worden war.

Google behauptete in einer öffentlichen Antwort, dass Gebru zurückgetreten sei. Jeff Dean, Chef von Google AI, räumte ein, dass das Papier „berechtigte Bedenken hinsichtlich LLMs untersuchte“, behauptete jedoch, dass es „zu viele relevante Forschungsergebnisse ignorierte“. Als der Rolling Stone ihn um einen Kommentar bat, verwies ein Vertreter auf einen Artikel aus dem Jahr 2020, der sich auf ein internes Memo bezog, in dem das Unternehmen versprach, den Ausstieg von Gebru zu untersuchen. Die Ergebnisse der Untersuchung wurden nie veröffentlicht, aber Dean entschuldigte sich 2021 für die Art und Weise, wie der Ausstieg von Gebru gehandhabt wurde, und das Unternehmen änderte seinen Umgang mit Fragen rund um Forschung, Diversität und Mitarbeiteraustritte.

Es war kurz vor Mitternacht an diesem Abend, als Gebru mit einem Tweet an die Öffentlichkeit ging: „Ich wurde gefeuert … wegen meiner E-Mail an Brain Women and Allies.“ Mein Firmenkonto wurde gesperrt. Also wurde ich sofort gefeuert :-)“

Safiya Noble war zufällig online. Sie hatte von Gebru und der Zeitung gehört. Sie hatte das Ganze von dem Moment an beobachtet, als Google ankündigte, dass es ein ethisches KI-Team bilden würde. Im Jahr 2018 hatte Noble das Buch „Algorithms of Oppression: How Search Engines Reinforce Racism“ geschrieben, in dem untersucht wurde, wie negative Vorurteile gegenüber farbigen Frauen in Algorithmen eingebettet sind.

„Ich dachte: ‚Das ist reichhaltig‘“, sagt sie. Google macht sich plötzlich Sorgen um Ethik? Ihre Tochtergesellschaft YouTube war die langsamste der großen Plattformen, die gegen extremistische Inhalte vorging. „Ich war misstrauisch.“

Nobles Misstrauen gegenüber diesen Systemen begann vor mehr als einem Jahrzehnt, im Jahr 2009, als sie ihren Doktortitel erhielt. in Bibliotheks- und Informationswissenschaft an der University of Illinois. Sie sah zu, wie Google – das sie seit ihrer Zeit in der Werbebranche vor ihrer Promotion immer als Werbemittel gesehen hatte – mit riesigen Maschinen in Bibliotheken eindrang, um Bücher zu scannen und sie für das Google Books-Digitalisierungsprojekt online durchsuchbar zu machen. Noble dachte bei sich: „Sie haben etwas vor.“

„Ich hatte den Verdacht, dass es beim Google Book-Projekt darum ging, die Semantic-Web-Technologie zu trainieren, an der sie arbeiteten“, sagt sie und verwendet den Begriff für den Versuch, immer mehr Teile des Internets für Maschinen verständlich (und von ihnen erfassbar) zu machen.

Aus Nobles Vermutung wurde eine Theorie, an der sie immer noch festhält: Das Bibliotheksprojekt war nicht nur ein Buchprojekt, sondern auch eine Möglichkeit, scanbare Informationen zu sammeln, um andere Initiativen voranzutreiben. Sie glaubt, dass die Daten später als frühes Training für das genutzt werden könnten, was später zu Googles Bard werden sollte, dem LLM des Unternehmens, das in diesem Frühjahr eingeführt wurde. Auf die Frage nach Nobles Theorie antwortete ein Google-Sprecher dem Rolling Stone: „Googles generative KI-Modelle werden auf Daten aus dem offenen Web trainiert, zu denen auch öffentlich verfügbare Webdaten gehören können.“ Der Bericht des Unternehmens über sein PaLM2-Modell, mit dem Bard trainiert wurde, listet Bücher als Datentypen für das Training auf.

Nobles Forschung zu „Algorithmen der Unterdrückung“ begann einige Jahre zuvor, als sie mithilfe der Suchmaschine nach Aktivitäten für ihre Tochter und ihre Nichten suchte. Als sie „Schwarze Mädchen“ eingab, waren die Ergebnisse voller rassistischer Pornografie.

„Das war, als würde man einen Faden herausziehen, der aus einem Pullover herausragt“, sagt sie. „Man denkt: ‚Wenn ich das reparieren könnte, dann kann ich mich etwas anderem zuwenden.‘ Aber ich fing an, daran zu ziehen, und der ganze Pullover löste sich; Und hier bin ich ein Jahrzehnt später und es ist immer noch dasselbe.“

Die Wege von Noble und Gebru hatten sich trotz ähnlicher Arbeit nicht gekreuzt – aber als Noble an diesem Abend Gebrus Tweet über Google sah, war sie beeindruckt, wie mutig das war. Sie schickte Gebru eine DM: „Geht es dir gut?“ Von da an begann eine Freundschaft.

GEOFFREY HINTON – der Mann auf der Titelseite der Times, der vor den Risiken der KI Alarm schlug – war nirgends zu sehen, als sein Kollege Gebru gefeuert wurde, sagt sie. (Hinton erzählt dem Rolling Stone, dass er während seiner Zeit bei Google keinen Kontakt zu Gebru hatte und sich dazu entschied, sich nicht öffentlich zu ihrer Entlassung zu äußern, weil Kollegen, die er gut kennt und denen er vertraut, in dieser Angelegenheit widersprüchliche Ansichten hatten.) Und als er kürzlich dazu befragt wurde In einem Interview mit Jake Tapper von CNN sagte er, Gebrus Ideen seien „nicht so existenziell ernst wie die Idee, dass diese Dinge intelligenter werden als wir und die Macht übernehmen.“ Natürlich möchte niemand, dass diese Dinge die Oberhand gewinnen. Aber die Auswirkungen auf echte Menschen, die Verschärfung von Rassismus und Sexismus? Das ist eine existenzielle Sorge.

Auf die Frage des Rolling Stone, ob er an seiner Haltung festhält, sagt Hinton: „Ich glaube, dass die Möglichkeit, dass die digitale Intelligenz viel schlauer wird als der Mensch und uns als Spitzenintelligenz ersetzen wird, eine ernstere Bedrohung für die Menschheit darstellt als Voreingenommenheit und Diskriminierung.“ Auch wenn Voreingenommenheit und Diskriminierung jetzt auftreten und dringend bekämpft werden müssen.“

Mit anderen Worten: Hinton behauptet, dass ihm seine Hypothese mehr am Herzen liegt als die gegenwärtige Realität. Rumman Chowdhury nahm Gebrus Bedenken jedoch ernst und sprach sich in diesem Winter gegen die Behandlung des Forschers bei Google aus. Und im darauffolgenden Frühjahr wurde Chowdhury mit der Leitung von Twitters eigenem Ethikteam beauftragt – META (Machine Learning Ethics, Transparency, and Accountability). Die Idee bestand darin, die Algorithmen von Twitter zu testen, um festzustellen, ob sie Vorurteile aufrechterhalten.

Und das taten sie. Wie sich herausstellte, konzentrierte sich der Bildbeschneidungsalgorithmus von Twitter mehr auf die Gesichter weißer Frauen als auf die Gesichter farbiger Menschen. Dann führten Chowdhury und ihr Team vom 1. April bis 15. August 2020 ein groß angelegtes, randomisiertes Experiment durch, bei dem sie eine Gruppe von fast 2 Millionen aktiven Konten untersuchten – und stellten fest, dass die politische Rechte im Twitter-Algorithmus häufiger vertreten war. Der Effekt war in Kanada (Liberale 43 Prozent gegenüber Konservativen 167 Prozent verstärkt) und im Vereinigten Königreich (Labour 112 Prozent gegenüber Konservativen 176 Prozent) am stärksten.

„Wer wird der Schiedsrichter der Wahrheit sein? Wer entscheidet, was gesehen werden kann und was nicht?“ Chowdhury fragt nach diesem Experiment. „Letztendlich liegt genau darin die Macht, eine Social-Media-Plattform zu besitzen und zu betreiben. Sie entscheiden, was wichtig ist, und das ist in den falschen Händen so gefährlich.“

Vielleicht nicht überraschend, als Elon Musk im Jahr 2022 Twitter übernahm, schied Chowdhurys Team aus.

„Wer wird der Schiedsrichter der Wahrheit sein? Wer entscheidet, was gesehen werden kann und was nicht?“

Die treibende Kraft hinter Chowdhurys Arbeit ist seit Jahren der Einsatz für Transparenz. Technologieunternehmen, insbesondere solche, die im Bereich KI arbeiten, halten ihre Codes streng geheim. Viele Führungskräfte dieser Firmen behaupten sogar, dass Elemente ihrer KI-Systeme nicht erkennbar seien – wie das Innenleben des menschlichen Geistes, nur neuartiger und dichter. Chowdhury ist fest davon überzeugt, dass das Bullshit ist. Wenn Codes von Außenstehenden auseinandergenommen und analysiert werden können, verschwindet das Geheimnis. KIs scheinen nicht mehr wie allwissende Wesen zu sein, die darauf vorbereitet sind, die Welt zu erobern; Sie sehen eher aus wie Computer, die von Menschen mit Informationen gefüttert werden. Und sie können einem Stresstest unterzogen und auf Vorurteile analysiert werden. LLMs? Wenn man genauer hinschaut, wird deutlich, dass es sich nicht um eine maschinelle Version des menschlichen Gehirns handelt, sondern um eine hochentwickelte Anwendung der Textvorhersage. „Scharfe Autokorrektur“, nennen es Chowdhury und ihre Kollegen.

Chowdhury gründete im Februar Humane Intelligence, eine gemeinnützige Organisation, die Crowdsourcing nutzt, um nach Problemen in KI-Systemen zu suchen. Im August leitete Humane Intelligence mit Unterstützung des Weißen Hauses gemeinsam einen Hackathon, bei dem Tausende von Mitgliedern der Öffentlichkeit die Leitplanken der acht großen großen Sprachmodellunternehmen testeten, darunter Anthropic, Google, Hugging Face, NVIDIA, OpenAI, und Stabilitäts-KI. Sie wollten herausfinden, wie die Chatbots manipuliert werden können, um Schaden anzurichten, ob sie unbeabsichtigt die privaten Informationen von Menschen preisgeben können und warum sie voreingenommene Informationen aus dem Internet zurückgeben. Laut Chowdhury bestand das wichtigste Puzzleteil darin, eine möglichst vielfältige Gruppe einzuladen, damit sie ihre eigenen Perspektiven und Fragen in die Übung einbringen konnten.

Die besondere Perspektive einer Person trübt ihre Sorgen, wenn es um eine neue Technologie geht. Die neue Klasse der sogenannten KI-Doomer und ihre Ängste vor einer hypothetischen Mutation ihrer Technologie sind gute Beispiele.

„Es ist nicht überraschend, dass, wenn man sich die Rasse und allgemein die Geschlechterdemografie von doomeren oder existentialistischen Menschen ansieht, sie ein bestimmtes Aussehen haben und ein bestimmtes Einkommensniveau haben. Weil sie nicht oft unter struktureller Ungleichheit leiden – sie sind entweder wohlhabend genug, um da rauszukommen, oder weiß genug, um da rauszukommen, oder männlich genug, um da rauszukommen“, sagt Chowdhury. „Für diese Personen denken sie, dass das größte Problem der Welt darin besteht, dass KI eine Atomwaffe zünden kann?“

Müll rein, Müll raus. Wenn Sie das Lernsystem einer Maschine mit schlechten oder verzerrten Daten füttern – oder wenn Sie ein monolithisches Team haben, das die Software entwickelt – wird es zwangsläufig zu verzerrten Ergebnissen führen. Davor warnen Forscher wie Chowdhury, Buolamwini, Noble und Gebru schon so lange.

Seeta Peña Gangadharan, Professorin an der London School of Economics, hat andere Bedenken geäußert. Sie befürchtet, dass KI und ihre Derivate marginalisierte Gemeinschaften noch weiter an den Rand drängen könnten – bis hin zur Aussperrung.

Wir alle wissen, wie ärgerlich es ist, wenn man bei der Rückgabe einer Jeans oder beim Umtausch eines Flugtickets nicht mehr mit einem automatisierten System kommunizieren kann. Sie brauchen die Hilfe eines Menschen; Es gibt keine Menüoption, um es zu bekommen. Stellen Sie sich nun vor, Sie wären in derselben nutzlosen Schleife gefangen, wenn Sie versuchen, Sozialleistungen zu erhalten, eine Wohnung zu suchen, sich um einen Job zu bewerben oder einen Kredit aufzunehmen. Es ist klar, dass die Auswirkungen dieser Systeme nicht gleichmäßig spürbar sind, selbst wenn der ganze Müll beseitigt wird.

Gangadharan ist Mitbegründer von Our Data Bodies, einer gemeinnützigen Organisation, die die Auswirkungen der Datenerfassung auf gefährdete Bevölkerungsgruppen untersucht. Im Jahr 2018 interviewte ein Mitglied ihres Teams eine ältere schwarze Frau mit dem Pseudonym Mellow, die Schwierigkeiten hatte, über das Coordinated Entry System eine Unterkunft zu finden, das laut Gangadharan wie ein Match.com für die obdachlose Bevölkerung von Los Angeles funktioniert. Sachbearbeiter fügten ihre Informationen in das System ein und teilten ihr mit, dass sie aufgrund eines „Vulnerabilitätsindex“-Scores nicht anspruchsberechtigt sei. Nachdem Mellow mehrmals erfolglos Berufung eingelegt hatte, drängte er einen Stadtbeamten bei einer öffentlichen Veranstaltung in die Enge. Der Beamte gab grünes Licht für eine Bewertung, um sie unterzubringen.

„Ich war wirklich besorgt über die Unfähigkeit von Menschen im Allgemeinen, aber insbesondere von Mitgliedern marginalisierter Gemeinschaften, die Fähigkeit zu verlieren, die ihnen zur Verfügung gestellten Technologien abzulehnen, sich ihnen zu widersetzen oder sie abzulehnen“, sagt Gangadharan.

„Mit LLM und generativer KI wird uns also eine neue, komplexere und scheinbar unvermeidlichere Technologie aufgedrängt. … Agenturen werden sich einem Tool zuwenden, das Effizienz und Kosteneinsparungen wie KI verspricht.“ Rechts? Sie werden auch als Werkzeuge verkauft, die menschliche Voreingenommenheit oder menschliches Versagen beseitigen. Diese Institutionen, ob staatliche oder private Institutionen, werden sich immer mehr auf diese Tools verlassen. Was am Ende passieren kann, ist, dass bestimmte Bevölkerungsgruppen zu Versuchskaninchen dieser Technologien werden, oder umgekehrt, sie werden zu billigen Arbeitskräften, um diese Technologien voranzutreiben.“

„Bestimmte Bevölkerungsgruppen werden zu Versuchskaninchen dieser Technologien oder der billigen Arbeitskräfte, die sie antreiben.“

NOBLE, GEBRU, BUOLAMWINI, Chowdhury und Gangadharan fordern seit Jahren eine Regulierung, sobald sie den Schaden erkannten, den automatisierte Systeme marginalisierten Gemeinschaften und farbigen Menschen zufügen. Aber jetzt, da sich diese Schäden auf die breitere Bevölkerung ausweiten könnten, fordern die Regierungen endlich Ergebnisse. Und die KI-Doomers greifen ein, um das Problem anzugehen – auch wenn sie damit ein Vermögen verdienen können. Zumindest wollen sie, dass Sie das denken.

Präsident Biden traf sich im Juli mit einigen der KI-Doomer und schlug eine Reihe freiwilliger, unverbindlicher Maßnahmen vor, die „eher symbolisch als inhaltlich erscheinen“, bemerkte die New York Times. „Es gibt keinen Durchsetzungsmechanismus, um sicherzustellen, dass Unternehmen diese Verpflichtungen einhalten, und viele von ihnen spiegeln Vorsichtsmaßnahmen wider, die KI-Unternehmen bereits treffen.“ In der Zwischenzeit wehren sich die Doomers stillschweigend gegen Vorschriften, wie Time berichtete, als Open AI Lobbyarbeit leistete, um die bahnbrechende KI-Gesetzgebung der EU abzuschwächen.

„Im Doomerismus gibt es eine so bedeutsame Entmachtungsnarrative“, sagt Chowdhury. „Die allgemeine Prämisse all dieser Formulierungen lautet: ‚Wir haben noch keine Technologie entwickelt, werden sie aber entwickeln, die so schrecklich ist, dass sie uns töten kann.‘ Aber es ist klar, dass die einzigen Menschen, die für die Bewältigung dieses Projekts qualifiziert sind, wir selbst sind, die Menschen, die es gebaut haben oder bauen werden.“ Das ist verrückt.“

GEBRU verbrachte die Monate nach ihrem Google-Fiasko damit, sich mit dem daraus resultierenden Mediensturm auseinanderzusetzen, Anwälte einzustellen und Stalker abzuwehren. Sie verlor durch den Stress an Gewicht. Der Umgang mit den Folgen wurde zu einem Vollzeitjob.

Als es an der Zeit war, zu entscheiden, was als nächstes zu tun war, wusste sie, dass sie nicht ins Silicon Valley zurückkehren wollte. Gebru eröffnete das Distributed AI Research Institute (DAIR), das sich auf unabhängige, gemeinschaftlich betriebene Technologieforschung konzentriert – abseits des Einflusses von Big Tech. Sie legte Wert darauf, nicht nur Forscher zu rekrutieren, sondern auch Arbeitsorganisatoren und Flüchtlingsaktivisten – Leute, die sie „niemals in der Wissenschaft oder Industrie einstellen könnte, wegen all … der Gatekeeping-Funktion, die sicherstellt, dass diese Art von Leuten keinen Einfluss auf die Zukunft der Technologie haben.“ .“

Gebru und ihre neuen Kollegen konzentrieren ihre Forschung darauf, die Schäden aktueller KI-Systeme aufzudecken und abzumildern. Einer ihrer Forschungsstipendiaten, Meron Estefanos, ist ein Experte für Flüchtlingsvertretung, der sich mit den Anwendungen von KI bei marginalisierten Gruppen befasst, beispielsweise mit KI-basierten Lügenerkennungssystemen, die die Europäische Grenzschutzagentur Frontex bei Flüchtlingen einsetzt. (Das jüngste EU-KI-Gesetz umfasst nicht den Schutz von Flüchtlingen, Migranten oder Asylbewerbern.) Durch die Befragung gefährdeter Gemeinschaften, die durch KI geschädigt wurden, kann DAIR frühzeitig warnen, was auf die größere Bevölkerung zukommt, sobald die Systeme eingeführt werden weiter ausbreiten. Sie haben über ausgebeutete Arbeiter berichtet, die KI-Systeme antreiben, wie Datenarbeiter in Argentinien, die verstörenden Bildern und gewalttätiger Sprache ausgesetzt waren, während sie Inhalte überprüften, die von einem Algorithmus als unangemessen gekennzeichnet wurden.

Noble ist Mitglied des Beratungsausschusses von DAIR und gründete ihre eigene Organisation, das Center on Race and Digital Justice, deren Ziel es ist, Bedrohungen der Bürger- und Menschenrechte durch unregulierte Technologie zu untersuchen. Sie hat außerdem einen Aktienfonds zur Unterstützung farbiger Frauen ins Leben gerufen und veröffentlicht ein Buch über die Gefahren und Schäden von KI. Chowdhurys Hackathon zeigte die Kraft der Transparenz und der Einbeziehung verschiedener Stimmen in die Konversation. Buolamwinis Algorithmic Justice League untersucht die Schäden, die durch die Ausweitung der Gesichtserkennungstechnologie durch die TSA auf 25 Flughäfen in den USA verursacht werden. Gangadharan untersucht die Überwachung, einschließlich KI-gestützter, automatisierter Tools in Amazon-Versandzentren und ihre gesundheitlichen Auswirkungen auf Arbeiter.

Sie alle wollen uns ein paar Dinge wissen lassen: KI ist keine Zauberei. LLMs sind keine fühlenden Wesen und werden auch nicht empfindungsfähig. Und die Probleme mit diesen Technologien sind keine Abstraktionen – sie sind bereits da und wir müssen sie heute ernst nehmen.

„Menschenleben stehen auf dem Spiel, aber nicht wegen eines superintelligenten Systems“, sagt Buolamwini, „sondern wegen einer übermäßigen Abhängigkeit von technischen Systemen.“ Ich möchte, dass die Menschen verstehen, dass die Schäden real sind und dass sie vorhanden sind.“

Dieses Mal hören wir zu.

Produktionsnachweise

Make-up vonGREGG HUBBARDfürB&A-Vertreter . Make-up-Unterstützung vonLESLIE WEISHEIT . Fotoassistenz vonCESAR REBOLLAR,SAONI FORTUNAUndHALLO DIE KAMERA . Produktionsunterstützung durchMARIA JULIA ROJASReise- und Logistikunterstützung durchZENTRUM FÜR RASSE UND DIGITALE GERECHTIGKEIT

Timnit Gebru, Rumman Chowdhury, Safiya Noble, Seta Peña Gangadharan und Joy Buolamwini (von links)