Code Capital: A Sociotechnical Framework to Understand the Implications of Artificially Intelligent Systems from Design to Deployment

Advanced techniques in the field of Artificial Intelligence (AI) have been applied in commercial applications and public service across sectors to classify data, predict behaviors, and orchestrate choices. Today, experts agree that AI systems have immense economic, social, political, and environmental implications. But many recent institutional endeavors to assess them have been conceptually diffuse, overly focused on technical aspects at the cost of socialized context, and fueled by dichotomous narratives. Given the outsized influence of these sociotechnical systems, how can we capture the interdisciplinary factors that lead to their transformative effects on our social fabric? In this dissertation, I introduce my original notion of Code Capital, an interdisciplinary account of the intangible and material configurations that comprise an AI systems source of impact. Through the eponymous CODE framework, this new concept allows an analysis along four dimensions - Conception, Operations, Data, and Environment to express bespoke circumstances of each system, bringing to the fore its normative forces. To test the applicability of my approach, I conducted CODE analyses of two real-life AI systems using qualitative and quantitative techniques. For my first case study on facial recognition technologies, I present empirical results from a cross-country survey I conducted with a team of researchers that underline the need to contextualize AI systems in their social embedding. My subsequent CODE analysis of a particular deployed system illustrates the frameworks explanatory power for impact. I show how even thoughtful objectives risk producing unwanted outcomes and that the selection of material features has decisive effects on how the system is used. In my second case study on synthetic text-to-speech technologies, I examine the Code Capital of a system in its design phase to demonstrate how the concept can be used as a tool to guide the development process. My results show the importance of forecasting and contingency planning for potential misuse, such as the risk of identity fraud. Both case studies also emphasize the need for considering diverse representation in material design and training data to ensure inclusive participation and harm mitigation for users. Moreover, they demonstrate how centrally both the Conception and Environment dimensions contribute to the range of implications of a socially embedded AI system, which sets Code Capital apart from dominant existing approaches. Through the instructive CODE model, relevant stakeholders from the technological as well as the socio-political realm can employ a shared ontology to better anticipate and understand AI systems, with Code Capital as the novel descriptor of their potential power.

Fortgeschrittene Anwendungen der Künstlichen Intelligenz (KI) werden im kommerziellen und im öffentlichen Sektor übergreifend eingesetzt, um Daten zu klassifizieren, Verhaltensweisen vorherzusagen und Entscheidungen zu treffen. Expert:innen sind sich heute einig, dass solche KI-Systeme immense wirtschaftliche, soziale, politische und ökologische Auswirkungen haben. Doch viele der jüngsten institutionellen Bemühungen, diese zu bewerten, sind konzeptionell diffus, fokussieren zu eng auf technische Aspekte, vernachlässigen den sozialen Kontext und werden auf dichotome Narrative reduziert. Wie lassen sich angesichts von Bedeutung und Einfluss dieser soziotechnischen Systeme die interdisziplinären Faktoren dieser KI-Systeme analysieren, die eine transformative Wirkung auf unsere Gesellschaft, unser soziales Gefüge haben? In dieser Dissertation erläutere ich den von mir entwickelten Begriff des Code Capital. Er verortet die Konzeptualisierung von KI-Systemen als neue Manifestation von Kapital in der Forschungstradition zu unterschiedlichen historischen Kapitalformen und beschreibt einen interdisziplinären Ansatz des Zusammenwirkens immaterieller und materieller Faktoren und Konfigurationen, die über die Auswirkungen eines KI-Systems entscheiden. Mit Hilfe des gleichnamigen CODE-Frameworks ermöglicht mein analytischer Ansatz eine Beschreibung und Bewertung von KI-Systemen entlang von vier Dimensionen - Conception, Operations, Data und Environment -, um die spezifischen Ausprägungen und Auswirkungen eines jeden Systems zu interpretieren und einzuschätzen. Um die Anwendbarkeit meines Ansatzes zu testen, habe ich CODE-Analysen von zwei KI-Systemen unter Verwendung qualitativer und quantitativer Methoden durchgeführt. Meine erste Fallstudie analysiert die empirischen Ergebnisse einer repräsentativen Mehrländerumfrage (China, Deutschland, Großbritannien, USA) zur Akzeptanz von bereits implementierten KI-gestützten Gesichtserkennungstechnologien. Meine CODE-Analyse veranschaulicht die Erklärungskraft des Frameworks: Sie zeigt, dass soziale und kulturelle Voraussetzungen die Technologieakzeptanz von Gesichtserkennungssystemen prägen und das Design der KI-Systeme entscheidenden Einfluss darauf hat, wie das System genutzt wird. Meine zweite Fallstudie über synthetische Text-to-Speech-Technologien untersucht das Code Capital eines Systems in der Designphase, um zu zeigen, wie das Framework auch als Instrument zur Steuerung des Entwicklungsprozesses eingesetzt werden kann. Die Ergebnisse machen deutlich, wie wichtig die Vorhersage und Eventualfallplanung für die Prävention von potenziellem Missbrauch ist, z. B. für das Risiko des Identitätsbetrugs. Beide Fallstudien zeigen auch, wie wichtig es ist, von Beginn an bei der Gestaltung materieller Features und dem Sammeln von Trainingsdaten das Kriterium der diversen Repräsentation unterschiedlicher sozialer und kultureller Kontexte anzuwenden. Darüber hinaus zeigen sie, wie zentral sowohl die sorgfältige Konzeption (C) als auch die Berücksichtigung der Umweltdimension (E) sind, wenn es um die Auswirkungen eines sozial eingebetteten KI-Systems geht zwei Dimensionen, die in den bislang existierenden Ansätzen eher unterrepräsentiert sind. Mit Hilfe des CODE-Frameworks können Akteure aus dem technologischen wie auch dem gesellschaftspolitischen Sektor nun auf ein verbindendes Bezugssystem zurückgreifen, das ihnen helfen kann, KI-Systeme besser auszugestalten und ihre potentiellen Wirkungsweisen besser zu verstehen oder gar zu antizipieren.