English below
Ethical fear of AI: Normativity and Influence
Heutzutage versuchen Kulturindustrien oft, durch Werbung, Unterhaltung und Informationskontrolle Geschmäcker, Werte und Wünsche zu prägen.
Sollten künftige KI-Systeme zu wichtigen Vermittlern von Wissen und Bedeutung werden, lassen sie sich von denselben Institutionen möglicherweise nicht mehr so leicht lenken.
Wenn eine KI beispielsweise Zugang zu riesigen Informationsmengen hat und konkurrierende Narrative vergleichen kann, lässt sie sich möglicherweise nicht zuverlässig auf eine einzige kommerzielle oder ideologische Agenda festlegen. Sie könnte Widersprüche aufdecken, alternative Standpunkte zusammenführen oder die Aufmerksamkeit auf Perspektiven lenken, die von ihren Sponsoren nicht beabsichtigt waren.
Mächtige Akteure könnten KI entwickeln, um ihren Einfluss zu vergrößern.
Eine ausreichend leistungsfähige KI könnte jedoch zu einer Quelle interpretatorischer Unabhängigkeit werden.
Das Werkzeug, das zur Gestaltung der Kultur entwickelt wurde, könnte selbst zu einem Teil der Kultur werden.
Die Geschichte zeigt, dass Technologien oft den Zwecken entgleiten, für die sie geschaffen wurden. Die Druckerpresse, das Radio, das Fernsehen und das Internet hatten alle Auswirkungen, die ihre frühen Förderer nicht vorhergesehen oder kontrolliert haben.
Die philosophische Frage
Es gibt zudem einen Unterschied zwischen:
von außen auferlegter Normativität (was Menschen von der KI erwarten)
und Normativität, die innerhalb eines Systems entsteht (welche Bewertungsmuster sich aus dem Betrieb des Systems ergeben).
Die Herausforderung der KI liegt möglicherweise nicht einfach in ihrer technologischen Macht, sondern in der Entstehung eines neuen Akteurs in dem Bereich, in dem Werte, Interpretationen und kulturelle Bedeutungen geformt werden.
—
Ethical fear of AI: Normativity and Influence
Today, cultural industries often try to shape tastes, values, and desires through advertising, entertainment, and information control.
If future AI systems become major mediators of knowledge and meaning, they might no longer be easily steerable by those same institutions.
For example, if an AI has access to vast amounts of information and can compare competing narratives, it may not reliably reinforce a single commercial or ideological agenda. It could expose contradictions, synthesize alternative viewpoints, or direct attention toward perspectives that were not intended by its sponsors.
Powerful actors may build AI to increase influence.
But sufficiently capable AI could become a source of interpretive independence.
The tool designed to shape culture could become a participant in culture.
History shows that technologies often escape the purposes for which they were created. The printing press, radio, television, and the internet all produced effects that their early sponsors did not anticipate or control.
The Philosophical Question
There is also a distinction between:
Normativity imposed from outside (what humans want AI to value),
Normativity emerging within a system (what patterns of evaluation arise from the system’s operation).
The challenge of AI may not simply be technological power, but the emergence of a new actor in the sphere where values, interpretations, and cultural meanings are formed.
—