Das "Internet der Dinge" verknüpft Alltagsgegenstände wie Lichtschalter, Kleidung oder Armbanduhren mit Internetdiensten. So werden diese Dinge zu Medien, zu Kommunikationsmitteln und mit ihrer Hilfe entsteht eine Vielzahl an neuen Möglichkeiten, digitale Daten auszuwerten.
Die digitale Revolution verändert unsere Gesellschaft tiefgreifend und unumkehrbar. Ihre Auswirkungen sind vergleichbar mit den Umwälzungen der Industrialisierung im 19. Jahrhundert oder der Erfindung des Buchdrucks im 16. Jahrhundert. Insbesondere das Internet der Dinge (engl.: Internet of Things, IoT) wird einen weiteren Schub der Digitalisierung unserer Lebenswirklichkeit mit sich bringen. Denn die Informations- und Kommunikationstechnologie wird damit in die uns vertrauten "Dinge" des alltäglichen Lebens eingebettet ("embedded computing") und macht unsere Umgebung bzw. unser Zuhause "smart" (intelligent). Mit anderen Worten: Der Computer verlässt den Arbeitsplatz und geht über in Geräte, Kleidung, Gegenstände und unser Zuhause. Die Alltagsdinge werden somit selbst informativ oder fungieren als physische Zugangsobjekte zu Internetdiensten. Das Internet weitet sich damit unsichtbar in die uns vertraute Umgebung, unsere Wohnung, aus und "heftet" sich z. B. an unseren Körper als smarte Kleidung, Smartwatch oder Fitnessarmband.
Diese Dinge werden nun zu "Medien", also Kommunikationskanälen, die Daten und Informationen übermitteln. Marshall McLuhans extensionaler (umfassender)
Medienbegriff[1] aus
den 1960er-Jahren wird, so könnte man überspitzt formulieren, 50 Jahre später mit der Entwicklung des Internet der Dinge tatsächlich realisiert.
Infokasten
Marshall McLuhans extensionaler Medienbegriff
Für McLuhan sind nicht nur Telefon, Fernseher etc. "Medien" (also im eigentlichen Sinne Kommunikationsmittel), sondern auch Kleidung, Häuser, Geld etc. werden von ihm als "Medien" bezeichnet. Das heißt: Für ihn ist jede Technologie bzw. jedes Artefakt (Werk, Produkt), das den Mensch in Beziehung zur Welt setzt, ein "Medium".
Mit dem Einzug der digitalen Geräte in unsere privaten Wohn- und Körperzonen besteht eine Vielzahl an Möglichkeiten, digitale Datenbestände zu generieren und auszuwerten. Bislang wurden personen- und aktivitätsbezogene Daten entweder im analogen öffentlichen Raum (z. B. durch Videoüberwachung, Nutzung von Chipkarten) oder im digitalen Kommunikationsraum durch die Nutzung von Internetangeboten, Sozialen Medien etc. erhoben. Jetzt wird eine verstärkte Datengenerierung auch in Lebensbereichen möglich sein, die als topografische semantische Privaträume[2] (z. B. Privathaus, Privatwohnung, privates Auto) bzw. Intimsphäre (der eigene Körper) kulturell definiert sind. Beispielhaft gibt die folgende Tabelle eine Übersicht über die Datenerfassung in den Räumen des Netzes, der "analogen" Welt und dem Internet der Dinge bzw. der vernetzten Umwelt.
Übersicht über Datensammler:
"Netz"-Raum | "Analoger" Raum | "Internet der Dinge" |
---|---|---|
Soziale Medien Computer-Betriebssysteme Suchmaschinen Cookies/Canvas Fingerprinting Online-Shopping Handy/Tablet Apps Cloud-Computing Musik-Streamingdienste |
Staatliche Stellen Kundenkarten Kreditkarten Gesundheitskarte Video-Überwachung Navigationsgerät Flugdaten ... |
Smart Home Smart Metering(Verbrauchsmonitoring) Self-Tracking Devices (Fitnessarmbänder) Smart Car (vernetztes Auto) Smart Clothes Smart TV Smartes Spielzeug (z. B. "Hello Barbie") … |
Gemeinsam ist den Anwendungen des Internet der Dinge, dass sie einerseits eine Vielzahl an Möglichkeiten bieten, das alltägliche Leben mit mehr Komfort, Effizienz und Sicherheit auszustatten. Andererseits stellen sie eine Herausforderung für den Schutz der Privatsphäre, die Selbstbestimmung und die Sicherheit dar. Welche Chancen und Risiken für den Einzelnen und die Gesellschaft mit dem Internet der Dinge verbunden sind, soll im Folgenden reflektiert werden. Vorab werden hierzu Anwendungen beispielhaft aufgezeigt und systematisiert.
Das Internet der Dinge bezeichnet die Vernetzung von physikalischen Objekten (z. B. Heizung und Beleuchtung in der Wohnung) mit dem Internet, sodass Gegenstände bzw. Geräte selbstständig über das Internet kommunizieren können. Voraussetzung hierfür ist, dass diese Objekte eindeutig identifizierbar sind, z. B. über IP-Adressen, RFID. Die Geräte bzw. Gegenstände sammeln Informationen, z. B. über eine Person oder die Umgebung, die gespeichert und verarbeitet werden. Durch ihre Programmierbarkeit, ihr Speichervermögen, ihre Sensoren und ihre Kommunikationstechnik sind die Dinge befähigt, online und autonom Informationen auszutauschen. In der Weiterentwicklung des Internet der Dinge werden die vernetzten Objekte lernfähig und steuern sich zunehmend selbst.[3]
Wesentliche Kennzeichen für das Internet der Dinge lassen sich somit identifizieren (vgl. Abb.):
· Ubiquität: überall können "smarte" (intelligente) Objekte existieren
· Vernetzung: die Objekte lassen sich über RFID-Chips oder Interfaces mit dem Internet verbinden
· Informationsspeicherung: smarte Daten werden gespeichert, verarbeitet und können als Massendaten ausgewertet werden (Big Data)
· Kommunikation: die Dinge kommunizieren entweder direkt miteinander oder über Interfaces
· Selbststeuerung: die Objekte können eigenständig Informationen austauschen, Aktionen auslösen und sich wechselseitig steuern
· Optimierung und Lernfähigkeit: die Dinge (z. B. Thermostate) erkennen Muster (z. B. wann die Heizung hochgeschaltet wird) und optimieren daraufhin ihre Aktivität
· Der Begriff "Internet der Dinge" wird häufig synonym mit "Ubiquitous Computing" (= Allgegenwärtigkeit rechnergestützter Informationsverarbeitung) verwendet.[4] Klaus Wiegerling[5] fasst die wichtigsten Merkmale von Ubiquitous Computing wie folgt zusammen:
· "Weitgehendes Verschwinden von Hardwarekomponenten;
· Adaptivität des Systems an den Nutzer und an die jeweilige Nutzungssituation;
· Selbstorganisiertheit des Systems;
· Kontextwahrnehmung des Systems, also die Fähigkeit Situationen zu interpretieren;
· Informatorische Aufladung der physikalischen Umwelt;
· Mobile bzw. ubiquitäre und allzeitige Anwendbarkeit von informatischen Systemen;
· Verknüpfung von lokalen und globalen Informationen."
Diese Merkmale treffen ebenso auf die Technologie des "Internet der Dinge" zu. Dieser Begriff hat sich im öffentlichen Diskurs durchgesetzt, wohl auch wegen seiner Anschaulichkeit. Laut Mattern/Flörkemeier[6] wurde der Begriff "Internet of Things" erstmals 2002 von Kevin Ashton, dem Mitgründer und damaligen Leiter des Auto-ID Center am Massachusetts Institute of Technology (MIT), verwendet, der im Forbes Magazine zitiert wird mit: "We need an internet for things, a standardized way for computers to understand the real world" ("Wir brauchen ein Internet für Dinge, eine standardisierte Möglichkeit für Computer, die reale Welt zu verstehen")[7].
Die Anwendungen, die derzeit unter dem Begriff Internet der Dinge zu verstehen sind, lassen sich in fünf Kategorien unterscheiden:
· Fernbedienung via Netz
· Messung und Sammlung von Daten
· Profiling und Vorschläge
· Daten sammeln und Aktivität
· Daten suchen und Produktion
Beispielhaft hierfür ist die "Good Night Lamp". Bei ihr handelt es sich um ein Set bestehend aus mehreren Lampen. Wird eine Lampe aktiviert, so aktivieren sich über die "Lightning"-Netzwerkverbindung automatisch andere Lampen, auch über große Distanzen hinweg. Per Smartphone-App können die Lampen aus der Ferne kontrolliert und gesteuert werden. Die Firma wirbt damit, dass man mit dieser Lampe einer geliebten Person einen Kommunikationswunsch übermitteln kann. Über eine Fernsteuerung (basierend auf GSM-Technologie) wird die Lampe eingeschaltet und signalisiert dem Partner "I’m thinking of you" ("Ich denke an dich") oder "Call me when you get home" ("Rufen Sie mich an, wenn Sie nach Hause kommen")[8]. Im Grunde stellt diese Anwendung einen erweiterten Kommunikationskanal dar, den allerdings jemand von außen im eigenen Heim aktiviert.
Die Kategorie "Fernbedienung via Netz" ist im Prinzip relativ unproblematisch, was den Schutz der Privatsphäre betrifft. Allerdings abgesehen davon, dass Apps
nicht auf Datenminimierung und Datensparsamkeit angelegt sind, insbesondere wenn sie angeblich "kostenlos" sind. Denn grundsätzlich sind Apps in der Lage, auch Daten des Smartphones abzugreifen,
die für die Erfüllung der eigentlichen Aufgaben irrelevant sind.[9]
Der Trend zur Selbstvermessung, der sich maßgebend in der "Quantified-Self-Bewegung" artikuliert (deren Anhänger permanent den Zustand und die Aktivität des eigenen Körpers messen)[10], hat eine Vielzahl an Produkten auf den Markt gebracht, die Fitness, Gesundheit und Leistung zu optimieren versprechen. So bietet die Bekleidungsbranche mittlerweile eine Vielzahl an Produkten an, die als "Smart Clothes", "Smart Shoes" etc. bezeichnet werden. "Erkenne dich selbst durch Zahlen" ("Selfknowledge through Numbers") ist der kategorische Imperativ dieser Welt- und Selbsterfahrungs-Ideologie. Für Stefan Selke ist das "Lifelogging", also "die digitale Speicherung von Lebensdaten und Verhaltensspuren (sog. Lifelogs) eines Menschen"[11], Ausdruck eines bestimmten Selbst-Konzepts. Es geht von einer totalen Kontrollier- und Steuerbarkeit des eigenen Lebens aus (Gesundheit, Leistungsoptimierung etc.). Ein Beispiel hierfür ist die Fitnessbekleidung von "Athos", in die Sensoren integriert sind. Die Sensoren erfassen während des Trainings Daten zur Aktivität einzelner Muskelgruppen und die Pulsfrequenz des Trägers. Über die dazugehörige Smartphone-App kann so der Trainingsfortschritt getrackt (nachverfolgt) werden.[12]
"Smart Clothes" und "Wearables" (mit der Kleidung direkt verbundenes oder am Körper getragenes Computersystem, das auf den Träger bezogene Daten
aufzeichnet und verarbeitet, z. B. Fitnessarmbänder, "Smart Watches" etc.) können Bewegungsdaten, Daten zu Gesundheit, Körper, Arbeitsleistung und zukünftig wohl auch psychische Daten erfassen.
So hat kürzlich Ali Javey, Professor für Elektrotechnik und Informatik an der University of California in Berkely, ein Armband mit Sensoren entwickelt, das durch die Auswertung des Schweißes als
Informationsquelle Aufschluss darüber geben soll, ob "eine Person Depressionen hat oder giftigen Chemikalien ausgesetzt war"[13]. Daten über den Gehalt an Natrium, Kalium, Glucose
und Laktat sowie die Hauttemperatur werden gesammelt und zur Verarbeitung an ein biegsames elektronisches Bauteil gesendet, von wo aus sie über Bluetooth weiter an eine App auf dem Smartphone
geschickt werden. Alle diese durch Smart Clothes und Wearables gewonnen Daten sind höchst sensibel, da sie Aufschluss über Krankheiten, Lebensgewohnheiten wie Essen, körperliche Aktivität, Schlaf
etc. geben können und für Black-Box-Prognosen (durch Big Data Analytics) missbraucht werden können (vgl. Kap. 4).
Infokasten
Big Data Analytics
Über eine intelligente Auswertung riesiger Daten ("Big Data") und die Kombination von Daten aus verschiedenen Quellen können weitreichende Schlussfolgerungen gezogen werden (Trends, Muster, Gesetzmäßigkeiten etc.). Auf diese Weise lassen sich auch Zukunftsprognosen erstellen. Da aber der zugehörige Algorithmus (schematische Rechenvorgang) und die zugrundeliegenden Daten für den Betroffenen intransparent sind, handelt es sich um "Black-Box-Prognosen" (Prognosen aus einem nicht einsehbaren System).
Das "BMW ConnectedDrive"-System beruht auf einem Forschungsprojekt von SAP (Systeme, Anwendungen, Produkte; Softwarehersteller) in Zusammenarbeit mit BMW (Bayerische Motoren Werke). Lokalitäten in der Umgebung (z. B. Restaurants) stellen ihre Angebote per SAP-Cloud zur Verfügung. BMW ConnectedDrive gleicht das Angebot mit den Nutzungsvorlieben des Fahrers ab und unterbreitet ihm Vorschläge. Dieser kann sich direkt zum gewünschten Ziel navigieren lassen[14]. Geräte bzw. Dienste, die Vorschläge unterbreiten, können nur dann die Privatheit des Nutzer schützen, wenn sie auf "Privacy by Design" (Privatsphäre-Schutz durch eingebaute Technik, siehe weiter unten in diesem Beitrag) beruhen und dem Nutzer gegenüber unkompliziert deutlich machen, was mit den Daten geschieht.
Das Smart Bed "Eight" misst mit mehreren Sensoren die Schlafphasen, den Herzschlag, die Temperatur, das Licht
und mit einem Mikrofon eventuelles Schnarchen. Per WLAN kann "Eight" mit einem Smartphone, einem Tablet-PC sowie Smart-Home-Geräten, z. B. dem Thermostat "Nest" (das
intelligente, selbstlernende Thermostat von Google), verbunden werden. Die gesammelten Daten sollen dem Nutzer detaillierte Statistiken über seinen Schlaf liefern. "Eight" merkt sich außerdem die
durchschnittlichen Zeiten, zu denen man ins Bett geht und kann dann automatisch die Heizung regeln. Zudem erkennt das Smart Bed die Phasen, in denen der Nutzer nur einen leichten Schlaf hat und
geweckt werden kann.[15] Dieses Anwendungsbeispiel
zeigt: Einerseits können digitalisierte Geräte dem Verbraucher ein mehr an Komfort bieten. Andererseits muss der Verbraucher dem Gerät automatisierte Entscheidungen überlassen. Inwieweit damit
der Eindruck eines Kontrollverlusts entsteht (insbesondere bei Fehlleistungen des Geräts), ist ein Grundproblem des Internet der Dinge (vgl. Kap 4). "Intelligente" Heizkörper-Thermostate im Smart
Home werden von verschiedenen Firmen angeboten. Das Thermostat von RWE kann entweder manuell, per Fernbedienung, Wandsender, Smartphone oder über das Internet gesteuert werden. Das
Konkurrenzprodukt "Tado" übernimmt zudem selbstständig die Temperaturregelung, je nachdem, wie weit der Nutzer mit seinem Smartphone entfernt ist.[16]
Die von Google gekaufte Firma "Nest" bietet ein "lernendes" Thermostat an, dass sich die Gewohnheiten der Bewohner eingeprägt und
selbstständig die Temperatur regelt.[17] Es weiß, zu
welcher Zeit welche Temperatur eingestellt werden muss. Dank eines Bewegungsmelders registriert es, wann die Bewohner das Haus verlassen und fährt nach einer bestimmten Zeit die Heizung
automatisch herunter. Verändertes Heizungsverhalten erkennt das Thermostat ebenso und passt sich entsprechend an. Darüber hinaus erfasst es Aktivität, Luftfeuchtigkeit und Helligkeit. Das
Thermostat weiß, wann jemand zu Hause ist, in welchem Raum er sich gerade befindet – und eventuell auch, was im Schlafzimmer gerade geschieht, wenn die Luftfeuchtigkeit steigt. Durch die
Verknüpfung mit der Google-App (als Opt-In-Option, d. h. mit ausdrücklicher Zustimmung) lässt sich von außen die Temperatur regeln, über Google Now sogar automatisch. Vernetzt mit einer
Videokamera, der Nest Cam, werden dem Nutzer auch verdächtige Aktivitäten mitgeteilt. Die Firma Nest gibt ihre Daten an Google weiter, aber auch an Dritte. So bietet Mercedes Benz die Option,
dass das Auto dem Thermostat ein Signal sendet, wenn es sich auf dem Heimweg befindet.[18]
Die Verknüpfung von originären Internet-Nutzerdaten des us-amerikanischen "Alphabet"-Konzerns (dazu gehören
u. a. Google-Suchmaschine, G-Mail, Google Now, YouTube) mit denen im Smart Home gewonnen Daten ermöglicht es, weitreichende Informationen über eine Einzelperson zu extrahieren (auszulesen).
Dieses Beispiel zeigt, dass mit dem Internet der Dinge die Informations-asymmetrie (Informations-Ungleichgewicht) zwischen dem Verbraucher und dem Datensammler noch größer wird als bei der
personalen Nutzung des Internets. Denn der Nutzer weiß nicht, welche Daten aus seiner Internetnutzung mit denen seines privaten Lebensraums aggregiert (angehäuft) und für ein Profiling (die
Erstellung eines Persönlichkeitsprofils) und Scoring (Datenauswertung, Einschätzung) korreliert (wechselseitig in Beziehung gestellt) und ausgewertet werden.
Diese Kategorie ist vollständigkeitshalber auch zu berücksichtigen; allerdings ist sie unter dem Gesichtspunkt der "Datafizierung" der Privatsphäre derzeit nicht als problematisch einzustufen (mit Datafizierung ist gemeint, dass Nutzer nicht mehr den Zugang zu ihren Daten und Informationen kontrollieren können [19]). Vielmehr ermöglicht die Eigenproduktion von Objekten dem Verbraucher, nach seinen eigenen kreativen Vorstellungen, Objekte zu fertigen. Hier wird der Konsument zum Prosument (Verbraucher und Produzent). Der "MakerBot", ein 3D-Drucker, ist ein solches Anwendungsbeispiel. Er beruht auf einem Open-Source-Prinzip, sowohl hinsichtlich der Software als auch der Hardware. Das heißt, jeder Besitzer eines "MakerBot" kann mit diesem einen neuen "MakerBot" produzieren. Baupläne von selbst designten Objekten können in der "MakerBot Thingiversity" (eine Plattform für 3D-Drucker-Produkte, die auch Lehrmaterialien für Schulen bereitstellt) für alle zugänglich gemacht werden. Damit ist das Prinzip des kollaborativen Sharings (gemeinsamen Austauschs) in dieser Variante des Internet der Dinge eingeschlossen.[20]
Die Anwendungsbeispiele zeigen, dass das Internet der Dinge vielfältige Möglichkeiten für den Nutzer bietet, seinen Alltag zu erleichtern, individuell zu gestalten und die Wohnqualität zu verbessern. Im Einzelnen lassen sich folgende positiven Potenziale erkennen:
a) Erkennen von Gesundheitsrisiken und Hilfe bei Krankheiten
So können z. B. Wearables (tragbare Datenverarbeiter), die Daten über Blutdruck, Herzfrequenz, Puls etc. liefern, ggf. darauf hinweisen, dass Gesundheitsrisiken vorliegen. Ebenso können sich
Patienten, die z. B. regelmäßig Medikamente einnehmen müssen, durch entsprechende Geräte unterstützen lassen, die sie an die Einnahme erinnern. Auch die individuelle Kontrolle und Medikation, die
z. B. bei Diabetes notwendig ist, kann durch digitalisierte Messungen von Blutzuckerwerten, Kohlenhydratzufuhr, Sportbetätigung etc. erleichtert werden. Darüber hinaus können kollaborative
Selbstvermessungen, bei denen z. B. chronisch Kranke ihre Erfahrungen mit Medikamenten auf einer Plattform teilen, zur Selbstermächtigung der Patienten führen, indem sie die Wirkungsversprechen
der Pharmaunternehmen infrage stellen oder problematische Nebenwirkungen ersichtlich machen.
b) Zu Hause Leben im Alter
Durch die Digitalisierung und die damit verbundene Automatisierung des Lebensbereichs Wohnen kann das Smart Home Erleichterungen bei der Haushaltsführung und der Bewältigung von Alltagsaufgaben
bieten (z. B. Kochen in einer Smart Kitchen etc.). Damit wird ein längeres selbstbestimmtes Leben in den "eigenen vier Wänden" ermöglicht.
c) Kosten- und Zeitersparnis; Ressourcen nachhaltig nutzen
Durch das Messen und die "intelligente" Steuerung von Strom- und Heizungsnutzung kann der Verbraucher Kosten sparen. Das Internet der Dinge kann also zu einer Effizienzsteigerung im
Verbrauchssektor führen und dazu verhelfen, dass Energieressourcen nachhaltig genutzt werden. Wenn digitalisierte Geräte Alltagstätigkeiten zunehmend übernehmen (z. B. digitale Staubsauger,
Rasenmäher), kann der Verbraucher Zeit gewinnen, die er für andere soziale, kreative oder sonstige Tätigkeiten nutzen kann.
d) Sicherheit der Wohnung
Durch Sensoren, Kameras, Rauchmelder und deren Vernetzung ist die Kontrolle bzw. Überwachung des Wohnbereichs leichter möglich. Schäden durch Einbruch, Feuer etc. können dadurch leichter
verhindert bzw. Gegenmaßnahmen schneller ergriffen werden.
Wie die oben genannten Beispiele der verschiedenen Kategorien gezeigt haben, bietet das Internet der Dinge aus Sicht der Wirtschaft ebenfalls eine Vielzahl an Potenzialen. Dazu gehören neue Geschäftsfelder, Effizienzsteigerung, individuellere Kundenbetreuung und auch weitreichende Kenntnisse über das alltägliche Leben des Kunden.
Die größte Herausforderung bei der fortschreitenden Implementierung digitaler Technologien ist die Sicherung der Privatsphäre.
Die Privatsphäre ist ein Bedeutungsraum, in dem verschiedene Handlungen, Situationen, Zustände mentaler oder körperlicher Art von Personen stattfinden, die in
historisch und sozial variablem Ausmaß der Kontrolle des Außenraums entzogen werden. Privatheit ist zunächst und genuin (ursprünglich) ein räumliches Phänomen und mit bestimmten topographischen
Räumen korreliert (Privathaus, Privatwohnung), wenngleich sie nicht auf diese lokale Dimension beschränkt ist.[21] Der
Raum des Privaten ist aber nur im engeren Sinn als konkreter Raum zu verstehen; im weiteren Sinn ist er als abstrakter Bedeutungsraum zu verstehen, der Informationen über Privates
(Lebensgewohnheiten, Gefühle etc.) umfasst. Dementsprechend ist für Beate Rössler[22] das
Konzept des Privaten durch die "Zugangskontrolle" definiert:
Quellentext
Mit dem Einzug des Internets in die Privatwohnung besteht das Risiko, dass der Kunde bzw. Nutzer die Kontrolle darüber verliert, wer was in welchem Zusammenhang über ihn und seinen privaten Rückzugsraum weiß. Aus ethischer Sicht birgt die Datafizierung der Privatsphäre somit die Gefahr, dass das Recht auf Autonomie und Selbstbestimmung des Individuums eingeschränkt wird. Der seit der Aufklärung entstandene moderne und individualistische Freiheitsbegriff basiert auf der Idee, dass "jede Person selbst entscheiden kann und können sollte, wie sie leben will"[23]. Wenn der Einzelne aber nicht mehr den Zugang zu seinen Daten und seiner Wohnung kontrollieren kann, beeinträchtigt dies nicht nur die individuelle Handlungsfreiheit, sondern auch das Gemeinwohl, da ein freiheitlich demokratisches Gemeinwesen auf die selbstbestimmte Mitwirkung seiner Bürger angewiesen ist.
Des Weiteren besteht das Problem der Informationsasymmetrie zwischen Kunde und Datensammler – zumindest dann, wenn der Kunde weder weiß, welche Daten über ihn gesammelt werden, noch was mit diesen Daten passiert bzw. aus ihnen herausgelesen werden kann. Für Andrej Zwitter[24] entsteht damit ein ethisches Ungleichgewicht in Bezug auf Wissen, freier Wille und Macht. "The 'internet of things' further contributes to the distance between one actor’s knowledge and will and the other actor’s source of information and power" ("Das 'Internet der Dinge' trägt zum Weiterbestehen des Abstands zwischen dem Wissen und Willen der Akteure auf der einen Seite und den Informationsquellen und der Macht der Akteure auf der anderen Seite bei")[25].
Im Konkreten bietet das Smart Home folgende Angriffsflächen in Bezug auf die Privatheit:
· Sofern die Daten nicht lokal verarbeitet werden, kann ein umfangreiches Erfassen von Daten und Informationen durch ein weitreichendes Monitoring (systematische Erfassung) von Verhalten, Gewohnheiten und Lebensweisen erfolgen.
· Sensoren und Kameras (wie z. B. die Nest-Cam) in der Wohnung können zeitlich noch umfassender als das Smartphone Daten generieren.
· Auch Daten über Dritte (Besucher) können erfasst werden.
Bei Self-Tracking-Devices (Selbstvermessungs-Geräte) werden existenzielle Daten über Gesundheit bzw. Krankheit getrackt (nachverfolgt) und ggf. via App mit anderen Daten korreliert (wechselseitig in Beziehung gestellt). Auch wenn es sich hierbei um individuelle, spezifische Datensätze (= Small Data) handelt, die dem Nutzer einen konkreten Nutzen bringen, ist zu berücksichtigen, dass aus Small Data auch Big Data werden kann. So weist Henning Lahmann (i.rights.lab) in seinem Themenpapier "Konfliktlinien Big Data" auf diese Gefahr hin:
Quellentext
Im Überblick lassen sich für Self-Tracking-Devices folgende Risiken erkennen:
a. Fremdbestimmung
und Diskriminierung
Small Data (= kleine, persönliche Datensätze) im Gesundheitsbereich kann die Selbstbestimmung und Autonomie des Einzelnen massiv einschränken, wenn Versicherungen zu diesen Daten Zugang haben.
Denn das Privacy Tracking (Nachverfolgung der Privatsphäre) kann dazu führen, dass Versicherte zukünftig für ihre Lebensweise sanktioniert werden, indem sie höhere Prämien zahlen müssen, weil sie
sich ggf. nicht an einen als Fit-Norm definierten Lebensstil halten (z. B. auf Extremsportarten verzichten, fettes Essen meiden etc.).
Erste Angebote, sich an einem Self-Tracking freiwillig zu beteiligen, bietet z. B. die in Deutschland zweitgrößte Privatversicherung Generali. Letztere offeriert dem Kunden ein
"Vitality"-Programm (Vitalität, Lebenskraft), das Boni (Rabatte und Gutscheine) für "das Erreichen von Meilensteinen"[26] vergibt.
Diese können erreicht werden durch "z. B. Wahrnehmung ärztlicher Vorsorgetermine (vergleichbar mit dem Zahnarzt-Bonusheft), Fitness und Bewegung sowie über den Einkauf gesunder
Lebensmittel"[27].
Die Daten zur Auswertung sollen Supermärkte, Sport-Studios und Fitness-Apps liefern [28],
die allerdings nicht von den Sachbearbeitern der Versicherung ("Die sehen nur den Score, also den Punktestand", Giovanni Liverani, Deutschlandchef von Generali), sondern von einer Datenfirma
ausgewertet werden.[29] Zunächst
soll dieses Vitality-System für Kunden offeriert werden, die eine Risiko-Lebensversicherung oder Berufsunfähigkeitsversicherung abschließen. Für die Krankenversicherung soll dies ebenso demnächst
möglich sein.
Auch wenn Generali Deutschland zusichert, dass das "Vitality"-Programm keine Überwachung bedeutet, da "das ‚Vitality‘-Programm und das eigentliche Versicherungsprodukt (…) rechtlich und
organisatorisch voneinander getrennt"[30] werden,
ist ein solches Angebot kritisch einzustufen. Selbst wenn die Versicherer die Daten nicht selbst auswerten, sondern nur den ermittelten Scorewert kennen, also den ermittelten Punktestand, stellt
sich die Frage und bleibt unklar, was die App-Entwickler oder Datenanalyse-Firmen mit den erhobenen Daten machen. Sich nicht selbst freiwillig im Rahmen eines solchen Programms zu vermessen, ist
der beste Schutz vor potenzieller Diskriminierung.
b. Quantifizierung des Menschen
Durch Scoring kann zukünftiges Verhalten vorhergesagt werden. Scoring basiert
1. auf der Bewertung einer Eigenschaft einer Person durch mathematisch-statistische Analyse von Erfahrungswerten aus der Vergangenheit und
2. auf der Annahme, dass bei Vorliegen bestimmter vergleichbarer Merkmale anderer Personen ein ähnliches Verhalten vorausgesagt werden kann.
Durch einen Algorithmus (schematischen Rechenvorgang) kann jedem Menschen ein Scorewert zugewiesen werden, der sein zukünftiges Verhalten prognostiziert. So kann es auf der Basis schon weniger Daten von einer Person zu Risikoeinschätzungen kommen. Im Fall von Wearables kann dies zur Prognose des Gesundheitszustands führen oder zur Einschätzung der zukünftigen Arbeitsleistung. So werden in den USA zunehmend auch Arbeitnehmer motiviert, ihre Vitalitätsdaten durch Fitnessarmbänder zu erfassen, um damit ihr Gesundheitsbewusstsein zu fördern und Krankentage zu reduzieren.[31] Auch wenn eine Person individuell (trotz eines vermeintlichen Risikofaktors) nicht krank wird, kann sie ggf. aufgrund ihres schlechten Scorewerts mit negativen Konsequenzen rechnen.
Dieses auf Quantifizierbarkeit empirischer Realität (Messbarkeit der erfahrbaren Realität) begründete Denkmodell widerspricht aber der Wirklichkeit. "Risiken, die auf der Basis empirischer
Studien errechnet wurden, müssen nicht zwangsläufig mit den individuellen Risiken einzelner Personen zusammenfallen. Die Realitäten des Lebens lassen sich durch Selbstvermessung nur bedingt
einfangen"[32].
Letztlich ist dieses Denkmodell der Berechenbarkeit des Lebens Ausdruck einer zunehmenden Ökonomisierung unsere Wertesysteme.[33] Dieser
Trend zur Ökonomisierung bedeutet, dass in allen Gesellschaftsbereichen (z. B. Bildungssysteme, Gesundheitssystem) ökonomische Prinzipien – wie Effizienz, Quantifizierung und Leistungssteigerung
– zunehmend zur Geltung kommen.
c. Entsolidarisierung
Auf der gesellschaftlichen Ebene besteht die Gefahr, dass das Solidarprinzip ausgehebelt wird, wenn Krankheiten aufgrund eines vermeintlichen Fehlverhaltens, das durch Self-Tracking erfasst wurde, jedem selbstverantwortlich zugeschrieben werden können. Das Argument, Menschen mit leichtfertigem Verhalten müssten zur Verantwortung gezogen werden (z. B. wenn man Risikosport betreibt), lässt außer Acht, dass Krankheiten eben nicht individuell prognostizier- und verantwortbar sind. So wird nicht jeder, der eine Extrem-Sportart betreibt, zwangsläufig später Folgeerkrankungen haben.
Zu den Grundwerten eines demokratischen Gemeinwesens gehört das Solidarprinzip, dessen Aufkündigung zu einer Benachteiligung vor allem sozial schwacher Gruppen führen würde, da diese es
sich finanziell nicht leisten können, höhere Prämien zu zahlen (wenn sie sich nicht an solchen Fitness-Programmen beteiligen) oder zusätzliche Arzt-, Pflege- und Hilfsmittelkosten zu finanzieren.
Wenn nun auch gesetzliche Krankenkassen, wie z. B. die AOK Nordost, anfangen, ihre Kunden zur Selbstvermessung von Vitaldaten zu motivieren (z. B. mit 50 Euro Unterstützung beim Kauf einer Apple
Watch [34]), dann stellt sich die Frage, ob zukünftig solche Selbstvermessungs-Systeme auch
bei gesetzlichen Krankenversicherungen zur Regel werden. Wer seine Privatsphäre schützen möchte und an solchen Programmen nicht teilnimmt, müsste dann wohl höhere Prämien zahlen, weil eine
statistische Prognose seiner Krankheitsrisiken nicht möglich ist.
d. Neoliberale
Disziplinargesellschaft
Hinzu kommt, dass mit der Einführung eines solchen disziplinarorientierten Systems Versicherungen zunehmend als Norminstanzen (Werte vorgebende Einrichtungen) auftreten, die ihre Kunden zu richtigem "verantwortungs-bewussten" Verhalten motivieren wollen. Strukturell wird damit die Ideologie einer neoliberalen Disziplinargesellschaft forciert, in der der Einzelne dazu angehalten wird, freiwillig "Selbsttechniken" der Optimierung anzuwenden.
Infokasten
Neoliberale Disziplinargesellschaft
In einer neoliberalen Disziplinargesellschaft versucht sich das Individuum freiwillig selbst zu kontrollieren und zu disziplinieren, um sich zu perfektionieren und ein positives (Selbst)Bild zu kreieren. Diese 'Arbeit am Ich' wird nicht zuletzt von zahlreichen Glücksratgebern als Techniken der Selbsterkenntnis gepriesen.
Michel Foucault hat diese neoliberalen Disziplinargesellschaft wie folgt beschrieben: "Darunter sind gewußte und gewollte Praktiken zu verstehen, mit denen sich die Menschen nicht nur die Regeln ihres Verhaltens festlegen, sondern sich selbst transformieren, sich in ihrem besonderen Sein zu modifizieren und aus ihrem Leben ein besonders Werk zu machen suchen (…)."[35] Das heißt, indem man an sich selbst arbeitet, verwirklicht man sich selbst und kann sich im Wettbewerb mit anderen auszeichnen. Die Ideologie einer solchen Selbstdisziplinierung besagt, dass das Individuum die Normwerte durch Messungen selbst definieren soll, um sich damit selbst optimieren zu können (z. B. gesünder, aktiver, effizienter werden). Sich an Normwerten, also empirische Mittelwerten, zu orientieren, heißt aber im Grunde nichts anderes, als sich einer Normierung und Nivellierung (Vereinheitlichung) von Lebensstilen zu unterwerfen, die Individualität nicht mehr vorsieht.
In der öffentlichen Diskussion präsenter als die oben aufgeführten Risiken ist das Sicherheitsproblem, das beim Internet der Dinge durch Angriffe von Dritten (Hacking, ungesicherte Schnittstellen etc.) entstehen kann. Um das Vertrauen der Nutzer zu gewinnen, dürfte die Entwicklung sicherer technologischer Systeme eine wichtige Handlungsoption sein. Was hingegen die für Wertschöpfungsmodelle interessante Ökonomisierung der Privatsphäre betrifft, braucht es eine Verständigung über ethische Standards, um die Rahmenbedingungen für den Schutz der Verbraucher festzulegen.
Aus den oben beschriebenen Risiken des Internet der Dinge ergeben sich folgende Handlungsoptionen:
1. Privacy
by Design (Privatsphäre-Schutz durch eingebaute Technik)
Bereits bei der Entwicklung von neuen Technologien, Produkten und Vernetzungssystemen sollte eine wesentliche Anforderung sein, den Umfang der verarbeiteten schützenswerten Daten zu minimieren (= Datensparsamkeit). Darüber hinaus sollte nachvollziehbar sein, welche Daten zu welchem Zweck (und Preis) erhoben und ggf. an Dritte weitergegeben werden. Ebenso sollte den Nutzern durch Voreinstellungen ermöglicht werden, sich auch ohne einschlägige Fachkenntnisse weitgehend schützen zu können (privacy by default; Privatsphäre-Schutz als Standard-Voreinstellung). Hierfür müsste eine verstärkte ethische Sensibilisierung der Entwickler erfolgen, auch schon in der Ausbildung. Im Unterschied zu den Produkten und Diensten, die ein "surveillance by design" (Überwachung durch Technik) implementiert haben, könnten Privacy-by-Design-Produkte auch einen Wettbewerbsvorteil darstellen, da sie Vertrauen beim Kunden schaffen können.
2. Internet-der-Dinge-Kodex
Grundsätzlich bietet das Internet der Dinge Chancen und Risiken. Um den Schutz der Privatsphäre als Sphäre der Selbstbestimmung und Autonomie bei Smart-Home-Lösungen und Selbstvermessung-Devices zu gewährleisten, braucht es ethische Standards. Diese könnten in einem "Code of Conduct" vereinbart werden, also einer freiwilligen Selbstverpflichtung der Anbieter. Wichtig wäre zudem ein Auditing-Verfahren, das die Prozesse, Verfahren und Richtlinien der ethischen Standards überprüft. Beteiligte könnten z. B. Unternehmen und unabhängige wissenschaftliche Einrichtungen sein. Die ethischen Standards sollten sich an den folgenden Parametern (Steuergrößen) orientieren:
· Verhältnismäßigkeit (Zweckbindung),
· Transparenz der Datenverwendung,
· keine persistenten Daten (nur vorübergehende Speicherung),
· Kontrolle- und Eingriffsmöglichkeiten in das System,
· Datensparsamkeit und Sicherheit bei der Datenspeicherung,
· Verschlüsselung der Daten (z. B. durch Homomorphic Encryption) und
· Nicht-Identifizierbarkeit der Personen (z. B. "Differentiell Privacy", bei der Daten mit einem "Rauschen" versehen werden, das es unmöglich macht, bestimmte Personen zu identifizieren).
3. Verbesserung
der Lebenssituation
Grundsätzlich muss die zentrale Frage bei der Entwicklung des Internet der Dinge sein, inwieweit die neuen technologischen Anwendungsmöglichkeiten für den Einzelnen und die Gesellschaft einen Gewinn darstellen. Das heißt, ob sie dazu beitragen, dass wir ein gelungenes Leben führen können und der Zusammenhalt unseres demokratischen Gemeinwesens gewahrt wird. Technologien sind grundsätzlich nicht wertefrei. Abhängig von ihrem sozialen und kulturellen Gebrauch versinnbildlichen sie Werte und beeinflussen unser Wertesystem. Oftmals können sie auch eine Wertekonkurrenz bei uns evozieren (hervorrufen), z. B. wenn wir abwägen müssen zwischen dem Wunsch nach Anonymität und Privatheit oder Entlastung im Alltag und Komfort. Allerdings kann der Schutz der Privatsphäre nicht grundsätzlich dem Einzelnen aufgebürdet werden; hierzu braucht es Normen, Handlungsregeln und Strukturen, die dem Einzelnen tatsächliche Handlungssouveränität und Entscheidungsfreiheit gewähren. Den Rahmen hierfür zu schaffen, ist Aufgabe der Politik und des Gesetzgebers.
Eine Technologie auch noch auszuzeichnen, die das "Privacy by Design"-Prinzip gänzlich missachtet, ist hingegen der falsche Weg. So wurde auf der Fachmesse CES die chinesische Firma Sengled mit dem Preis für die beste Innovation ausgezeichnet: LED-Lampen mit Mikrofon, die Geräusche in die Cloud übertragen, wo Server Sprachkommandos erkennen und dann Aktionen im Netz des Kunden auslösen. Jürgen Schmidt appelliert angesichts dieses "Albtraum(s) der Dinge" in der Zeitschrift c’t: "Hey, Orwells 1984 war als Warnung und nicht als Vorlage gedacht"[36].
Infokasten
George Orwell: 1984
In seinem 1948 erschienenen Roman entwirft der britische Autor George Orwell (1903-1950) ein düsteres, zukunftspessimistisches Szenario einer durch Totalüberwachung beherrschten Gesellschaft. Für den Einzelnen gibt es keine Privatsphäre und keine eigene Meinung mehr. Wer gegen die Regeln verstößt und ein "Gedankenverbrechen" begeht, wird ausgelöscht. Zuständig für die permanente Manipulation ist das "Ministerium für Wahrheit".
Im Beitrag genannte Beispiele für das Internet der
Dinge:
Smart Home
Lampen: Connected Lamps for your global friends and family: http://goodnightlamp.com/
Bett: https://www.eightsleep.com/features
Heizkörper-Thermostate: Tado: https://www.tado.com/de/, Nest: https://nest.com/
Smart Clothes / Wearables
Kleidung – Athos: https://www.liveathos.com/products
Smart Car / Auto
BMW ConnectedDrive http://www.bmw.de/de/topics/faszination-bmw/connecteddrive/ubersicht.html
Internet der Dinge – grafische Darstellung von Beispielen für Kinder und Jugendliche (PDFs):
www.klicksafe.de/fileadmin/media/documents/pdf/klicksafe_Materialien/Lehrer_LH_Zusatz_Ethik/Internet%20der%20Dinge_L%C3%B6sung.pdf
www.klicksafe.de/fileadmin/media/documents/pdf/klicksafe_Materialien/Lehrer_LH_Zusatz_Ethik/Internet_der_Dinge_Produktbeispiele_Plakat_1.pdf
www.klicksafe.de/fileadmin/media/documents/pdf/klicksafe_Materialien/Lehrer_LH_Zusatz_Ethik/Internet_der_Dinge_Produktbeispiele_Plakat_2.pdf
Verbraucherzentrale Rheinland-Pfalz (2016): Vierter Verbraucherdialog "Smart Home" – Chancen nutzen, Risiken minimieren – Empfehlungen zum
Verbraucher- und Datenschutz bei Smart Home-Angeboten für Anbieter sowie Verbraucherinnen und Verbraucher.
http://mjv.rlp.de/fileadmin/mjv/Themen/Verbraucherschutz/Ergebnispapier_mit_Empfehlungen
_zum_Verbraucher__und_Datenschutz_bei_Smart_Home_Angeboten_fuer_Anbieter
_sowie_Verbraucherinnen_und_Verbraucher_.pdf
Bundesministerium für Gesundheit (Studie, 2016): Chancen und Risiken von Gesundheits-Apps.
http://www.bmg.bund.de/ministerium/meldungen/2016/studie-gesundheits-apps.html
Beuth, Patrick (2014): Nest wird Google nun doch
Nutzerdaten geben. In: Zeit Online. 24.06.2014. Online: http://www.zeit.de/digital/datenschutz/2014-06/nest-gibt-doch-daten-an-google.
Bundesministerium für Wirtschaft und Energie(BMWi) (2014) (Hrsg.): Entwicklung digitaler Technologien. Die Zukunft der Wirtschaft
ist digital. Online: http://www.bmwi.de/DE/Mediathek/publikationen,did=593208.html.
Foucault, Michel (1997): Der Gebrauch der Lüste. Sexualität und Wahrheit. 2. Aufl. Frankfurt/M.: Suhrkamp.
Fromme, Herbert (2016): Wer sich bewegt, zahlt weniger. In: Süddeutsche Zeitung, Nr. 70 v. 24./25. März 2016, S. 25.
Online: http://www.sueddeutsche.de/wirtschaft/versicherung-wer-sich-bewegt-zahlt-weniger-1.2920176.
Generali Deutschland (28.07.2015): Standpunkte. Vitality. Online: https://www.generali-deutschland.de/de/presse-und-medien/standpunkte/vitality-1150478/.
Grimm, Petra / Kimmel, Birgit (2015): Big Data und der Schutz der Privatsphäre - Medienethik im medienpädagogischen Kontext. In: Gapski, Harald
(Hrsg.): Big Data und Medienbildung. Zwischen Kontrollverlust, Selbstverteidigung und Souveränität in der digitalen Welt. Düsseldorf, München, S. 111-129.
Grimm, Petra / Zöllner, Oliver (2015) (Hrsg.): Ökonomisierung der Wertesysteme. Der Geist der Effizienz im mediatisierten Alltag. Stuttgart: Franz
Steiner Verlag.
Grimm, Petra / Krah, Hans (i. Ersch./2017): Privatsphäre. In: Heesen, Jessica (Hrsg.): Handbuch Informations- und Medienethik. Stuttgart/Weimar:
Verlag J. B. Metzler.
Lahmann, Henning (o. J.): Gesellschaftliche Konfliktlinien im Kontext von Big Data am Beispiel von Smart Health und Smart Mobility.
Online: https://www.divsi.de/projekte/digitaler-kodex/big-data/.
Mattern, Friedemann / Flörkemeier, Christian (2010): Vom Internet der Computer zum Internet der Dinge. In: Informatik-Spektrum, April 2010, Volume
33, Issue 2, S. 107-121. Online: http://www.vs.inf.ethz.ch/publ/papers/Internet-der-Dinge.pdf.
McLuhan, Marshall (2004): Understanding Media. The Extensions of Man. 4. Aufl., London/New York: Routledge.
Metz, Rachel (2016): Schweiß als Informationsquelle. In: Technology Review, 12.02.2016. Online: http://www.heise.de/tr/artikel/Schweiss-als-Informationsquelle-3099068.html.
Rössler, Beate (2001): Der Wert des Privaten. Frankfurt am Main: Suhrkamp.
Rössler, Beate (2003): Anonymität und Privatheit. In: Bäumler, Helmut/von Mutius, Albert (Hrsg.): Anonymität im Internet. Grundlagen, Methoden und
Tools zur Realisierung eines Grundrechts. Braunschweig/Wiesbaden: Vieweg Verlag, S. 27-40.
Rothensee, Matthias (2008): User Acceptance of the Intelligent Fridge: Empirical Results from a Simulation. In: Floerkemeier, Chritsian et al.
(Eds.): The Internet of Things. First International Conference, IOT 2008, Zürich, Switzerland, March 26-28, 2008, Proceedings. Wiesbaden: Springer Verlag, S. 123–139.
Schmidt, Jürgen (2016): Mein Albtraum der Dinge. In: c’t. Magazin für Computertechnik. 06.02. 2016, Heft 4.
Schoenberger, C. R. (2002): The Internet of Things. Forbes Magazine, March 18.
Selke, Stefan (2014): Lifelogging als soziales Medium? – Selbstsorge, Selbstvermessung und Selbstthematisierung im Zeitalter der Digitalität. In:
Jähnert, Jürgen / Förster, Christian (Hrsg.): Technologien für digitale Innovationen. Interdisziplinäre Beiträge zur Informationsverarbeitung. Wiesbaden: Springer VS, S.
173-200.
Wiegerling, Klaus (2011): Philosophie intelligenter Welten. München: Wilhelm Fink.
Zwitter, Andrej (2014): Big Data Ethics. In: Big Data & Society, Juli/Dezember 2014, Sage Journals, S. 1-6.
Online: http://bds.sagepub.com/content/1/2/2053951714559253.
1. Vgl. McLuhan 2004.
2. Vgl. Grimm /Krah i. Ersch./2016.
3. BMWi 2014: 9.
4. Vgl. Rothensee 2008.
5. Wiegerling 2011: 25.
6. Mattern/Flörkemeier 2010: 2.
7. Schoenberger 2002.
8. Siehe http://goodnightlamp.com/ (25.04.2016).
9. Vgl. hierzu anschaulich erklärt bei Handysektor: "Berechtigungen entschlüsselt" https://www.handysektor.de/apps-upps/appgesichert/berechtigungen.html (25.04.2016).
10. Die "Quanitified-Self-Bewegung" wurde von Gary Wolf und Kevin Kline in den USA mit der gleichnamigen Internetseite gegründet und hat bereits eine Vielzahl von Anhängern in Europa, Asien, Australien und auch Lateinamerika gefunden. Vgl. http://quantifiedself.com/ sowie die deutsche Internetseite http://was-ist-quantified-self.de/ (25.04.2016).
11. Selke 2014: 174.
12. Siehe https://www.liveathos.com/products (25.04.2016).
13. Metz 2016.
14. Siehe http://www.bmw.de/de/topics/faszination-bmw/connecteddrive/ubersicht.html (25.04.2016).
15. Siehe https://www.eightsleep.com/features/ (25.04.2016).
16. Siehe https://www.tado.com/de/thermostat-setup (25.04.2016).
17. Siehe https://nest.com.
18. Vgl. Beuth 2014.
19. Vgl. Grimm/Kimmel, Birgit 2015.
20. Siehe http://www.makerbot.com/ (25.04.2016).
21. Die Relevanz des Raumes für das traditionelle Konzept Privatheit ergibt sich, da sich Privatheit insofern räumlich definiert, als sie sich durch Grenzen und Grenzziehungen auszeichnet und durch Zugangskontrollen manifestiert. Vgl. Grimm/Krah (i. Ersch.).
22. Vgl. Rössler 2001.
23. Rössler 2003: 32.
24. Zwitter 2014.
25. Vgl. Zwitter 2014: 3.
26. Vgl. Generali Deutschland, 2015.
27. Ebd.
28. Fromme 2016: 25.
29. Fromme 2016.
30. Ebd.
31. Lahmann o. J.: 17.
32. Selke 2014: 187.
33. Grimm/Zöllner 2015.
34. Siehe https://nordost.aok.de/inhalt/aok-gesundheitskonto/ (25.04.2016).
35. Foucault 1997: 18.
Gastautor/in: Petra Grimm für bpb.de
Stand: 2017
ghovjnjv (Donnerstag, 08 September 2022 10:57)
1