(Italiano) Immoral Code: militarizzazione delle tecnologie informatiche e rischi nucleari

ORIGINAL LANGUAGES, 16 Oct 2023

Elena Camino | Centro Studi Sereno Regis – TRANSCEND Media Service

Responsabilità sociale degli informatici professionisti

14 Ottobre 2023 – Il 5 ottobre 2023, presso il Centro Studi Sereno Regis, nell’ambito della V edizione del Festival della Nonviolenza, è stato proiettato il documentario “Immoral Code”. Immoral Code è una video-indagine in cui viene chiesto ad alcun* rappresentanti della società civile di esprimere il loro parere su situazioni in cui è, o potrebbe essere considerato moralmente e socialmente accettabile uccidere altri esseri umani.  Oltre ad alcune circostanze che prevedono una scelta umana, viene prospettato il caso che sia una ‘macchina’ a prendere la decisione finale.

A proporre la visione di questo filmato, a fornire alcuni chiarimenti sul tema e ad avviare il dibattito, è stato Norberto Patrignani, docente di Etica e Informatica presso il Politecnico di Torino. Norberto da molti anni offre la sua competenza al CSSR (di cui è da qualche tempo anche socio) per promuovere una maggiore conoscenza del mondo dell’informatica e – in particolare – per promuovere lo sviluppo e l’applicazione di una tecnologia informatica ‘lenta’: ‘Slow Tech’, in grado cioè di progettare e realizzare un’informatica buona (disegnata ponendo al centro i bisogni degli esseri umani), pulita (che minimizza l’impatto ambientale dell’ICT) e giusta (che tiene in considerazione le condizioni dei lavoratori nella filiera ICT).

Un tema del quale  Norberto Patrignani si è particolarmente interessato è il ruolo – e quindi le responsabilità – dei progettisti informatici, impegnati in usi costruttivi (es. ethical hackers) e applicazioni distruttive (es. robot-killer).“Le persone esperte di informatica dovrebbero essere “computer professional” che vedono la conoscenza e l’esperienza solo come una delle loro caratteristiche, che si considerano non semplici individui ma membri di una comunità professionale, con una responsabilità sociale, consapevoli del contesto applicativo dei loro progetti, con un impegno a proteggere l’interesse pubblico e l’ambiente”.

Il problema affrontato nel video ‘Immoral code’ riguarda il caso dei cosiddetti ‘killer robots’: un esempio estremo di una situazione ben più ampia e complessa, che riguarda la progressiva delega dell’esecuzione di azioni umane alle macchine, e la conseguente perdita di controllo della ‘scelta’ umana (che sarebbe in grado di modificarsi anche di fronte all’imponderabile e improvviso mutare degli eventi) a  favore della ‘decisione’ presa da un algoritmo, ed eseguita da una macchina senza possibilità di ‘ripensamenti’.  Sui ‘killer robots’ e sulla Campagna per la loro abolizione tornerò nell’ultima parte di questo articolo.

L’esempio del ‘killer robot’ – pur essendo ‘estremo’ perché riguarda una questione di vita o di morte di singole persone – in realtà esemplifica in modo efficace una situazione che negli ultimi anni si è diffusa in modo preoccupante, alimentando una inquietante insicurezza in tutti i campi del vivere umano. La crescente delega a sistemi automatici di processi di ogni genere – dalle attività produttive alle logistiche, da quelle farmaceutiche e agricole a quelle relative alle comunicazioni – sta creando un mondo basato su un sistema informatico che non solo esprime una complessità crescente, che per la sua stessa natura è soggetto a irriducibili errori.

Strategie politiche e sicurezza informatica

Il rapido sviluppo e la crescente utilizzazione dell’informatica in tutti i campi della società portano con sé opportunità nuove, ma anche rischi di insicurezza e ingovernabilità mai immaginati prima.

Uno studioso che da anni è impegnato nella ricerca in questo campo è Herb Lin, Senior Research Scholar presso il Center for International Security and Cooperation all’Università di Stanford (USA). Egli sottolinea il fatto che – anche se i principi fondamentali della tecnologia dell’informazione cambiano lentamente – nuove applicazioni della tecnologia dell’informazione appaiono con rapidità crescente: una rapidità alla quale gli operatori umani faticano a star dietro. Particolarmente complesso e rischioso appare a livello strategico lo spazio cibernetico, che è considerato il più recente ambiente di guerra (il quinto dominio dopo terra, mare, cielo e spazio).

Una guerra cibernetica (cyber-warfare) è l’insieme delle attività di preparazione e conduzione di operazioni di contrasto nello spazio cibernetico, che si può tradurre nell’intercettazione, nell’alterazione e nella distruzione dell’informazione e dei sistemi di comunicazione nemici, procedendo a far sì che sul proprio fronte si mantenga un relativo equilibrio dell’informazione. Tale guerra si caratterizza per l’uso di tecnologie elettroniche, informatiche e dei sistemi di telecomunicazione.

Con lo sviluppo dell’IA a tutti i settori e ambiti delle attività umane, da qualche tempo si stanno sperimentando applicazioni anche nel settore che riguarda i conflitti nucleari (nuclear-warfare). Herb Li insiste sulla necessità di ricorrere a esperti di molte diverse discipline e campi del sapere, per affrontare con sufficiente consapevolezza le domande che sorgono all’incrocio tra il “cyber” e il “nucleare”.

“Ciò che sappiamo dalla storia e dall’esperienza – vale a dire le metafore, le analogie e i precedenti con cui i politici hanno familiarità – potrebbe non funzionare se applicato al dominio informatico. Ad esempio, un’analogia nucleare per la politica e la sicurezza informatica è allettante […] ma sebbene esistano numerose utili analogie tra il settore nucleare e quello informatico, queste potrebbero non fornire indicazioni utili per molto tempo.” […] “Le domande sulla portata degli effetti, sull’attribuzione, sull’allarme tattico e sulla valutazione dell’attacco, sulla pianificazione dell’attacco, sulla ricostituzione e recupero, e sul comando e controllo sono fondamentali per comprendere una serie di scenari importanti nel conflitto nucleare e nel conflitto informatico – ma la natura dell’effetto e le risposte a queste domande sono drammaticamente diverse”.

Ordigni nucleari e militarizzazione dell’IA

Nonostante i suggerimenti di cautela pronunciati da Herb Li (che è uno dei massimi esperti mondiali di sicurezza) e da altri studiosi e studiose del settore, le principali potenze mondiali stanno incorporando le tecniche dell’Intelligenza Artificiale (IA) nei sistemi militari nucleari, che sono in rapida evoluzione.

In un recente articolo di ricerca intitolato Nuclear weapons and the militarization of AI Guglielmo Tamburrini, professore di logica e filosofia della scienza presso l’Università Federico II di Napoli, che da molti anni studia le implicazioni etiche delle tecnologie informatiche, segnala alcune delle implicazioni delle applicazioni dell’IA ai sistemi militari, e fornisce esempi dei principali rischi nucleari emergenti a causa della militarizzazione dell’IA, tra cui:

• La maggiore vulnerabilità delle infrastrutture nucleari militari grazie ad attacchi informatici più precisi basati sull’intelligenza artificiale.
• l rischi derivanti dalle vulnerabilità intrinseche dell’IA, dalla fragilità e dall’opacità dell’elaborazione delle informazioni.
• le implicazioni destabilizzanti più ampie dell’IA sulle politiche di deterrenza nucleare. Per esempio, tra gli utilizzi dell’IA si sta perfezionando la capacità di generare, a partire dalla raccolta di un gran numero di dati, delle simulazioni in grado di riprodurre voci, gesti, discorsi di persone famose e influenti (politici, capi di stato, comandanti militari), mettendo sulle loro labbra affermazioni che non hanno mai pronunciato. I cicli di apprendimento informatici (deep learning) così pilotati sono chiamati deepfake, un neologismo inglese che fonde l’espressione deep learning (una metodologia particolarmente efficace per lo sviluppo di sistemi dell’IA) e la parola fake (falso). Le deepfake possono contribuire a minare la credibilità dei decisori politici e a ridurre l’efficacia delle politiche di dissuasione o deterrenza nucleare.

In un testo divulgativo messo a disposizione sul sito della rivista Sbilanciamoci lo stesso Autore spiega che la crescente automazione “intelligente” dei sistemi di early warning (allarme precoce) nucleare  avrebbe lo scopo di velocizzare e perfezionare l’elaborazione dei dati raccolti sul campo, guadagnando tempo prezioso da mettere a disposizione di chi deve stabilire se un attacco nucleare sia veramente in corso, e deliberare tempestivamente sulle contromisure da mettere in atto. Ma a fronte di vantaggi ipotetici di questo genere, è necessario evidenziare i nuovi rischi che emergono utilizzando l’IA. Un primo elemento è la scarsità di dati reali su eventi di lancio di missili armati con testate nucleari: l’assenza di quantità imponenti di dati rilevanti (i “big data”) può ridurre l’efficacia dell’addestramento e la capacità del sistema a svolgere correttamente il compito.

Inoltre – prosegue Tamburrini – un buon processo di addestramento non esclude che il sistema commetta degli errori, una possibilità che è connaturata alle classificazioni e alle decisioni statistiche prese dai migliori sistemi che l’IA consente attualmente di sviluppare. Ma la falsa rilevazione di un lancio di missili può innescare come reazione un uso ingiustificato e catastrofico delle armi nucleari; la mancata rilevazione di un vero lancio può impedire ogni forma residua di difesa e protezione.

Una terza fonte di rischio è legata alla difficoltà di interpretare i processi di elaborazione dell’informazione di un sistema dell’IA, che attualmente sono poco trasparenti e difficilmente interpretabili da utenti e decisori umani – nonostante le ricerche in corso in corso, impegnate a mitigare l’opacità degli attuali sistemi dell’IA.

Simulazione vs intuizione

L’IA è programmata per imparare dall’esistente, da eventi già accaduti: tante più informazioni riceve di eventi passati, tanta più ampia sarà la casistica alla quale può attingere, copiando e mettendo insieme i dati ricevuti.  Ma i sistemi di IA non possiedono alcune delle capacità più interessanti e preziose che caratterizzano gli umani: la capacità di rispondere a un evento inatteso con creatività e intuizione.  E’ ben nota la storia del tenente colonnello Stanislav Petrov, che il 26 settembre 1983, quando il sistema sovietico di early warning segnalò un attacco nucleare sferrato con cinque missili in arrivo dagli Stati Uniti, nei pochi minuti a sua disposizione si convinse che il responso della macchina era un falso positivo e perciò si astenne dal trasmettere la segnalazione di attacco ai suoi superiori.

Come raccontò in seguito, nel breve tempo che aveva a disposizione Petrov osservò che “se si dà inizio una guerra, non lo si fa lanciando solo cinque missili”. Questo è un caso esemplare di ragionamento umano basato sul buon senso, su conoscenze di contesto e di sfondo che sono difficilmente accessibili a una macchina.

In conclusione, l’applicazione delle nuove acquisizioni informatiche sui sistemi di IA all’ambito militare  – e in particolare al settore nucleare – sta creando inquietanti difficoltà di gestione, di controllo e di sicurezza.  Più in generale, la crescente interconnessione tra i sistemi di gestione dei cyber-conflitti e gli apparati relativi agli armamenti nucleari sta rendendo sempre più insicura la vita umana sul nostro pianeta.

La responsabilità delle scelte

Con l’aumentare del livello di automatismo affidato alle ‘macchine’ si rischia di perdere di vista chi sono i soggetti che prendono le decisioni nelle situazioni di conflitto internazionale, che siano conflitti cibernetici o nucleari o –  come sempre più spesso accade – siano un intreccio tra i due.  I capi di governo? I militari? Le macchine? Come individuare i responsabili di scelte da cui dipendono le vite di singoli, ma anche di migliaia o milioni di persone? Se e come stabilire delle ‘regole’ che consentano di distinguere il lecito dall’illecito, e di chiedere conto di scelte cruciali ai soggetti umani inseriti nelle catene di comando e controllo delle azioni belliche?

Una Nuova Agenda per la Pace, pubblicata il 20 luglio 2023 e promossa dal Segretario generale delle Nazioni Unite Antonio Guterres, cerca di rispondere anche ad alcune di queste domande, lanciando un appello urgente agli stati affinché adottino un trattato legale per vietare e regolamentare i sistemi d’arma autonomi entro il 2026. Questa scadenza è un riconoscimento del fatto che le nuove tecnologie pongono aspetti umanitari fondamentali, preoccupazioni legali, di sicurezza ed etiche che minacciano direttamente i diritti umani e le libertà fondamentali. L’Agenda per la Pace e le sue “raccomandazioni orientate all’azione” sono presentate dal Segretario Generale, ma arrivano dopo una serie di consultazioni con gli Stati membri e le organizzazioni regionali, la società civile e il sistema delle Nazioni Unite.

Nel difficile cammino verso un futuro mondiale pacificato, la Nuova Agenda per la Pace presenta dodici proposte concrete in cinque aree prioritarie, una delle quali riguarda proprio la prevenzione della militarizzazione delle nuove tecnologie, come l’intelligenza artificiale e i sistemi di armi autonomi, attraverso la governance globale.

La Campagna “Stop Killer Robots”

Foto Campaign to Stop Killer Robots (CC BY-SA 2.0)

In questo scenario si colloca la Campagna “Stop Killer Robots”, una Campagna lanciata pubblicamente nel 2013, che opera a livello globale con oltre 180 organizzazioni partner. È composta da quattro ONG internazionali, una rete di ONG regionali e quattro ONG nazionali che lavorano a livello internazionale, e invita tutti i Paesi ad un passo positivo verso l’avvio di negoziati internazionali.

La Campagna sostiene l’appello congiunto del Segretario generale delle Nazioni Unite e del Presidente della Croce Rossa Internazionale che esortano i Governi a stabilire divieti e regole sulle armi autonome, e chiedono restrizioni ai sistemi di armi autonome per proteggere l’umanità “Le macchine che hanno il potere e la discrezionalità di uccidere esseri umani sono politicamente inaccettabili, moralmente ripugnanti e dovrebbero essere vietate dalla legge internazionale” ha ribadito Guterres, per sottolineare i problemi umanitari, legali, di sicurezza ed etici posti dai robot killer.

L’appello di ONU e CRI è condiviso da migliaia di esperti, scienziati, 26 premi Nobel, Amnesty international, Human rights watch, il Comitato internazionale della Croce rossa, la Rete italiana pace e disarmo e tante altre realtà della società civile internazionale riunite nella campagna Stop killer robots.

L’obiettivo della Campagna, raccolto e fatto proprio dalle Nazioni Unite, è la creazione di una norma internazionale che sancisca per sempre l’obbligo di un controllo umano significativo sull’uso della forza e quindi il divieto di sviluppare, produrre e usare armi guidate in autonomia dall’intelligenza artificiale.

È in programma nel mese di ottobre il voto cruciale su una Risoluzione presentata all’Assemblea generale delle Nazioni Unite (UNGA) di New York contro le armi autonome (“killer robots”): gli Stati possono prendere posizione a favore dell’umanità, tracciando la strada per un nuovo diritto internazionale.

Al momento, segnala la Rete italiana pace e disarmo, circa 100 Stati – in forme diverse – hanno chiesto uno strumento giuridico sulle armi autonome. Ma le discussioni per l’adozione di tale strumento sono state finora bloccate da una minoranza di Stati militarizzati che stanno investendo pesantemente nello sviluppo di armi autonome: nell’Assemblea generale delle Nazioni Unite questi Paesi non avranno però il potere di bloccare ulteriormente il dibattito.

_______________________________________________

Elena Camino è membro della rete TRANSCEND per la Pace, Sviluppo e Ambiente e Gruppo ASSEFA Torino.

Go to Original – serenoregis.org

Share this article: email mastodon facebook 🔗 copy link

DISCLAIMER: The statements, views and opinions expressed in pieces republished here are solely those of the authors and do not necessarily represent those of TMS. In accordance with title 17 U.S.C. section 107, this material is distributed without profit to those who have expressed a prior interest in receiving the included information for research and educational purposes. TMS has no affiliation whatsoever with the originator of this article nor is TMS endorsed or sponsored by the originator. “GO TO ORIGINAL” links are provided as a convenience to our readers and allow for verification of authenticity. However, as originating pages are often updated by their originating host sites, the versions posted may not match the versions our readers view when clicking the “GO TO ORIGINAL” links. This site contains copyrighted material the use of which has not always been specifically authorized by the copyright owner. We are making such material available in our efforts to advance understanding of environmental, political, human rights, economic, democracy, scientific, and social justice issues, etc. We believe this constitutes a ‘fair use’ of any such copyrighted material as provided for in section 107 of the US Copyright Law. In accordance with Title 17 U.S.C. Section 107, the material on this site is distributed without profit to those who have expressed a prior interest in receiving the included information for research and educational purposes. For more information go to: http://www.law.cornell.edu/uscode/17/107.shtml. If you wish to use copyrighted material from this site for purposes of your own that go beyond ‘fair use’, you must obtain permission from the copyright owner.

Comments are closed.