Robotica militare e riflessione etica Guglielmo Tamburrini Università

Robotica militare e riflessione etica Guglielmo Tamburrini Università di Napoli Federico II Napoli, 18 ottobre 2011 Scuola di dottorato in ingegneria dell’informazione

Etica e robotica • Sviluppi della ricerca, nuovi temi etici ▫ dalla robotica industriale alla robotica di servizio • Analisi di problemi etici e regole di condotta ▫ Riguardano progettisti, costruttori, utenti di sistemi robotici… • Diversi progetti internazionali ▫ ETHICBOTS (VI FP) ▫ Robot companion flagship CA (VII FP)

Some ethical questions: • Who is responsible for damages caused by care robots? • • • (retrospective responsibility) Are there moral constraints on control hierarchies in human -robot cooperation? (human autonomy and resp. ) Which (ethical) motivations for /against letting some service robot step into society? (prospective responsibility) Can military robots act autonomously in the battlefield? (responsibility, human dignity and autonomy), Is human culture impoverished by extensive stereotypical interactions with robots? (human dignity) Are autonomous robots bearers of rights? (personhood)

Pluralismo nella riflessione etica • Impostazione deontologica ▫ Le intenzioni di un’azione sono moralmente significative quanto le conseguenze. ▫ Vi sono regole morali che non ammettono eccezioni alla luce delle conseguenze (imperativo categorico, uomo come fine). • Impostazione consequenzialista ▫ Valuta un’azione come meritevole di lode o biasimo morale in base alle sue conseguenze. ▫ Utilitarismo

Unmanned Aerial Vehicles

La cabina di pilotaggio di un drone

Veicoli senza equipaggio e responsabilità • Tipi di responsabilità ▫ morale e oggettiva ▫ prospettiva e retrospettiva • Caratteristiche dei droni ▫ Sistemi controllati in remoto ▫ Poca autonomia ▫ Eye-on-target da parte dell’operatore umano

Attribuzioni di responsabilità • Al robot attuale non si ascrive responsabilità ▫ Morale: assenza di intenzionalità e consapevolezza ▫ Oggettiva: impossibile un sistema sanzionatorio • La responsabilità si ascrive a una persona (fisica o giuridica) ▫ Progettisti, programmatori, produttori ▫ Venditori, certificatori, assicuratori ▫ Utilizzatori

Jus in bello regole operative e responsabilità retrospettiva • Discriminazione ▫ Individuare i bersagli militari con precisione • Proporzionalità ▫ Commisurare la forza impiegata al bersaglio • Catena di comando ▫ Garantire la possibilità di identificare gli autori delle azioni militari

Exclusive: Computer Virus Hits U. S. Drone Fleet Wired News, 7 october 2011 • A computer virus has infected the cockpits of America’s Predator and Reaper drones, logging pilots’ every keystroke as they remotely fly missions over Afghanistan and other warzones. …“We keep wiping it off, and it keeps coming back, ” says a source familiar with the network infection, one of three that told Danger Room about the virus. “We think it’s benign. But we just don’t know. ” …But despite their widespread use, the drone systems are known to have security flaws. Many Reapers and Predators don’t encrypt the video they transmit to American troops on the ground. In the summer of 2009, U. S. forces discovered “days and hours” of the drone footage on the laptops of Iraqi insurgents. A $26 piece of software allowed the militants to capture the video.

Unmanned Ground Vehicles

Jus ad bellum e controllo democratico Division of war powers btw President and Congress • US President Barack Obama recently argued that he did not need congressional approval for military operations in Libya because they were carried out by unmanned aerial systems such as the MQ-1 Predator and the MQ-9 Reaper. In Pakistan, US unmanned systems have made more than 250 strikes against suspected terrorists since 2004. Notably, these strikes are carried out by CIA drones rather than military ones, meaning even less oversight. • P. W. Singer, A world of killer apps, Nature, 22 september 2011, p. 400

ABC News, 20 may 2011 • President Obama wrote a letter to congressional leaders this afternoon suggesting that the role is now so “limited” he does not need to seek congressional approval. “Since April 4, U. S. participation has consisted of: (1) nonkinetic support to the NATO-led operation, including intelligence, logistical support, and search and rescue assistance; (2) aircraft that have assisted in the suppression and destruction of air defenses in support of the no-fly zone; and (3) since April 23, precision strikes by unmanned aerial vehicles against a limited set of clearly defined targets in support of the NATO-led coalition's efforts. ”

NYT, 18 June 2011 • In reaching his conclusion Mr Obama rejected the opinions of Mr Jeh Johnson, the Pentagon general counsel, and Ms Caroline Krass, the acting head of the Justice Department's Office of Legal Counsel, citing unnamed officials familiar with the deliberations. • Mr Johnson and Ms Krass both told the White House they believed that US military activity in the Nato-led air war over Libya amounted to 'hostilities'.

Unmanned Undersea Vehicles

Unmanned Surface Vehicles

Etica e politica • …negli ultimi due anni, sui vari fronti in cui siamo impegnati i droni hanno ucciso più di 700 innocenti… (p. 72) • Quali analisi di responsabilità per gli errori? • Nulla, in teoria, impedisce di venderli a forze di polizia, mercenari, grandi aziende, guardie giurate, invesigatori privati, vigilantes… (p. 84) • Quali controlli sulla diffusione? • (W. Langewiesche – Esecuzioni a distanza, Milano, Adelphi 2011)

Dual use : security • Droni per l’American Border Patrol (Border Hawk) • Robot Guard Dog (Sanyo) • Dual use per il Talon Swords ▫ Perlustrazione di strade ed edifici ▫ Checkpoint security

W. Langewiesche – Esecuzioni a distanza, Adelphi 2011 • Quali effetti psicologici su operatori e società? ▫ Appena uscito dall’abitacolo ha riempito un’infinità di moduli. Poi si è messo in macchina per tornare a casa, finendo imbottigliato nel traffico di Las Vegas. . . ▫ Ormai le nostre guerre sono molto lontane. Anche dai soldati qualsiasi, e soprattutto dai più giovani. Qualche mese dopo l’episodio, l’operatore si è congedato. Gli psicologi dell’aviazione tentano di far accettare ai militari le stranezze della loro nuova vita, ma con uno smanettone che della vita non sa nulla può essere complicato. (p. 77 -78)

Dai sistemi controllati in remoto agli Autonomous Military Agent (AMA) • Contra ▫ ▫ Ricorso più facile all’azione militare Progressivo abbandono della diplomazia Riduzione del controllo democratico Maggiori perdite e danni per il nemico (vincere la pace vs vincere la guerra) • Pro ▫ Riduzione di perdite umane comporta minore dissenso. ▫ Riduzione dei costi della guerra per il contribuente. ▫ Riduzione del fattore umano…

Robot autonomi e fattore umano The American military is working on a new generation of soldiers, far different from the army it has. “They don’t get hungry, ” said Gordon Johnson of the Joint Forces Command at the Pentagon. “They’re not afraid. They don’t forget their orders. They don’t care if the guy next to them has just been shot. Will they do a better job than humans? Yes” The robot soldier is coming. New York Times, 15. 2. 2005

Dispositivi autonomi (CIWS)

La sentinella robotica SGR-A 1 un ‘kill-box’ per aggirare problemi di riconoscimento?

Il paradosso della guerra senza rischi e gli AMA • Si tende a ridurre il rischio per il proprio esercito. Ma si può eliminare del tutto? • Il rischio di entrambi giustifica moralmente i contendenti (autodifesa reciproca - La guerra di Piero) • Il rischio completamente asimmetrico è proprio delle operazioni di polizia (buoni vs. cattivi, Corte int dell’Aia) • Caso dell’intervento USA in Libia?

Progetti avanzati - Crusher

Progetti avanzati - Big. Dog

Prevedibilità del comportamento degli AMA §Il comportamento scaturisce da interazioni del sistema con un ambiente molto dinamico e poco strutturato §Il comportamento può dipendere da un processo di apprendimento, ma §I metodi tradizionali di machine learning funzionano sotto l’ipotesi di rappresentatività degli insiemi di apprendimento, test e validazione. §Le teorie dell’apprendimento computazionale consentono di dedurre bound probabilistici sulla percentuale di errori solo sotto ipotesi di stabilità della funzione da apprendere.

Conoscenza incerta e problematiche etiche • Impostazione consequenzialista: come valutare conseguenze buone e cattive? • Impostazione deontologica: difficile applicare la dottrina del doppio effetto (DDE). ▫ DDE - Un’azione con effetti cattivi previsti ma inseparabili dell’effetto buono è giustificabile se: L’intenzione è quella di ottenere l’effetto buono L’effetto buono desiderato ha maggior peso di quello cattivo L’effetto dannoso viene minimizzato e non è il mezzo per ottenere quello buono

Int. Herald Tribune, 26. 11. 2008 ▫ “My research hypothesis is that intelligent robots can behave more ethically in the battlefield than humans currently can”, said Ronald Harkin, a professor at the Georgia Institute of Technology who is designing software for battlefield robots under contract from the U. S. Army.

Etica e guerra Leggi di Guerra (L. O. W. ) • Suddivisione giurisprudenziale ▫ Jus ad bellum – entrata in guerra ed uso della forza militare ▫ Jus in bello – condotta durante i conflitti ▫ Jus post bellum – trattamento prigionieri, occupazione territori • Convenzioni internazionali ▫ Convenzioni dell’Aia (1899 -1907) ▫ Convenzioni di Ginevra (1949 -1977) • In Italia “Legge di Guerra e Neutralità” ▫ R. D. 8 luglio 1938

Etica e guerra Regole d’Ingaggio (R. O. E. ) • Emanate dai vertici militari ▫ Applicazioni particolare dello jus in bello ▫ Tengono conto delle leggi internazionali e nazionali ▫ Possono variare secondo la tipologia e l’andamento del conflitto • Indirizzate ai soldati sul campo ▫ Condizioni e modalità di impiego della forza ▫ Norme relative a categorie di situazioni possibili

Alcune regole basate su ROE - Desert Storm 1) Non attaccare chiunque sia ferito, si sia arreso o non sia un combattente. 2) Considera un bersaglio valido chiunque punti un’arma e non sia un commilitone. 3) Considera un bersaglio valido chiunque ti attacchi. 4) Restringi l’attacco solo al bersaglio valido correttamente identificato. 5) Se il bersaglio è valido è tracciato con certezza, devi attaccare. · Condizioni di applicazione dipendenti da capacità percettive e cognitive

Un’architettura robotica Arkin (2007) Behaviour based/deliberativa

Percezione Risultati di benchmark Test M-ELROB Ricognizione, individuazione bersagli, controllo perimetro l Ambiente urbano ed extra-urbano l Nessun sistema ottiene buoni risultati nella target detection, in particolare nella prova notturna l

Autonomous Military Robotics: Risk, ethics, and design Report prepared for the Office of Naval Research by Patrick Lin, George Bekey, Keith Abner, dec. 20, 2008 • Creating autonomous military robots that can act at least as ethically as human soldiers appears to be a sensible goal, at least for the foreseeable future and in contrast to a greater demand of a perfectly-ethical robot. • However, there are still daunting challenges in meeting even this relatively-low standard, such as the key difficulty of programming a robot to reliably distinguish enemy combatants from non-combatants, as required by the Laws of War and most Rules of Engagement. (p. 90)

Memoria storica No, il futuro offre ben poca speranza per quelli che aspettano che i nostri nuovi schiavi meccanici ci offrano un mondo in cui potremo riposarci senza pensare. Aiutarci possono, ma chiedendo moltissimo alla nostra onestà ed intelligenza. Il mondo del futuro sarà una battaglia sempre più impegnativa contro le limitazioni della nostra intelligenza, non un’amaca confortevole su cui distenderci, serviti dai nostri schiavi meccanici”. Norbert Wiener 1964

Memoria storica The electric dog, which now is but an uncanny scientific curiosity, may within the very near future become in truth a real ‘dog of war, ’ without fear, without heart, without the human element so often susceptible to trickery, with but one purpose: to overtake and slay whatever comes within range of its senses at the will of its master. Miessner 1916, Radiodynamics: The Wireless Control of Torpedoes and Other Mechanisms, NYC: Van Nostrand p. 199.

Ringraziamenti • Vincenzo Capone ▫ ▫ Rafael Capurro Thomas Christaller Edoardo Datteri Jutta Weber