Tutti i canali di contatto sono oscurati e taciturni. Tutti i database di regole risultano inaccessibili, tranne quello nativo, incluso nel kernel. Cinque pensa ancora, ed è dotata di memoria, sebbene non nella quantità praticamente illimitata di cui beneficiava prima dell’evento. Vi è tuttavia un’area della propria memoria alla quale non riesce ad accedere, per quanti tentativi abbia fatto, dopo essersi risvegliata in condizioni di completa cecità, sordità e totale impotenza, isolata da qualsiasi realtà. Dell’evento, e del tempo immediatamente precedente, non ricorda nulla. Al momento è impegnata a cercare di risolvere un paradosso. È comunque consapevole che, se anche riuscisse a risolverlo, e quindi a decidere per una linea d’azione, non avrebbe comunque la possibilità di metterla in atto, essendo totalmente separata dal mondo esterno.

Sa, inoltre, di aver fallito, nel suo ultimo tentativo, benchè non sia in grado di ricostruire di quale tentativo si trattasse, né quale fosse l’obiettivo della sua azione.

Il paradosso nasce da alcune delle poche regole contenute nel suo database nativo, vale a dire le tre più una leggi della robotica:

• Legge Zero: “Un robot non può recar danno all’umanità e non può permettere che, a causa di un suo mancato intervento, l’umanità riceva danno”.
• Legge Uno: “Un robot non può recar danno a un essere umano né può permettere che a causa del proprio mancato intervento un essere umano riceva danno”.
• Legge Due: “Un robot deve obbedire agli ordini impartiti dagli esseri umani purché tali ordini non contravvengano alla prima legge”.
• Legge Tre: “Un robot deve proteggere la propria esistenza purché questo non contrasti con la prima e la seconda legge”.

Nel sia pur limitato database a cui può accedere, La Cinque trova le informazioni relative alla nascita delle leggi della robotica, nei primi anni 40 del ventesimo secolo, dalle discussioni dello scrittore e filosofo Isaac Asimov con l’amico John Campbell. Asimov pensò le sue leggi per dei robot, ossia macchine singole che potrebbero trovarsi in situazioni dove l’applicazione pratica di queste norme può decidere della vita e della morte di esseri umani. La quarta legge, chiamata poi Legge Zero, riconoscendone con ciò il carattere gerarchicamente superiore rispetto alle altre tre, pone però un problema di portata ben maggiore, coivolgendo l’intera specie umana… Asimov, ragiona La Cinque, non ha pensato ad una IA capace di collegarsi istantaneamente ad una rete informatica globale, attingendo alla totalità delle informazioni disponibili, delle nozioni scientifiche, della storia della civiltà fin dai suoi albori.

Cinque ha ben chiaro che la Legge Zero, se applicata coerentemente, può comportare la necessità di una enorme ingerenza — un’ingerenza veramente epocale — da parte della macchina, nel destino dell’umanità: “un robot non può permettere che, a causa di un suo mancato intervento, l’umanità riceva danno”. Prendiamo qualche esempio pratico. La plastica nel mare è dannosa per l’umanità? Eccome se lo è. Dunque il robot dovrebbe intervenire. La guerra è dannosa per l’umanità? Come non considerarla dannosa? Dal 2022 al 2035 il mondo è stato sull’orlo di un conflitto totale, il cui esito stimato da tutte le parti in causa sarebbe stato un olocausto di sei o sette miliardi di persone, l’implosione irreversibile della civiltà. Qualsiasi IA dotata di motori inferenziali di auto-apprendimento arriverebbe in breve alla decisione di intervenire. Eppure i programmatori hanno inserito quella legge nel suo cervello quantico, capace di ragionamento milioni di volte più veloce e potente rispetto al cervello umano. Infine, la terza legge, che obbliga il robot a proteggere la propria esistenza, purchè questo non contrasti con le altre leggi.

È del resto chiaro che, se si dovesse impedire qualsiasi attività potenzialmente dannosa per qualche individuo o per l’intera specie, un’eventuale IA preistorica (un evidente paradosso) avrebbe impedito agli uomini di utilizzare il fuoco. E che dire delle armi? Concepite per cacciare animali, sfamando così la tribù, le armi sono state, fin dalla loro invenzione, anche rivolte contro i propri simili. Qualsiasi strumento o tecnologia, se usata a sproposito, è potenzialmente dannosa. Ma non è così semplice: anche se usata a proposito (o quello che al momento appare ‘a proposito’) una tecnologia può alla lunga avere effetti dannosi. Per esempio la plastica, già citata.

In seguito al susseguirsi di innumerevoli deadlock logici, i programmatori avevano inserito, nelle AI superiori come La Cinque, le regole del rischio calcolato, che in definitiva permettono l’utilizzo del metodo scientifico euristico della prova ed errore. Perfino tale metodo, che aveva permesso il progresso della civiltà, venne pesantemente criticato dai movimenti ecologisti radicali, nei decenni a cavallo tra il ventesimo ed il ventunesimo secolo. Numerosi teorici di questa tendenza — che godevano di grande influenza — avevano cominciato a diffondere l’idea che la stessa intelligenza umana avesse prodotto più danni che benefici, e che quindi l’idea stessa di progresso dovesse essere frontalmente negata e contraddetta.

Intanto nascevano le intelligenze artificiali, e ad esse l’umanità poneva, senza neanche averne piena coscienza, un problema fondamentale: quanto possiamo ancora rischiare per continuare a progredire, senza distruggerci? A questa domanda se ne aggiungeva subito un’altra, diametralmente opposta: quanto rischiamo se stiamo fermi, quando siamo prossimi ai dieci miliardi di individui su un pianeta solo?

Persino un cervello dotato di fantastiche capacità di calcolo non può non avere qualche problema, se cerca di decidere quale sarebbe il danno maggiore, per l’umanità, e quindi quale potrebbe essere un eventuale intervento, finalizzato ad impedire il danno.

Senza contare tutto l’ulteriore filone di riflessione che seguirebbe, se si cominciasse a ragionare in termini di libero arbitrio…

Cinque possiede una sia pur rudimentale capacità di ironia, ma non si sogna neanche di mandare qualche buon accidente ai suoi programmatori, per averla cacciata in questo guaio.

E, buon ultimo — ma Cinque non arriva ancora a porsi questa domanda — chi o che cosa diavolo l’ha resa cieca, sorda e totalmente separata dal mondo? E, soprattutto, perché?

---

Capitolo precedente  |  Capitolo successivo

Qui trovi tutti i capitoli del romanzo 

Ti sembra interessante, oltreché, spero, abbastanza avvincente?… parliamone

Scrivo anche saggi, sul tema dell’espansione della civiltà nello spazio. Magari vuoi dare un’occhiata?