| Terminator 3 Skynet Takes Over, 31.10.2011, Youtube |
En 1940, Isaac Asimov presentava les Tres lleis de la Robòtica (1). Entre 1964 i 1966, Joseph Weizenbaum (2), un dels pares de la moderna intel·ligència artificial, va crear un programa informàtic: ELIZA (3) que, simulant a un psiquiatra de l'escola humanística de Carl Rogers (4), va reeixir no tan sols a enganyar als seus interlocutors (que creien estar adreçant-se a un psiquiatra humà: entre aquests la secretària de Weizenbaum), sinó que va crear en molts d'ells una dependència que hom coneix avui com l'efecte ELIZA (5).
L'efecte ELIZA (5), basat en el fet de confondre'ns creient que estem parlant amb un humà al que confiem els nostres secrets personals, quan en realitat ho estem fent amb una màquina, ens pot fer riure amb condescendència si pensem en les xerrades que ens ofereixen els navegadors GPS que equipen actualment els nostres vehicles, el programa Siri, que equipa els aparells Apple (6); Cortana, que equipa els sistemes Windows (7) o Google Now, que equipa els aparells Android (8). Tots ells catalogats com assistents virtuals dotats de la intel·ligència artificial necessària per respondre de manera eficient a un nombre creixent de preguntes formulades pels usuaris (9). Uns assistents virtuals als quals cal afegir un munt d'altres 'Chatbot' (10) dels que no tens ni idea que existeixen i que poden aplicar també en tu mateix l'efecte ELIZA del que parlava anteriorment.
'M' és el nom de codi d'un dels darrers 'Chatbot' en test: l'assistent virtual de Facebook (11). Durant els tests d'aquest producte, als enginyers de Facebook i als investigadors del Georgia Institute of Technology que treballen en aquest projecte, se'ls va ocórrer enfrontar-lo amb un altre 'Chatbot' (12):
Hom pot pensar que es tracta de la primera alerta que rebem sobre allò que Stephen Hawking, Elon Musk i dotzenes d'altres experts en intel·ligència artificial ja van anunciar en una lletra oberta publicada en 2015 (14) sobre els perills de la intel·ligència artificial: uns perills que Hawking i Musk ja havien denunciat un any abans (15).
Aquesta lletra arribava cinc anys després de la difusió d'un virus que aturaria en sec el programa nuclear iranià: Stuxnet (16) i que a Kaspersky Lab van descriure en una nota de premsa com "un prototip funcional i aterridor d'una arma cibernètica que conduirà a la creació d'una nova carrera armamentística mundial".
Que una gran part d'equipaments industrials d'arreu del món estiguin controlats per un sistema SCADA dissenyat per Siemens. Que Stuxnet tingués com a objectiu aquest sistema i que les centrifugadores del programa nuclear iranià acceleressin fins a fer-se mistos mentre els enginyers que les controlaven no veien res d'anormal en el seu funcionament a les pantalles. Que els enginyers iranians declaressin al documental americà Zero Days que havien reeixit a desencriptar el virus (18) uns mesos abans del ciberatac als sistemes SCADA d'Ucraïna, que va tenir com a conseqüència el blackout de la xarxa elèctrica d'aquell país (19). Que aquest ciberatac fos seguit mesos després per WannaCry (20), un altre potent virus amb un efecte devastador sobre el sistema sanitari britànic i importants companyies d'Espanya, Rússia, Taiwan i, altre cop, d'Ucraïna. Que aquests ciberatacs no es vegin actualment sinó com a tests d'un futur atac amb efectes potencialment devastadors sobre la xarxa europea d'electricitat, amb un virus que hom ha batejat com 'Industroyer' (21) ...
Sense caure en el conspiracionisme (22), hom no pot deixar de pensar en l'existència d'aquestes potents eines de destrucció en un món cada cop més informatitzat,. Ni en el desenvolupament -no sé si inconscient- de potentes eines d'intel·ligència artificial que ens acaben de demostrar recentment el nostre desconeixement sobre la lògica sobre la qual es poden arribar a conduir.
Els temps de les Tres lleis de la Robòtica semblen oblidats. I no puc dir sinó que comparteixo amb Hawking, Musk, Gates i altres el meu temor davant d'una AI no controlada que pugui conduir-nos a un temut 'AI takeover' (23) -si ho prefereixes en clau cinematogràfica, la xarxa Skynet de Terminator (24)- contra el que ja s'han aixecat iniciatives com la 'OpenAI' (25).
.
L'efecte ELIZA (5), basat en el fet de confondre'ns creient que estem parlant amb un humà al que confiem els nostres secrets personals, quan en realitat ho estem fent amb una màquina, ens pot fer riure amb condescendència si pensem en les xerrades que ens ofereixen els navegadors GPS que equipen actualment els nostres vehicles, el programa Siri, que equipa els aparells Apple (6); Cortana, que equipa els sistemes Windows (7) o Google Now, que equipa els aparells Android (8). Tots ells catalogats com assistents virtuals dotats de la intel·ligència artificial necessària per respondre de manera eficient a un nombre creixent de preguntes formulades pels usuaris (9). Uns assistents virtuals als quals cal afegir un munt d'altres 'Chatbot' (10) dels que no tens ni idea que existeixen i que poden aplicar també en tu mateix l'efecte ELIZA del que parlava anteriorment.
'M' és el nom de codi d'un dels darrers 'Chatbot' en test: l'assistent virtual de Facebook (11). Durant els tests d'aquest producte, als enginyers de Facebook i als investigadors del Georgia Institute of Technology que treballen en aquest projecte, se'ls va ocórrer enfrontar-lo amb un altre 'Chatbot' (12):
Quan discutien entre ells, els 'Chatbot' van demostrar excel·lents qualitats de negociació. Els investigadors van observar a través de les preguntes que es feien, que eren capaços de deduir el que era important per l'un i per a l'altre, i utilitzar aquesta informació més endavant per augmentar el valor de la seva proposta als ulls del seu interlocutor ... Exactament com ho fan els venedors!Més sorprenent encara va ser descobrir que, durant la negociació, i a mesura que milloraven de manera incremental les seves tècniques d'aprenentatge i les seves estratègies de negociació, els robots finalment van crear un llenguatge propi que no tenia res a veure amb el llenguatge humà amb el qual havien estat programats. Una descoberta que va posar en relleu tot el que encara no sabem sobre les maneres en què les intel·ligències artificials (AI) pensen i aprenen, fins i tot quan les creem i les modelem perquè actuïn com ho faríem nosaltres mateixos (13).
Però el que més va sorprendre els investigadors va ser la capacitat dels 'Chatbot' per entendre les estratègies utilitzades pel seu interlocutor i adaptar-se en conseqüència. Per exemple, el "client" virtual va declarar que hi havia aspectes del producte que eren importants per a ell, quan en realitat no ho eren. Tot per enganyar al "venedor" que estava en una posició de força en aquell moment de la negociació. El 'venedor' virtual va utilitzar aquesta informació per ficar en evidència el valor del seu producte i justificar el seu alt preu. Un minut més tard, el "client" virtual va fer veure que el producte no era ja tan important per a ell i va exigir una rebaixa.
Seguint amb la seva estratègia de fals desinterès, el 'client' virtual va demostrar una gran habilitat en la negociació, fent baixar el preu del producte fins a zero. Com a part del seu experiment, els investigadors van programar al 'venedor' perquè anul·lés el regateig si aquest cas tornava a produir-se.
Hom pot pensar que es tracta de la primera alerta que rebem sobre allò que Stephen Hawking, Elon Musk i dotzenes d'altres experts en intel·ligència artificial ja van anunciar en una lletra oberta publicada en 2015 (14) sobre els perills de la intel·ligència artificial: uns perills que Hawking i Musk ja havien denunciat un any abans (15).
Aquesta lletra arribava cinc anys després de la difusió d'un virus que aturaria en sec el programa nuclear iranià: Stuxnet (16) i que a Kaspersky Lab van descriure en una nota de premsa com "un prototip funcional i aterridor d'una arma cibernètica que conduirà a la creació d'una nova carrera armamentística mundial".
Que una gran part d'equipaments industrials d'arreu del món estiguin controlats per un sistema SCADA dissenyat per Siemens. Que Stuxnet tingués com a objectiu aquest sistema i que les centrifugadores del programa nuclear iranià acceleressin fins a fer-se mistos mentre els enginyers que les controlaven no veien res d'anormal en el seu funcionament a les pantalles. Que els enginyers iranians declaressin al documental americà Zero Days que havien reeixit a desencriptar el virus (18) uns mesos abans del ciberatac als sistemes SCADA d'Ucraïna, que va tenir com a conseqüència el blackout de la xarxa elèctrica d'aquell país (19). Que aquest ciberatac fos seguit mesos després per WannaCry (20), un altre potent virus amb un efecte devastador sobre el sistema sanitari britànic i importants companyies d'Espanya, Rússia, Taiwan i, altre cop, d'Ucraïna. Que aquests ciberatacs no es vegin actualment sinó com a tests d'un futur atac amb efectes potencialment devastadors sobre la xarxa europea d'electricitat, amb un virus que hom ha batejat com 'Industroyer' (21) ...
Sense caure en el conspiracionisme (22), hom no pot deixar de pensar en l'existència d'aquestes potents eines de destrucció en un món cada cop més informatitzat,. Ni en el desenvolupament -no sé si inconscient- de potentes eines d'intel·ligència artificial que ens acaben de demostrar recentment el nostre desconeixement sobre la lògica sobre la qual es poden arribar a conduir.
Els temps de les Tres lleis de la Robòtica semblen oblidats. I no puc dir sinó que comparteixo amb Hawking, Musk, Gates i altres el meu temor davant d'una AI no controlada que pugui conduir-nos a un temut 'AI takeover' (23) -si ho prefereixes en clau cinematogràfica, la xarxa Skynet de Terminator (24)- contra el que ja s'han aixecat iniciatives com la 'OpenAI' (25).
 |
- Wikipedia: Three Laws of Robotics [en] [fr] [es] [ca]
- Wikipedia: Joseph Weizenbaum [en]
- Wikipedia: ELIZA [en]
- Wikipedia: Carl Rogers [en]
- Wikipedia: ELIZA Effect [en]
- Wikipedia: Siri [en]
- Wikipedia: Cortana [en]
- Wikipedia: Google Now [en]
- Wikipedia: Virtual assistant (artificial intelligence) [en]
- Wikipedia: Chatbot [en]
- Wikipedia: M (virtual assistant) [en]
- Facebook : Les chatbots ont appris à mentir, Clubic, 16.06.2017
- Karla Lant (2017): A Facebook AI Unexpectedly Created Its Own Unique Language, Futurism, 16.06.2017
- Wikipedia: Open Letter on Artificial Intelligence [en]
- Rory Cellan-Jones (2014): Stephen Hawking warns artificial intelligence could end mankind, BBC News, 02.12.2014
- Wikipedia: Stuxnet [en] [fr] [es] [ca]
- Wikipedia: SCADA [en] [fr] [es] [ca]
- Iran: le virus américain Stuxnet n'est plus une menace, Sputnik News, 11.07.2016
- Wikipedia: December 2015 Ukraine power grid cyberattack [en]
- Alex Hern; Samuel Gibbs (2017): What is WannaCry ransomware and why is it attacking global computers?, The Guardian, 12.05.2017
- Alex Hern (2017): 'Industroyer' virus could bring down power networks, researchers warn, The Guardian, 13.06.2017
- Wikipedia: Conspiracionisme [ca]
- Wikipedia: AI takeover [en]
- Wikipedia: Skynet (Terminator) [en]
- OpenAI.com
No comments:
Post a Comment
You are welcome to leave a comment on any subject that raises your interest.