Asphalt jungle : qui les voitures autonomes écraseront-elles ?

Depuis 2016, le Massachusetts Institute of Technology (MIT) propose un test en ligne plaçant les internautes devant un dilemme éthique : que devrait faire une voiture autonome sur le point de causer un accident dont la seule issue est soit la mort de passants soit celle de ses occupants ? Présenté comme inévitable par les spécialistes en intelligence artificielle, ce questionnement connaît un écho dans la presse généraliste. Mais au fait, sommes-nous bien certains de vouloir confier nos vies à des algorithmes ?

De la philosophie à la loi des algorithmes

Le problème proposé par le site Moral Machine se veut une variante du célèbre dilemme du tramway imaginé en 1967 par la philosophe Philippa Foot. La situation est la suivante : vous voyez un tramway fou s’apprêtant à écraser cinq personnes qui marchent sur la voie. Vous avez la possibilité d’actionner un aiguillage pour les sauver, ce qui sacrifiera néanmoins une personne marchant sur la seconde voie. Que faites-vous ? Une autre version légèrement plus tordue élaborée par Judith Jarvis Thomson en 1976 propose de jeter ou non un homme obèse depuis une passerelle sur la voie afin de freiner le tramway et de sauver les cinq personnes. Dans les deux cas ce problème est censé faire émerger deux conceptions éthiques particulières. Si vous considérez qu’il vaut mieux sacrifier une vie pour en sauver cinq, alors vous seriez proche de l’éthique utilitariste prônée par le philosophe Jeremy Bentham ((Inventeur, rappelons-le, du célèbre ­Panopticon, modèle architectural de prison sensé maximiser la discipline des détenus en instaurant un sentiment de surveillance constante bien que reposant sur un nombre réduit de gardiens.)). Si vous pensez au contraire qu’en aucun cas vous ne pouvez vous autoriser à prendre activement la vie de quelqu’un, vous pencheriez plutôt du côté de l’éthique déontologique de Kant (ce qui comporte une connotation religieuse : « tu ne tueras point »). Nos lecteurs, qui ont l’esprit vif, comprendront néanmoins qu’une fois dépassé son aspect ludique ce type de questionnement pris trop au sérieux est plutôt vicieux. En cherchant à nous enfermer dans une logique comptable ou un positionnement béni oui-oui, il nie toute la complexité de la vie réelle. C’est justement ce que recherchent les défenseurs d’une société bien ordonnée, productive et sécurisée pour écrire leurs lois.
Les scientifiques du Media Lab du MIT et leurs partenaires de la Toulouse School of Economics sont dans ce cas précis. Derrière leur air avenant, ils estiment que la mise en service imminente des voitures autonomes nécessite que l’humanité tranche une bonne fois pour toutes ce type de dilemme. Mais qu’on se le dise, Iyad Rahwan, Jean-François Bonnefon et Azim Shariff sont des démocrates : ils ont développé le site Moral Machine pour entamer une consultation de l’opinion sur la question. Vous vous y trouvez face à une suite de treize scénarios générés aléatoirement dans lesquels vous devez choisir qui l’intelligence artificielle d’une voiture autonome devrait sacrifier entre deux groupes de piétons ou entre des piétons et les passagers de la voiture. Après avoir tranché dans chaque situation, le site vous propose un résumé statistique de vos réponses et vous invite à répondre à des questions complémentaires. Les scientifiques cherchent ainsi à établir un lien entre vos choix et vos orientations politiques, votre rapport à la religion, votre niveau d’éducation, votre sexe, votre âge ou encore l’importance que vous accordez au respect de la loi. Une option vous permet également d’« exprimer votre créativité » en imaginant vos propres scénarios macabres.

Pour mieux comprendre la genèse du projet Moral Machine, il faut regarder la conférence TED ((Les conférences TED (Technology, Entertainement and Design) sont organisées par la Sapling Foundation, une organisation californienne à but non lucratif qui se propose d’arriver à « la meilleure diffusion des grandes idées » et qui pour cela bénéficie du soutien de géants de l’industrie (IBM, Ford, Intel, et bien d’autres). Elles donnent régulièrement une tribune à des ingénieurs de gros groupes comme Google venant vanter les mérites de l’homme « augmenté » du futur, mais aussi à des personnalités du spectacle ou des leaders spirituels comme Pierre Rabhi. Iyad Rahwan, « What moral decisions should driverless cars make ? », ­TEDxCambridge, septembre 2016, url : https://www.ted.com/talks/iyad_rahwan_what_moral_decisions_should_driverless_cars_make?language=fr.)) de septembre 2016 d’Iyad Rahwan, associate professor en arts et sciences des médias et chef du Media Lab. Dans sa démonstration, le chercheur prépare le terrain en rappelant à l’auditoire qu’aux États-Unis en 2015 les accidents de la route ont fait 35 000 morts et qu’au niveau mondial on atteint 1,2 million de victimes annuelles. Or, nous dit-il, les concepteurs de voitures autonomes promettent d’ici à 2026 de réduire le nombre d’accidents mortels de 90 % à 99 %. Autant dire que sur le papier ces véhicules font figure de solution miracle. Dans les cas restants, ils pourraient réduire certains dommages grâce à leur capacité de réaction plus rapide que celle de l’humain. Cela demanderait cependant de réfléchir aux priorités que les voitures auront en termes de vies à sauver.

Tout n’est cependant pas si simple pour les chercheurs du MIT. Avant de lancer le site, Iyad Rahwan nous explique qu’ils ont réalisé une première enquête ayant mis au jour un nouveau problème. L’équipe ayant présenté aux personnes interrogées les avantages liés à la mise en service des voitures autonomes, elle leur a ensuite demandé comment devrait réagir une voiture dans différents cas d’accidents mortels inévitables. Une majorité « benthamienne » s’est dégagée des résultats comme c’est déjà généralement le cas avec le test du dilemme du tramway. Cependant, à la différence de ce-dernier, celui des voitures autonomes comporte le facteur supplémentaire de la mise en jeu de la vie des passagers, qui sont aussi souvent les propriétaires du véhicule. Ainsi lorsque les chercheurs ont demandé aux sondés s’ils achèteraient une voiture autonome paramétrée pour éventuellement les sacrifier, ils ont répondu en majorité qu’évidemment non. Les scientifiques en ont déduit que chaque personne interrogée souhaiterait posséder une voiture qui la protège pendant que le reste de la population roulerait dans des voitures « utilitaristes ». Selon eux le panel étudié, et par extension la société, n’est donc pas face à un dilemme éthique mais face à un « dilemme social ».
Ce « dilemme social » serait selon les chercheurs une illustration de la « tragédie des communs », un prétendu mécanisme social dont l’existence fut défendue au XIXe siècle par l’économiste anglais William Foster Lloyd et qui fut popularisé à partir de 1968 par le biologiste américain Garett Hardin. L’allégorie habituellement utilisée pour l’expliquer est celle de fermiers partageant un bien commun : le pré pour faire paître leurs moutons. Lloyd, suivi d’Hardin, explique que les fermiers initialement d’accord pour que chacun mette un nombre donné de moutons sur le pré sont rapidement tentés d’en ajouter en douce afin d’accroître leurs profits. Ceci est d’autant plus tentant qu’au départ l’ajout discret d’un mouton n’a pas d’effet visible. Néanmoins, cette tendance se généralisant fatalement selon les partisans de cette théorie, elle mène à la surexploitation du pré et donc à la ruine des fermiers. Pour Iyad Rahwan, le bien commun équivaut à la diminution du nombre de morts sur la route, les bêtes sont remplacées par les voitures autonomes et les fermiers par les propriétaires des véhicules. En achetant des voitures privilégiant leur sécurité au détriment de celle des autres usagers — ce dont les constructeurs feraient probablement un argument de vente —, les automobilistes contribueraient ainsi à la destruction du bien commun. Pour éviter cette situation, l’encadrement s’imposerait donc. Dans le cas du pré, deux options sont possibles : soit le découpage en parcelles privées, chaque propriétaire devenant responsable de la sienne, soit l’administration étatique de l’usage collectif du pré. Pour les voitures autonomes, les chercheurs du MIT préconisent une solution étatique citoyenne : après consultation de la société, le législateur devrait être chargé de faire appliquer la régulation majoritairement souhaitée.
Le problème des scientifiques est donc selon Iyad Rahwan de trouver un moyen pour que « la société accepte et applique les compromis qui lui conviennent ». Dit plus clairement : comment faire pour que les gens soient prêts à acheter des voitures autorisées à les tuer dans certaines circonstances ? Le chercheur dit ne pas avoir (encore) la solution à cette question, mais la création avec son équipe du site Moral Machine montre qu’il y travaille.

Méthodologie douteuse pour projet mortifère

Dès le début de la conférence, Iyad Rahwan dit que l’on peut ne pas vouloir répondre aux questions posées par Moral Machine et attendre que les voitures autonomes soient sûres à 100 % pour accepter leur mise en service (ce qui n’arrivera évidemment jamais, le risque zéro n’existant pas). Mais, nous fait-il comprendre de manière culpabilisante, il s’agirait déjà d’un choix qui coûterait potentiellement des millions de vies. En disant cela, le chercheur révèle deux biais majeurs sur lesquels repose le projet Moral Machine.

Tout d’abord, il contredit lui-même l’argument affiché comme étant la raison d’être du site internet : l’arrivée des voitures autonomes est inéluctable. S’il y a en effet de grandes chances pour que ces véhicules circulent prochainement, cela n’a pourtant rien d’une fatalité. Ce sera simplement le résultat d’une opposition trop faible à ces véhicules et au modèle de société qui les accompagne.
Par ailleurs, en faisant passer le choix des voitures autonomes comme relevant du simple bon sens, Iyad Rahwan réalise une double inférence extrêmement critiquable. D’une part il nous confronte déjà au dilemme du tramway sans nous le dire et nous pousse ensuite d’office dans la voie « benthamienne ». Car le choix d’avoir recours aux voitures autonomes est précisément utilitariste : pour la promesse de sécurité qu’elles offrent on les autorise à tuer automatiquement des humains dans de rares cas. Les choix que les voitures feront dans ces situations n’est que secondaire puisque cela suppose que l’on a déjà accepté le principe de leur mise en service.
Autre problème majeur dans l’argumentation du Media Lab : la croyance de ses chercheurs en cette « tragédie des communs » que nous devrions empêcher de se réaliser. Outre qu’il faudrait leur rappeler que le principe d’une tragédie est justement de se réaliser quoiqu’il arrive, dans un article consacré à ce « mécanisme social », l’historien Fabien Locher explique qu’il n’est qu’un mythe ((Fabien Locher, « La tragédie des communs était un mythe », CNRS Le Journal, 4 janvier 2018, url : https://lejournal.cnrs.fr/billets/la-tragedie-des-communs-etait-un-mythe.)) :

« [Le raisonnement] se fonde sur une modélisation très peu crédible des acteurs. En effet, [il] ne tient que si l’on suppose qu’on a affaire à des éleveurs n’agissant qu’en fonction d’un intérêt individuel étroit, réduit au gain financier. Ces mêmes éleveurs, on les dirait aussi privés de langage, car ils sont incapables de communiquer pour créer des formes d’organisation régulant l’exploitation du pâturage. Cela renvoie à une erreur historique et conceptuelle grossière de Hardin. Il confond en effet ce qu’il appelle des « communs » (commons) avec des situations de libre accès où tout le monde peut se servir à sa guise. Or, le terme de « communs » recouvre tout autre chose : il désigne des institutions grâce auxquelles des communautés ont géré, et gèrent encore aujourd’hui, des ressources communes partout dans le monde, et souvent de façon très durable. Il peut s’agir de pâtures mais aussi de forêts, de champs, de tourbières, de zones humides… souvent indispensables à leur survie. »

La « tragédie des communs » est donc en réalité fondée sur l’idée reçue d’une humanité naturellement avide nécessitant un certain degré de coercition étatique pour faire société. Cela nie les exemples existants d’organisations sans propriété privée et sans État ((Voir les travaux très stimulants de Pierre Clastres sur le fonctionnement des tribus amérindiennes d’Amérique du Sud. Pierre Clastres, La société contre l’État, Paris, Les Éditions de Minuit, 1974, 185 p.)), mais c’est évidemment bien pratique pour qui se voit en instaurateur de la loi et de l’ordre.

Le « dilemme social » soulevé par le Media Lab n’existe donc pas. Pour reprendre les termes d’Iyad Rahwan, un « compromis » que la société ne veut pas « accepter » ni « appliquer » est par définition un compromis qui ne lui « convient » pas. Il est abusif de considérer que les sondés adhèrent au principe des voitures autonomes, comme il est abusif de dire qu’ils refuseraient d’en acheter par individualisme. Il est plus probable qu’ils réfléchissent spontanément à ce que des chercheurs d’une prestigieuse institution leur présentent à la fois comme une fatalité et une solution miracle pour sauver des millions (!) de vies. Cependant, quand on leur rappelle les implications potentielles que leurs choix auraient concernant leur propre vie, ils commencent à douter…
Si cette contradiction que propose de résoudre les chercheurs est inexistante, leur objectif d’acquérir l’opinion à l’utilisation des voitures autonomes est bien réel. Et le moins que l’on puisse dire, c’est que la piste explorée pour cela confirme l’idéologie sinistre qui motive le projet.
À l’aspect quantitatif — et déjà idiot — du dilemme du tramway (combien de personnes sauver ?), Moral Machine ajoute un aspect qualitatif (quelles personnes sauver ?). L’internaute doit par exemple se demander si la voiture autonome avec à son bord une passagère enceinte doit écraser le piéton qui traverse au rouge ou s’encastrer dans un mur pour l’éviter. Ferait-elle mieux de privilégier la vie des sportifs plutôt que des obèses, des jeunes plutôt que des vieux, des cadres plutôt que des sans-abris, des honnêtes citoyens plutôt que des hors-la-loi, des humains plutôt que des animaux ? Appelé explicitement à « juger » les scénarios qui lui sont présentés dans des vignettes en vue plongeante, l’internaute se transforme en démiurge virtuel choisissant qui doit vivre et qui doit mourir. Les catégories représentées sont particulièrement stéréotypés. Implicitement, elles induisent une conception du « bien commun » basée sur la sauvegarde des individus jugés les plus efficaces et les plus prometteurs. Si le site ne fournit pas les statistiques sociologiques recueillies sur les sondés, ni leur nombre, ni combien de fois ils ont fait le test (il est possible de refaire des sessions de treize scénarios indéfiniment), il donne un aperçu graphique de vos préférences comparées à celle des autres internautes. Sans aucune donnée chiffrée ni aucune information sur les modalités de calcul, ces résultats ont évidemment une valeur très relative. Néanmoins, il semblerait que sur la masse de scénarios jugés les sondés privilégient dans la majorité des situations de sauver le plus grand nombre de personnes. On retrouve également le traditionnel « les femmes et les enfants d’abord » avec une préférence en faveur des femmes face aux hommes et des jeunes face aux vieux. Les réponses s’équilibrent en revanche concernant la priorité à accorder soit aux piétons, soit aux passagers des voitures autonomes. Enfin, sans surprise, les sondés préféreraient dans la plus part des cas sauver les gens qui ont un niveau social élevé, qui respectent la loi et dans une moindre mesure qui font du sport.
Difficile de savoir exactement à quoi serviront les résultats de l’enquête et si celle-ci dépasse la simple opération de communication en faveur des voitures autonomes. À la fin du sondage, parmi les questions complémentaires, l’équipe du MIT se paye le cynisme de nous demander : « Dans quelle mesure pensez-vous que vos décisions sur la « morale machine » vont être utilisées pour programmer des voitures autonomes ? ». D’après la présentation de Iyad Rahwan, le but semble être de donner de manière plus ou moins directe une base de travail au législateur (mais aussi aux constructeurs). En corrélant les réponses et les données des internautes, l’équipe du MIT serait à même d’établir une cartographie de ce qui est tolérable pour les sondés en fonction de leur position sociale. Grâce à cela, ils pourraient donner au moins deux leviers aux gouvernants et aux industriels. D’une part, ceux-ci pourront montrer qu’ils sont respectueux de la démocratie car ils consultent l’opinion des citoyens-consommateurs. D’autre part, les préférences qui semblent se dégager de l’enquête sont en faveur des actifs (jeunes et en bonne santé si possible). Cette population qui a les moyens d’acheter ou de louer un véhicule (la location longue durée étant la tendance émergente) bénéficierait donc de surcroît d’une promesse de sécurité faisant consensus dans la société. Cela ferait d’elle une clientèle de départ parfaite pour les constructeurs de voitures autonomes et un bon moyen pour le législateur de lancer une solution innovante dans le domaine de la sécurité routière.

Une morale à l’histoire ?

Derrière la rassurante mais illusoire neutralité scientifique, les chercheurs du Media Lab veulent nous imposer un projet de société. Les voitures autonomes sont en réalité à la sécurité routière ce que les anti-dépresseurs sont aux burn-out, un palliatif et une marchandise. Il n’est pas étonnant que les scientifiques du MIT aillent dans cette direction. Leur rôle est de perfectionner le règne de l’exploitation. Le soutien de Reid Hoffman ((Co-fondateur du réseau social pour cadres dynamiques LinkedIn.)) à Moral Machine et la longue liste de partenaires privés du Media Lab sont là pour le souligner.
Leur discours qui se veut raisonnable et citoyen est emblématique du démocratisme de notre époque. Leur démarche reposant sur le principe du crowdsourcing joue pleinement la carte participative, mille fois utilisée. C’est avec le sourire que l’on nous dit qu’il faut accepter de confier notre vie aux machines. Vous n’êtes pas d’accord ? C’est pourtant votre choix puisque vous avez déjà accepté de réfléchir aux règles morales auxquelles ces véhicules obéiront !
Les voitures autonomes s’intègrent à la nouvelle idéologie aujourd’hui en vogue (la seule?), le transhumanisme. Elles en illustrent aussi parfaitement les paradoxes. Leur but affiché est de faire baisser la mortalité sur la route en éradiquant l’erreur humaine. Pour certains concepteurs, la hantise de voir un humain aux commandes d’un véhicule est telle qu’ils planchent sur des prototypes sans volant. À terme, il ne serait pas étonnant que le MIT, comme d’autres promoteurs du transhumanisme le font déjà, nous propose d’être gouverné par des algorithmes. Après tout, ne serait-ce pas plus raisonnable face à la prétendue « tragédie des communs » ? Si l’on déroule le fil de ce discours qui entend nous protéger de nous-mêmes, il ne peut y avoir au bout que notre propre disparition. Il est fascinant de voir que biberonnés à la littérature de science-fiction, ces ingénieurs et ces chercheurs s’activent aujourd’hui à réaliser les pires cauchemars des grands auteurs du genre.
Mais même avec la meilleure volonté et les scientifiques les plus rationnels du monde, on ne peut pas tout prévoir. Des observateurs ont noté qu’en faisant baisser le nombre de morts sur les routes, les voitures autonomes provoqueraient une conséquence inattendue : la chute du nombre d’organes disponibles au don ((Ian ADAMS et Anne HOBSON, « Plus de voitures autonomes, c’est aussi moins d’organes pour les greffes », Slate.fr, le 7 janvier 2017, url : http://www.slate.fr/story/133544/voitures-autonomes-organes-greffes.)). Aux États-Unis, les accidents mortels fourniraient un cinquième des greffons disponibles. Tablons que les progrès sur les cellules souches sauront régler le problème !

M.