La démocratie et le capitalisme, couplés à la science moderne, ont donné lieu à un épanouissement remarquable de la pensée, de la créativité, de l’expression et de l’invention, qui a ancré l’hypothèse de longue date que la connaissance – et les perspectives de contrôle humain de notre destin – augmenteraient régulièrement. Mais nous sommes maintenant entrés dans une phase où la complexité croissante crée un monde que personne ne comprend en détail.
La civilisation moderne s’est tendue un piège, alors que des technologies toujours plus complexes sont déployées à un rythme accéléré. Chaque seconde, des milliards d’appareils, de protocoles, d’idées, de traditions et de personnes interagissent dans le monde. L’augmentation de complexité qui en résulte pose un défi énorme et peut-être impossible à gérer.
Les experts comprennent des parties du système, mais l’ensemble dépasse de loin la compréhension de tout scientifique, citoyen ou dirigeant politique. Pour relever les grands défis mondiaux de la prochaine décennie, nous avons besoin d’un changement de paradigme dans les systèmes de réglementation sociétaux pour nous sortir du piège de la complexité.
Alors que l’humanité est arrivée progressivement à ce point, il y a eu des bouleversements aux premiers stades du développement technologique. Au cours des derniers siècles, la science et la technologie, guidées par la raison et la connaissance, ont clairement amélioré la vie quotidienne de la majeure partie de l’humanité. Mais les progrès ne sont pas linéaires. Chaque avancée produit une sorte de perturbation et d’effets secondaires que la société peine à résoudre.
Par exemple, le procédé Haber-Bosch pour la fixation artificielle de l’azote a augmenté les rendements agricoles mais a conduit à la pollution des cours d’eau du monde entier par le ruissellement dû à une utilisation excessive de certains engrais. Les chlorofluorocarbures, utilisés comme réfrigérants, ont provoqué le trou d’ozone, mais les efforts pour les remplacer ont donné naissance aux hydrofluorocarbures, qui sont des gaz à effet de serre dangereux. Et bien que les antibiotiques aient sauvé des centaines de millions de vies, ils sont maintenant si largement utilisés que les souches résistantes aux médicaments sont devenues un nouveau risque pour la santé humaine. Il existe de nombreux autres exemples de ce type dans tous les domaines de la science et de la technologie.
Ces problèmes surviennent en raison d’effets au niveau du système qui ne sont pas évidents lorsque de nouvelles technologies sont introduites et déployées pour la première fois. Des conséquences imprévues peuvent survenir à presque tous les niveaux – chimique, biologique, informatique, économique / financier ou social / politique. Mais la complexité émergente (dépassant toute perspective de compréhension humaine directe) devient un problème de plus en plus grave avec la montée en puissance des ordinateurs, car les composants individuels du système deviennent plus intelligents, interagissent plus rapidement et se connectent à l’échelle mondiale.
Tous ces défis sont liés à des problèmes plus vastes concernant la science et la société. En tant que scientifique moi-même, j’avais étudié la structure et la conception des protéines de liaison à l’ADN, mais j’ai démissionné d’un poste de professeur titulaire au département de biologie du MIT pour examiner les défis plus vastes de la pensée humaine et de l’avenir de l’humanité. J’ai étudié la finance, les neurosciences cognitives, la gouvernance, le changement climatique, les risques de dégradation de l’environnement et les dangers posés par la montée de l’intelligence artificielle. Et une chose est devenue claire: les limites de la capacité cognitive humaine nous empêchent de saisir la complexité des problèmes auxquels la planète est confrontée.
Alors, que devons-nous faire? Il n’est pas raisonnable de demander à des scientifiques ou à d’autres experts d’anticiper tous les effets de leur travail. Au lieu de cela, une nouvelle approche pour gérer la complexité émergente devrait commencer par reconnaître que cette complexité engendre deux types de coûts externes (ou externalités ») payés par la société dans son ensemble. Certains impliquent des dommages directs, comme lorsque Facebook a été utilisé pour inciter à la haine et perturber l’élection présidentielle américaine de 2016. D’autres sont moins directs, comme le temps et l’attention nécessaires pour trier les nouveaux problèmes et élaborer des plans efficaces pour les résoudre.
Comme pour d’autres externalités – comme celles associées aux combustibles fossiles – la société est confrontée à un défi fondamental dans la répartition des coûts et des avantages de la complexité d’une manière juste, fiable et bien structurée qui garantit que ceux qui développent et vendent de nouvelles technologies remboursent la société pour les coûts externes. Pour commencer, nous avons besoin de meilleures méthodes pour évaluer les problèmes potentiels. Les entreprises développant de nouvelles technologies, par exemple, devraient évaluer et atténuer les risques à des moments clés des processus de recherche, de développement et de mise en œuvre. Ces évaluations devraient viser à anticiper une série de résultats potentiels et à peser leurs coûts et avantages respectifs pour la société.
Ces hypothèses de travail initiales ne résolvent pas le problème de complexité, mais elles le cadrent assez bien pour servir d’appels à conseils et à commentaires. Les discussions ouvertes pourraient être financées par des gouvernements ou des entreprises technologiques, ou par des philanthropes qui souhaitent préserver la démocratie et garantir un avenir humain vivable.
La démocratie et le capitalisme, couplés à la science moderne, ont donné lieu à un épanouissement remarquable de la pensée, de la créativité, de l’expression et de l’invention, qui a ancré l’hypothèse de longue date que la connaissance – et les perspectives de contrôle humain de notre destin – augmenteraient régulièrement. Mais nous sommes maintenant entrés dans une phase où la complexité croissante crée un monde que personne ne comprend en détail.
Échapper à ce piège nécessitera plus qu’une solution technique impliquant un nouveau programme, un appareil ou un implant cérébral intelligent. Je pense que la discussion devrait commencer par des mécanismes de déclenchement et de nouveaux types de schémas réglementaires qui peuvent servir d’outils de précaution lors de l’introduction de la technologie.
En fin de compte, cependant, nous devrons améliorer nos méthodes mêmes de pensée. Il s’agit d’un appel à l’action mondiale, digne de nos esprits les plus brillants.