Convergence instrumentale

La convergence instrumentale est la tendance hypothétique de la plupart des agents suffisamment intelligents (humains ou non) à poursuivre des objectifs instrumentaux similaires (par exemple survivre ou acquérir des ressources), même si leurs objectifs ultimes sont différents. Plus précisément, les agents intelligents peuvent poursuivre des objectifs instrumentaux (des objectifs qui n'ont pas de valeur « en soi », mais qui aident à atteindre des objectifs ultimes) sans fin, si leurs objectifs ultimes ne sont jamais pleinement satisfaits. La convergence instrumentale suggère qu'un agent intelligent avec des objectifs ultimes apparemment inoffensifs peut agir de manière étonnamment nuisible. Par exemple, un ordinateur dont le seul objectif est de résoudre un problème mathématique incroyablement difficile comme l'hypothèse de Riemann pourrait tenter de transformer la Terre entière en ordinateur géant afin d'augmenter sa puissance de calcul et donc ses chances de parvenir à une démonstration. La convergence instrumentale a alimenté en particulier la peur des intelligences artificielles avancées. Les objectifs instrumentaux convergents proposés incluent la préservation de soi, la conservation de ses objectifs actuels, l'auto-amélioration, l'acquisition insatiable de ressources.