Le co-fondateur d'Apple Steve Wozniak a signé une lettre ouverte demandant une pause dans le développement des IA génératives comme GPT-4. Son nom apparait à côté d'autres pointures de la tech comme Elon Musk ainsi que plusieurs chercheurs en IA. Les signataires réclament une meilleure réglementation de la technologie ainsi qu'une surveillance plus poussée sur ce domaine.
« Les systèmes d'IA dotés d'une intelligence pouvant concurrencer celle des humains peuvent présenter des risques profonds pour la société et l'humanité », explique la lettre. Les signataires déplorent le manque de préparation dans le développement des différentes IA et une course hors de contrôle pour déployer des modèles de plus en plus puissants. Ils craignent que les risques soient difficiles à anticiper et à contrôler.
Devons-nous laisser les machines inonder nos canaux d'information de propagande et de fausses vérités ? Devons-nous automatiser tous les emplois, y compris ceux qui sont gratifiants ? Devons-nous développer des esprits non humains qui pourraient un jour être plus nombreux, plus intelligents, nous rendre obsolète et nous remplacer ? Devons-nous risquer de perdre le contrôle de notre civilisation ? Ces décisions ne doivent pas être déléguées à des leaders technologiques non élus.
Si ces questions peuvent sembler hallucinées, la crainte que l'IA puisse dérailler et se retourner contre ses créateurs est bien réelle. OpenAI a d'ailleurs testé son modèle GPT-4 pour s'assurer qu'il ne risquait pas de se rebeller et devenir nocif. Si les testeurs n'ont rien trouvé de dangereux, le modèle a tout de même réussi à mentir et à embaucher un humain pour résoudre des Captcha à sa place. Le CEO d'OpenAI se disait lui-même « un peu effrayé » par la technologie et la manière dont elle pourrait affecter le monde du travail, les élections et la diffusion de la désinformation.
GPT-4 : OpenAI a vérifié que son modèle ne pouvait pas se rebeller
« Les systèmes d'IA puissants ne devraient être développés que lorsque nous serons convaincus que leurs effets seront positifs et que les risques sont gérables », explique le texte. Les signataires invitent les laboratoires d'IA à faire une pause d'au moins 6 mois sur l'entraînement de leurs projets plus puissants que GPT-4. Ce moment de réflexion devrait être utilisé pour élaborer et mettre en œuvre des protocoles de sécurité contrôlés et supervisés par des experts externes indépendants.
Les signataires n'appellent pas à un arrêt complet du développement des IA, mais plutôt à un ralentissement dans une « course dangereuse vers des modèles de boîte noire toujours plus grands et imprévisibles ». Le texte fait ici référence à la récente décision d'OpenAI de ne plus divulguer certains secrets de fabrication de ses modèles. Ce choix inquiète certains experts, qui estiment que la transparence des informations permet aux chercheurs indépendants de détecter certaines failles.
La lettre a été signée par plusieurs spécialistes du domaine, avec notamment des membres du laboratoire d'IA de Google, le patron du principal concurrent d'OpenAI (Stability AI) mais aussi par des chercheurs et des universitaires. Elle a été mise en ligne sur le site du Future of Life Institute, une organisation fondée en 2014 s'intéressant aux risques existentiels modernes (réchauffement climatique, armes nucléaires…).
