Comment empêcher l’IA de devenir malveillante ?
OpenAI, le 80 milliards de dollars La société d’IA derrière ChatGPT vient de dissoudre l’équipe chargée de cette question – après que les deux dirigeants en charge de l’effort ont quitté l’entreprise.
La controverse sur la sécurité de l’IA survient moins d’une semaine après qu’OpenAI a annoncé un nouveau modèle d’IA, GPT-4oavec plus de fonctionnalités — et une voix étrangement similaire chez Scarlett Johansson. L’entreprise en pause le déploiement de cette voix particulière lundi.
En rapport: Scarlett Johansson « choquée » qu’OpenAI ait utilisé une voix « si étrangement similaire » à la sienne après avoir déjà dit « non » à l’entreprise
Sahil Agarwal, titulaire d’un doctorat en mathématiques appliquées à Yale, co-fondateur et directeur actuel IA cryptéeune startup dont l’objectif est de rendre l’IA moins risquée pour les entreprises, a déclaré Entrepreneur que l’innovation et la sécurité ne sont pas des choses distinctes qui doivent être équilibrées, mais plutôt deux choses qui vont de pair à mesure que l’entreprise se développe.
« Vous n’empêchez pas l’innovation de se produire lorsque vous essayez de rendre ces systèmes plus sûrs et plus sécurisés pour la société », a déclaré Agarwal.
OpenAI Exec soulève des problèmes de sécurité
La semaine dernière, l’ancien scientifique en chef et co-fondateur d’OpenAI, Ilya Sutskever, et l’ancien responsable de la recherche d’OpenAI, Jan Leike, ont tous deux résigné du géant de l’IA. Les deux hommes ont été chargés de diriger l’équipe de superalignement, qui garantit que l’IA est sous contrôle humain, même si ses capacités augmentent.
En rapport: Ilya Sutskever, scientifique en chef et cofondateur d’OpenAI, démissionne
Alors que Sutskever a déclaré qu’il était « confiant » dans le fait qu’OpenAI créerait une IA « sûre et bénéfique » sous la direction du PDG Sam Altman au cours de son mandat. déclaration d’adieuLeike dit il est parti parce qu’il estimait qu’OpenAI ne donnait pas la priorité à la sécurité de l’IA.
« Ces derniers mois, mon équipe a navigué contre le vent », déclare Leike a écrit. « Construire des machines plus intelligentes que l’humain est une entreprise intrinsèquement dangereuse. »
Leike aussi dit que « au cours des dernières années, la culture et les processus de sécurité ont pris le pas sur les produits brillants » chez OpenAI et a appelé le créateur de ChatGPT à donner la priorité à la sécurité.
OpenAI a dissous l’équipe de superalignement dirigée par Leike et Sutskever, a confirmé la société à Filaire vendredi.
Sam Altman, PDG d’OpenAI. Photographe : Dustin Chambers/Bloomberg via Getty Images
Altman et Greg Brockman, président et co-fondateur d’OpenAI libéré une déclaration en réponse à Leike samedi, soulignant qu’OpenAI a sensibilisé aux risques de l’IA afin que le monde puisse s’y préparer et que la société d’IA a déployé des systèmes en toute sécurité.
Comment empêcher l’IA de devenir malveillante ?
Agarwal dit que, alors qu’OpenAI tente de rendre ChatGPT plus humain, le danger ne vient pas nécessairement d’un être super intelligent.
« Même des systèmes comme ChatGPT ne raisonnent en aucun cas implicitement », a déclaré Agarwal. Entrepreneur. « Je ne considère donc pas le risque du point de vue d’un être artificiel super intelligent. »
Le problème est qu’à mesure que l’IA devient plus puissante et multiforme, la possibilité de biais implicites et de contenu toxique augmente et l’IA devient plus risquée à mettre en œuvre, a-t-il expliqué. En ajoutant davantage de façons d’interagir avec ChatGPT, de l’image à la vidéo, OpenAI doit penser à la sécurité sous plus d’angles.
En rapport: OpenAI lance un nouveau chatbot IA, GPT-4o
La société d’Agarwal a publié un classement de sécurité plus tôt ce mois-ci, qui classe la sûreté et la sécurité des modèles d’IA de Google, Anthropic, Cohere, OpenAI, etc.
Ils ont constaté que le nouveau modèle GPT-4o contient potentiellement plus de biais que le modèle précédent et peut éventuellement produire un contenu plus toxique que le modèle précédent.
« ChatGPT a rendu l’IA réelle pour tout le monde », a déclaré Agarwal.
mai 22, 2024
Démissions d’OpenAI : comment empêcher l’IA de devenir malveillante ?
Comment empêcher l’IA de devenir malveillante ?
OpenAI, le 80 milliards de dollars La société d’IA derrière ChatGPT vient de dissoudre l’équipe chargée de cette question – après que les deux dirigeants en charge de l’effort ont quitté l’entreprise.
La controverse sur la sécurité de l’IA survient moins d’une semaine après qu’OpenAI a annoncé un nouveau modèle d’IA, GPT-4oavec plus de fonctionnalités — et une voix étrangement similaire chez Scarlett Johansson. L’entreprise en pause le déploiement de cette voix particulière lundi.
En rapport: Scarlett Johansson « choquée » qu’OpenAI ait utilisé une voix « si étrangement similaire » à la sienne après avoir déjà dit « non » à l’entreprise
Sahil Agarwal, titulaire d’un doctorat en mathématiques appliquées à Yale, co-fondateur et directeur actuel IA cryptéeune startup dont l’objectif est de rendre l’IA moins risquée pour les entreprises, a déclaré Entrepreneur que l’innovation et la sécurité ne sont pas des choses distinctes qui doivent être équilibrées, mais plutôt deux choses qui vont de pair à mesure que l’entreprise se développe.
« Vous n’empêchez pas l’innovation de se produire lorsque vous essayez de rendre ces systèmes plus sûrs et plus sécurisés pour la société », a déclaré Agarwal.
OpenAI Exec soulève des problèmes de sécurité
La semaine dernière, l’ancien scientifique en chef et co-fondateur d’OpenAI, Ilya Sutskever, et l’ancien responsable de la recherche d’OpenAI, Jan Leike, ont tous deux résigné du géant de l’IA. Les deux hommes ont été chargés de diriger l’équipe de superalignement, qui garantit que l’IA est sous contrôle humain, même si ses capacités augmentent.
En rapport: Ilya Sutskever, scientifique en chef et cofondateur d’OpenAI, démissionne
Alors que Sutskever a déclaré qu’il était « confiant » dans le fait qu’OpenAI créerait une IA « sûre et bénéfique » sous la direction du PDG Sam Altman au cours de son mandat. déclaration d’adieuLeike dit il est parti parce qu’il estimait qu’OpenAI ne donnait pas la priorité à la sécurité de l’IA.
« Ces derniers mois, mon équipe a navigué contre le vent », déclare Leike a écrit. « Construire des machines plus intelligentes que l’humain est une entreprise intrinsèquement dangereuse. »
Leike aussi dit que « au cours des dernières années, la culture et les processus de sécurité ont pris le pas sur les produits brillants » chez OpenAI et a appelé le créateur de ChatGPT à donner la priorité à la sécurité.
OpenAI a dissous l’équipe de superalignement dirigée par Leike et Sutskever, a confirmé la société à Filaire vendredi.
Sam Altman, PDG d’OpenAI. Photographe : Dustin Chambers/Bloomberg via Getty Images
Altman et Greg Brockman, président et co-fondateur d’OpenAI libéré une déclaration en réponse à Leike samedi, soulignant qu’OpenAI a sensibilisé aux risques de l’IA afin que le monde puisse s’y préparer et que la société d’IA a déployé des systèmes en toute sécurité.
Comment empêcher l’IA de devenir malveillante ?
Agarwal dit que, alors qu’OpenAI tente de rendre ChatGPT plus humain, le danger ne vient pas nécessairement d’un être super intelligent.
« Même des systèmes comme ChatGPT ne raisonnent en aucun cas implicitement », a déclaré Agarwal. Entrepreneur. « Je ne considère donc pas le risque du point de vue d’un être artificiel super intelligent. »
Le problème est qu’à mesure que l’IA devient plus puissante et multiforme, la possibilité de biais implicites et de contenu toxique augmente et l’IA devient plus risquée à mettre en œuvre, a-t-il expliqué. En ajoutant davantage de façons d’interagir avec ChatGPT, de l’image à la vidéo, OpenAI doit penser à la sécurité sous plus d’angles.
En rapport: OpenAI lance un nouveau chatbot IA, GPT-4o
La société d’Agarwal a publié un classement de sécurité plus tôt ce mois-ci, qui classe la sûreté et la sécurité des modèles d’IA de Google, Anthropic, Cohere, OpenAI, etc.
Ils ont constaté que le nouveau modèle GPT-4o contient potentiellement plus de biais que le modèle précédent et peut éventuellement produire un contenu plus toxique que le modèle précédent.
« ChatGPT a rendu l’IA réelle pour tout le monde », a déclaré Agarwal.
Source link
Partager :
Articles similaires