3 façons pour les universitaires de nouvelle génération d’éviter un hiver inutile de l’IA

Il y a deux réalités quand il s’agit de intelligence artificielle. Dans l’un d’entre eux, l’avenir est si prometteur que vous devez mettre des lunettes de soudage juste pour y jeter un coup d’œil. L’IA est une technologie de base qui est tout aussi nécessaire pour les opérations humaines mondiales que l’électricité et Internet. Mais dans l’autre réalité, l’hiver arrive.

Un « hiver IA » est une période pendant laquelle rien ne peut pousser. Cela signifie que personne n’embauche, personne n’acquiert et personne ne finance. Mais cette saison stérile imminente est spéciale, elle n’affectera pas l’ensemble de l’industrie.

En fait, la plupart des experts ne le remarqueront même pas. Google, OpenAI, DeepMind, Nvidia, Meta, IBM et toute université effectuant des recherches légitimes n’ont rien à craindre. Les startups avec un objectif clair et utile iront bien – nonobstant les problèmes typiques du marché.

Les seules personnes qui doivent s’inquiéter du froid à venir sont celles qui essaient de faire ce que nous allons appeler « l’alchimie de la boîte noire ».

Alchimie de la boîte noire

Je frémis d’appeler toute entreprise d’IA « alchimie », car au moins l’idée de transformer un métal en un autre a un certain mérite scientifique.

Je parle de la veine de recherche extrêmement populaire dans laquelle les chercheurs construisent de petits modèles de prédiction merdiques, puis inventent de faux problèmes pour que l’IA soit meilleure à résoudre que les humains.

Lorsque vous écrivez tout en une phrase, il semble évident qu’il s’agit d’une arnaque. Mais je suis ici pour vous dire que l’alchimie de la boîte noire représente une énorme partie de la recherche universitaire en ce moment, et c’est une mauvaise chose.

L’alchimie de la boîte noire est ce qui se passe lorsque les chercheurs en IA prennent quelque chose pour lequel une IA est bonne – comme renvoyer des résultats pertinents lorsque vous recherchez quelque chose sur Google – et essayez d’utiliser les mêmes principes pour faire quelque chose d’impossible. Puisque l’IA ne peut pas expliquer pourquoi elle arrive aux résultats qu’elle fait (parce que le travail se déroule dans une boîte noire que nous ne pouvons pas voir à l’intérieur), les chercheurs prétendent qu’ils font de la science sans avoir à montrer aucun travail.

C’est une arnaque qui se joue dans une myriade de paradigmes allant des algorithmes de police prédictive et de récidive jusqu’aux systèmes de reconnaissance faciale de conneries supposés détecter tout, de la politique d’une personne à sa probabilité de devenir un terroriste.

La partie sur laquelle on ne saurait trop insister est que cette arnaque particulière se perpétue dans le milieu universitaire. Peu importe que vous envisagiez de fréquenter un collège communautaire ou Stanford, l’alchimie de la boîte noire est partout.

Voici comment fonctionne l’arnaque : les chercheurs proposent un schéma qui leur permet de développer un modèle d’IA qui est « plus précis » que les humains pour une tâche donnée.

C’est littéralement la partie la plus difficile. Vous ne pouvez pas choisir une tâche simple, comme regarder des images et décider s’il y a un chat ou un chien dessus. Les humains détruiront l’IA à cette tâche 100 fois sur 100. Nous sommes vraiment doués pour distinguer les chats des chiens.

Et vous ne pouvez pas choisir une tâche trop compliquée. Par exemple, il n’y a aucun sens à former un modèle de prédiction pour déterminer quels brevets des années 1930 seraient les plus pertinents pour les applications de la thermodynamique moderne. Le nombre d’humains qui pourraient gagner à ce jeu est trop petit pour avoir de l’importance.

Vous devez choisir une tâche qui, selon la personne moyenne, peut être observée, mesurée et rapportée via la méthode scientifique, mais qui ne le peut pas.

Une fois que vous avez fait cela, le reste est facile.

Gaydar

Mon exemple préféré d’alchimie de la boîte noire est le journal de Stanford Gaydar. C’est un chef-d’œuvre d’IA à la con.

Les chercheurs ont formé un système de vision par ordinateur rudimentaire sur une base de données de visages humains. Les visages étaient étiquetés avec des étiquettes autodéclarées indiquant si l’individu photographié s’identifiait comme gay ou hétéro.

Au fil du temps, ils ont pu atteindre des niveaux de précision surhumains. Selon les chercheurs, l’IA était meilleure pour dire quels visages étaient homosexuels que les humains, et personne ne sait pourquoi.

Voici la vérité : aucun humain ne peut dire si un autre humain est gay. On peut deviner. Parfois, nous pourrions deviner juste, d’autres fois, nous pourrions deviner faux. Ce n’est pas scientifique.

La science exige observation et mesure. S’il n’y a rien à observer ou à mesurer, nous ne pouvons pas faire de science.

L’homosexualité n’est pas une vérité fondamentale. Il n’y a pas de mesure scientifique de l’homosexualité.

Voici ce que je veux dire : êtes-vous gay si vous ressentez une attirance pour le même sexe ou seulement si vous agissez en conséquence ? Pouvez-vous être une vierge gay? Pouvez-vous avoir une expérience queer et rester hétéro ? Combien de pensées homosexuelles faut-il pour vous qualifier d’homosexuel, et qui décide de cela ?

La simple réalité est que la sexualité humaine n’est pas un point que vous pouvez tracer sur un graphique. Personne ne peut déterminer si quelqu’un d’autre est gay. Les êtres humains ont le droit de rester dans des placards, de nier leur propre sexualité expérientielle et de décider du degré d’« homosexualité » ou de « hétérosexualité » dont ils ont besoin dans leur propre vie pour déterminer leurs propres étiquettes.

Il n’y a pas de test scientifique pour les homosexuels. Et cela signifie que l’équipe de Stanford ne peut pas former une IA pour détecter l’homosexualité ; il ne peut que former une IA pour essayer de battre les humains dans un jeu de discrimination qui n’a aucun cas d’utilisation positif dans le monde réel.

Trois solutions

Le journal gaydar de Stanford n’est qu’un exemple parmi des milliers d’exemples d’alchimie de la boîte noire. Personne ne devrait être surpris que cette ligne de recherche soit si populaire, c’est le fruit à portée de main de la recherche ML.

Il y a vingt ans, le nombre de diplômés du secondaire intéressés par l’apprentissage automatique était une goutte d’eau dans l’océan par rapport au nombre d’adolescents qui partent à l’université pour obtenir un diplôme en IA cette année.

Et c’est à la fois bon et mauvais. La bonne chose est qu’il y a plus de brillants chercheurs en IA/ML dans le monde aujourd’hui que jamais – et ce nombre va continuer à augmenter.

La mauvaise chose est que chaque classe d’IA sur la planète est jonchée d’étudiants qui ne comprennent pas la différence entre un Magic 8-Ball et un modèle de prédiction – et il y en a encore moins qui comprennent pourquoi le premier est plus utile pour prédire les résultats humains.

Et cela nous amène aux trois choses que chaque étudiant, chercheur, professeur et développeur d’IA peut faire pour améliorer l’ensemble du domaine de l’IA/ML pour tout le monde.

1. Ne faites pas l’alchimie de la boîte noire. La première question que vous devez vous poser avant de commencer tout projet d’IA lié à la prédiction est : cela affectera-t-il les résultats humains ? Si la seule science que vous pouvez utiliser pour mesurer l’efficacité de votre projet est de la comparer à la précision humaine, il y a de fortes chances que vous ne fassiez pas un excellent travail.
2. Ne créez pas de nouveaux modèles dans le seul but de surpasser les références établies par les modèles précédents simplement parce que vous ne pouvez pas vous permettre de gérer des bases de données utiles.
3. Ne formez pas de modèles sur des données dont vous ne pouvez pas garantir l’exactitude et la diversité.

J’aimerais juste terminer cet article avec ces trois bribes de conseils comme une sorte de chute de micro suffisante, mais ce n’est pas ce genre de moment.

Le fait est qu’une grande partie des étudiants auront probablement du mal à faire quelque chose de nouveau dans le domaine de l’IA/ML qui n’implique pas d’enfreindre ces trois règles. Et c’est parce que l’alchimie de la boîte noire est facile, la création de bases de données sur mesure est presque impossible pour quiconque sans les ressources de la grande technologie, et seule une poignée d’universités et d’entreprises peuvent se permettre de former des modèles à grands paramètres.

Nous sommes coincés dans un endroit où la grande majorité des étudiants et des développeurs potentiels n’ont pas accès aux ressources nécessaires pour aller au-delà de la recherche de moyens « cool » d’utiliser des algorithmes open source.

La seule façon de traverser cette ère et d’en entrer dans une ère plus productive est que la prochaine génération de développeurs réprimande les tendances actuelles et se fraye un chemin loin du statu quo – tout comme la génération actuelle de développeurs pionniers de l’IA l’a fait à leur époque. .