Comment l'IA de DeepMind a-t-elle battu les meilleurs joueurs de StarCraft II?

DeepMind avait auparavant relevé le défi de battre les champions du monde au jeu chinois de Go . est aussi incroyablement bon chez Chess and Shogi et a balayé le sol avec les meilleures IA développées pour ces jeux.

En août 2017, la firme Alphabet a décidé de se lancer dans une aventure beaucoup plus grande. défi plus complexe: entraîner une IA à maîtriser Starcraft II . Le jeu de stratégie en temps réel est extrêmement populaire . Les joueurs se chargent d'une race extraterrestre, rassemblent des ressources, développent des technologies et opposent votre armée à une autre dans le but de dominer un univers fictif de science-fiction. [19659005] Dans une série de matches le mois dernier, AlphaStar AI de DeepMind a battu les professionnels de haut rang les joueurs StarCraft II TLO et MaNa ; le bot n’a perdu qu’un seul match en direct après sa série de victoires.

C’est un exploit de taille pour l’équipe qui se cache derrière l’IA. StarCraft II oppose les joueurs les uns contre les autres en temps réel et les oblige à élaborer et à mettre en œuvre des stratégies de "macro" bataille, tout en s'attaquant à des tâches "micro" telles que l'exploitation minière. ressources, préparer les troupes pour le prochain siège et repousser les attaques. Ajoutez à cela le fait que les joueurs professionnels exécutent des centaines d'actions à la minute lors de matches de compétition, et vous vous êtes lancé un défi de taille.

Alors, comment apprendre à l'IA à s'améliorer dans un complexe jeu de stratégie que certains des meilleurs joueurs humains sur la planète? La méthode de DeepMind consistait à entraîner AlphaStar à jouer pendant environ 200 ans.

L'équipe créa essentiellement une ligue d'agents d'intelligence artificielle reposant sur un réseau de neurones formé à partir de données de répliques de parties jouées par des humains (chaque partie dure généralement une partie). heure). Pendant sept jours, les agents se sont affrontés, testant des stratégies et tirant des leçons de ceux qui ont conduit à des victoires.

Cinq de ces agents se sont opposés à l'as de l'Allemagne. le joueur TLO en cinq matches sur la carte Catalyst; Les deux parties ont utilisé la race extraterrestre Protoss que TLO joue au niveau Grandmaster (mais il est encore meilleur avec la race Zerg). AlphaStar s'est imposé cinq fois de suite.

Suite à cela, l'IA a été entraînée pendant une semaine supplémentaire avant de rivaliser avec MaNa, une joueuse polonaise qui excelle dans la course Protoss. AlphaStar a également gagné cinq fois contre lui.

Il est intéressant de noter que l'IA avait un avantage: contrairement aux joueurs humains qui doivent constamment déplacer leur caméra sur la carte pour voir ce qui se passe et agir en conséquence – que ce soit pour commander des unités pour construire des défenses ou commander des troupes pour attaquer l'ennemi – AlphaStar a pu visualiser la totalité de la carte tout au long du match. MaNa a réussi à vaincre MaNA a été perdue quand un agent de l'IA s'est entraîné pendant sept jours et a été contraint d'utiliser la même vue cartographique illustrée par une caméra.

L'expérience a montré qu'il était possible d'entraîner l'IA à développer des stratégies suffisamment efficaces. pour vaincre les meilleurs joueurs dans quelque chose d'aussi complexe que StarCraft II . TLO a expliqué:

AlphaStar adopte des stratégies bien connues et les met sur la tête. L'agent a présenté des stratégies auxquelles je n'avais pas pensé auparavant, ce qui signifie qu'il peut encore y avoir de nouvelles façons de jouer au jeu que nous n'avons pas encore explorées.

Cette observation est similaire à celle de Demis Hassabis, PDG de DeepMind, qui a décrit le style de jeu d'échecs de la société AlphaZero AI comme étant celui de contrairement à l'homme ou à la machine mais plutôt à un «alien». C'est peut-être l'une des conclusions les plus convaincantes de cet exercice: disposer de suffisamment de données et d'espace pour les expériences , AI pourrait aider à découvrir des solutions nouvelles et inattendues à des questions difficiles.

L’équipe de DeepMind espère que les progrès réalisés en matière de formation à l’IA sur ces défis épineux pourraient ouvrir la porte à l’utilisation de l’intelligence artificielle pour résoudre des problèmes scientifiques plus pressants. [19659003] Pour en savoir plus sur la méthodologie de formation rendez-vous sur le site de DeepMind .