Ce que les DSI du monde entier peuvent apprendre de la panne nationale d’Internet au Canada

Le 8 juillet 2022, une mise à jour de maintenance bâclée sur le réseau FAI de Rogers au Canada a bloqué l’accès à Internet dans tout le pays pendant au moins 12 heures, certains clients rencontrant des problèmes pendant des jours après.

L’impact a été profond. La panne à l’échelle nationale a touché les services téléphoniques et Internet d’environ 12,2 millions de clients, soit environ 25 % de la capacité Internet du Canada, interrompant les paiements par débit aux points de vente sur le réseau Interac, empêchant les utilisateurs de téléphones mobiles de Rogers d’accéder aux services 9-1-1, perturbant des services de transport en commun dépendant du paiement en ligne, et même des ravages sur les feux de circulation à Toronto dépendant du GSM cellulaire pour les changements d’horaire.

Ajoutant l’insulte à l’injure, la panne a même forcé le musicien canadien The Weeknd à reporter la première étape de sa tournée mondiale au Rogers Centre de Toronto.

Peavey Mart

La cause? Comme cela a été révélé par la suite dans la soumission de Rogers au régulateur de la Commission de la radiodiffusion et des télécommunications canadiennes, la mise à jour « a supprimé un filtre de routage et a permis à toutes les routes possibles vers Internet de passer par les routeurs. … Certains équipements de routage du réseau ont été inondés, ont dépassé leurs niveaux de capacité et n’ont ensuite pas été en mesure d’acheminer le trafic, ce qui a entraîné l’arrêt du traitement du trafic par le réseau central commun.

Bien que Rogers, l’une des principales entreprises canadiennes d’Internet, de radiodiffusion et de téléphonie mobile, ait rétabli le service pour la plupart des clients en une journée, la perte catastrophique de service a fait sursauter les entreprises canadiennes. Certains, comme les quelque 100 points de vente exploités par le détaillant de fournitures agricoles et agricoles Peavey Mart, disposaient d’un accès redondant à d’autres fournisseurs Internet déjà en place.

En conséquence, « seuls deux magasins ont été directement touchés alors qu’ils n’avaient pas de connexion Internet », explique Shaun Guthrie, vice-président principal des technologies de l’information de l’entreprise et vice-président de l’Association canadienne des CIO.

« Cependant, nous comptons sur les services Interac pour nos clients pour effectuer des transactions, qui dépendent uniquement de Rogers, nous avons donc perdu la capacité de faire des paiements par carte de débit. »

Pas seulement un problème domestique

« Certains des organismes sans but lucratif que je sers ont perdu la capacité d’enregistrer la satisfaction des besoins des personnes vulnérables pendant un jour ou deux », déclare Helen Knight, DSI virtuelle et consultante en technologie stratégique pour les organismes sans but lucratif canadiens. « Personnellement, mes enfants et moi n’avions aucun moyen de communiquer. Ma fille de 13 ans est sortie jusqu’à 22 heures et j’avais peur qu’elle n’ait aucun moyen de rentrer à la maison.

D’autres n’ont pas eu cette chance. « En tant qu’entreprise mondiale produisant des toboggans aquatiques et des attractions de parcs aquatiques, la panne du réseau Rogers nous a plus affectés que nous ne le pensions au départ », déclare Chris Palsenbarg, responsable des opérations informatiques et du support technique chez WhiteWater West Industries. « Le personnel voyageant à l’étranger ne pouvait même pas utiliser son téléphone. »

Sapper Labs Group est une entreprise canadienne de cybersécurité/cyberintelligence. « Bien que notre entreprise n’ait pas été touchée par la panne de Rogers, bon nombre de nos partenaires, clients et concurrents l’ont été », déclare Dave McMahon, directeur du renseignement chez Sapper Labs. « Certaines organisations ne se sont pas encore complètement rétablies. Cela a eu un effet d’entraînement sur le marché.

À la suite de la panne de Rogers, les DSI, les cadres et les experts en TI canadiens examinent leur état de préparation pour faire face à de telles pannes à l’avenir. Leurs conclusions méritent d’être notées par les DSI du monde entier, qui risquent tous de rencontrer des pannes de service similaires dans leur propre pays, que ce soit en raison de problèmes système, d’intrusions ou de pannes de courant dues à des causes environnementales ou autres.

Construire la redondance

Eau Blanche Ouest

La panne de Rogers a souligné la valeur d’avoir un accès FAI redondant, même si cela coûte plus cher que de compter sur un seul. Bien que certaines entreprises rechignent à cette dépense supplémentaire, Peavey Mart accepte la valeur de payer pour un accès Internet redondant dans la mesure du possible. L’entreprise a été récompensée pour sa clairvoyance le 8 juillet 2022.

L’échec du réseau FAI de Rogers n’a pas non plus aveuglé l’entreprise, car « nous surveillons de manière proactive l’état de nos communications de données », déclare Guthrie. « En conséquence, une fois que les magasins ont été touchés par la panne, ils ont automatiquement basculé vers leurs FAI secondaires via notre infrastructure compatible SD-WAN. »

Les organisations à but non lucratif telles que l’Armée du Salut du Canada ne peuvent se permettre le type d’infrastructure utilisée par Peavey Mart. Mais leurs DSI sont des experts déterminés habitués à « accomplir des exploits incroyables en utilisant des logiciels gratuits et du matériel donné », déclare Knight. « Ils sont habitués à la défaillance de leur infrastructure informatique vieillissante, ils ont donc généralement un processus manuel sur lequel se rabattre », dit-elle.

Par conséquent, les DSI canadiens sans but lucratif peuvent faire face aux défaillances des FAI, du moins au moment où elles se produisent réellement. « Les données perdues à cause de la panne les affecteront plus tard, lorsqu’ils n’auront pas de registres corrects indiquant combien de personnes ils ont servi à montrer à leurs donateurs, ce qui pourrait avoir un impact sur les subventions futures », déclare Knight.

Cela étant, Knight pense que la panne de Rogers pourrait changer pour le mieux les attitudes des organisations à but non lucratif vis-à-vis de l’accès redondant aux FAI. « Après tout, il est courant depuis des années d’avoir une connexion redondante pour tous les composants commerciaux critiques, donc le bon côté des choses est que les organisations à but non lucratif comprennent désormais un nouveau domaine de risque qu’elles n’ont peut-être pas pris en compte », dit-elle.

« Donc, s’il s’agit de l’incident qui permet aux organisations à but non lucratif de reconnaître la nécessité d’avoir un leader technologique senior à la table de décision, alignant leurs plans stratégiques sur leur feuille de route technique, alors cela pourrait bien être le moyen le moins cher et le plus simple d’apprendre cette leçon. C’est bien mieux que de faire face à une cyber-brèche !

Vérifiez les plans de sauvegarde de vos fournisseurs

Pour Sapper Labs, « la panne de Rogers a renforcé notre confiance dans notre propre architecture et notre mode de fonctionnement », déclare McMahon. Mais ce sentiment de confiance a renforcé le fait que l’infrastructure informatique d’une entreprise n’existe pas de manière isolée. Au lieu de cela, il s’agit d’un maillon d’une chaîne de FAI, de plates-formes cloud et d’autres qui se connectent à l’entreprise via Internet.

Ainsi, « le point à retenir de la panne de Rogers est de s’assurer que sa chaîne d’approvisionnement, ses partenaires et ses clients sont également préparés et qu’il y a des éventualités en place pour les aider à maintenir leurs activités commerciales », dit-il. « Ce qui était révélateur, c’est que la panne a immédiatement révélé qui était un client de Rogers, s’il disposait d’autres moyens de communication, son niveau de maturité en matière de cybersécurité et les interdépendances critiques dans l’écosystème.

Laboratoires de sapeur

Peavey Mart est tout aussi diligent pour vérifier les vulnérabilités de sa chaîne d’approvisionnement en données. « Nous demandons à tous nos fournisseurs de cloud ; ont-ils une redondance ? » dit Guthrie. « Leurs systèmes ont-ils des basculements vers des systèmes de sauvegarde intégrés, et ont-ils mis en place des éléments tels que des plans de continuité des activités afin qu’en cas de panne, leurs employés sachent quoi faire ? Et nous posons ces questions dès le départ.

Malheureusement, des détaillants comme Peavey Mart n’ont pas le pouvoir d’exiger de telles réponses des mégacorps interbancaires canadiens comme Interac. « En conséquence, nous n’avons pas d’autre choix que de supposer qu’Interac a mis en place de telles mesures de sauvegarde, ce qui n’est clairement pas le cas », dit-il.

Attendez-vous à plus d’échecs de FAI

La résolution de la panne de Rogers au Canada a été suivie d’enquêtes gouvernementales, de reportages négatifs dans les médias et de beaucoup d’indignation publique prévisible. Mais aucune de ces réactions ne pourra changer un fait très simple : les réseaux ISP sont des systèmes complexes et vastes constitués de nombreuses parties dont la réponse aux mises à niveau de maintenance ne peut pas être complètement modélisée dans des simulations.

Par conséquent, même après toutes les améliorations que Rogers a promises d’apporter et que d’autres FAI canadiens pourraient copier par prudence, « je suis convaincu que nous verrons probablement d’autres défaillances », déclare Guthrie. « Je ne sais pas qui ce sera, mais je pense que nous verrons probablement un échec supplémentaire d’ici un an. »

Cela étant, les DSI dont les entreprises dépendent de l’accès aux FAI doivent prendre des mesures dès maintenant pour protéger leurs entreprises contre de telles pannes. Selon Dave McMahon, la voie à suivre est claire : « Les fournisseurs doubles et les systèmes indépendants redondants sont les meilleures pratiques de l’industrie », dit-il.

« C’est la définition même d’un système à haute disponibilité. C’est pourquoi tous les employés de Sapper Labs disposent déjà de multiples moyens de communication sécurisés et de capacités de collaboration en ligne. Nous évaluons actuellement la meilleure façon d’étendre des solutions similaires sécurisées à haute assurance à nos clients et partenaires. »

Dans le même temps, les DSI doivent rester humbles et ne pas surestimer leur capacité à planifier de tels événements à l’avance.

« La technologie est si omniprésente et si complexe, chaque personne et chaque organisation ayant été confrontées à des défis techniques nouveaux et complexes au cours des deux dernières années, que même s’il est possible de protéger les entreprises contre les pannes de type Rogers, il n’est ni possible ni rentable de protéger contre tous les risques », déclare Knight. « Il s’agit plutôt de quantifier l’impact et l’urgence de chaque risque et de prioriser les plans de continuité organisationnelle pour les domaines opérationnels les plus critiques. »

En résumé : une panne de FAI de type Rogers est une crise à laquelle peuvent et seront probablement confrontés les DSI d’entreprises du monde entier dans les années à venir. C’est pourquoi il est désormais indispensable de renforcer les systèmes redondants et de préparer des plans d’urgence, afin de minimiser et d’atténuer l’impact inévitable de ces défaillances de communication sur l’entreprise.