L'IA de Nvidia crée une incroyable vidéo au ralenti en «hallucinant» des images manquantes

Les chercheurs de Nvidia ont développé une IA qui convertit les vidéos standards en un ralenti incroyablement fluide.

Les traits larges: Capturer des images au ralenti de haute qualité nécessite un équipement spécialisé, beaucoup de stockage et le réglage de votre équipement.

La vidéo au ralenti est généralement prise à environ 240 images par seconde (fps) – c'est le nombre d'images individuelles qui comprennent une seconde de vidéo. Plus vous avez de fps, meilleure est la qualité de l'image.

L'impact: Quiconque a souhaité convertir une partie d'une vidéo ordinaire en un clip fluide au ralenti peut appréciez ceci.

Si vous avez capturé vos images dans, par exemple, le format vidéo standard de smartphone (30fps), essayer de ralentir la vidéo donnera quelque chose de saccadé et difficile à regarder.

L'IA de Nvidia peut estimer plus de cadres ressemblerait et créer de nouveaux pour remplir l'espace. Il peut prendre deux cadres séquentiels existants et halluciner un nombre arbitraire de nouvelles images pour les relier, assurant que tout mouvement entre eux est conservé.

Selon une société blog :

Utiliser Nvidia Tesla GPU V100 et cadre d'apprentissage en profondeur PYTorch accéléré par cuDNN L'équipe a formé son système sur plus de 11 000 vidéos d'activités quotidiennes et sportives tournées à 240 images par seconde. Une fois entraîné, le réseau de neurones convolutionnels a prédit les cadres supplémentaires

La ligne du bas: La ​​division IA de Nvidia continue de repousser les limites de ce que nous pensons possible. Il crée des gens à partir de rien et change la météo dans des vidéos. Mais il pourrait être un moment avant que nous voyons quelque chose comme cela intégré dans nos appareils ou disponible pour le téléchargement. L'équipe a beaucoup d'obstacles à surmonter, et cette recherche existe à la fine pointe de l'apprentissage en profondeur.

Lire la suite:

YouTube Music est lancé dans 12 autres pays, dont le Royaume-Uni et le Canada