Qu’est-ce que Deepseek? Plongez avec Deepseek, .Net Aspire, Blazor

Un nouveau modèle d’IA a pris le monde de la technologie et le monde réel, par tempête.

Il fonctionne près, ou mieux que les modèles GPT 4O, Claude et Llama. Il a été développé à un Coût de 1,3 milliard de dollars (plutôt que les 6 millions de dollars initiaux à l’origine) – Utiliser une ingénierie intelligente au lieu de GPU de haut niveau. Encore mieux, il a été expédié en open-source, permettant à quiconque dans le monde de le comprendre, de le télécharger et de le modifier.

Avons-nous atteint la démocratisation de l’IA, où le pouvoir de l’IA peut être entre les mains de nombreuses et non de grandes entreprises technologiques qui peuvent se permettre des milliards de dollars d’investissement?

Bien sûr, ce n’est pas si simple. Après la startup chinoise En profondeur libéré Son dernier modèleil a perturbé les marchés boursiers, effrayé les grands géants de la technologie américaine et incité le drame de niveau TMZ à travers l’espace technologique. À savoir: les entreprises américaines d’IA sont-elles surévaluées? Les modèles compétitifs peuvent-ils vraiment être construits à une fraction du coût? Est-ce notre Moment Sputnik dans la course aux armements AI? (Je ne pense pas que la NASA ait pu déborder le projet Spoutnik sur Github.)

Dans un futur article, je vais plonger plus profondément dans Deepseek lui-même et son modèle axé sur la programmation, Codeur en profondeur. Pour l’instant, passons les pieds mouillés avec Deepseek. Étant donné que Deepseek est construit sur l’open source, nous pouvons télécharger les modèles localement et travailler avec eux.

Récemment, Ed Charbeneau de Progress a dirigé un flux en direct sur Running Deepseek AI avec .net Aspire. Dans cet article, je vais adopter une approche similaire et vous guider à travers comment faire fonctionner Deepseek AI comme il l’a fait dans le ruisseau.

Note: Ce message nous fait démarrer; Assurez-vous de regarder le flux d’Ed pour une plongée plus profonde.

Notre pile technologique

Pour notre pile technologique, nous utiliserons .net Aspire. .NET Aspire est une pile d’opinion et prêt pour le cloud Construit pour les applications distribuées.. Pour nos besoins aujourd’hui, nous l’utiliserons pour se mettre en service rapidement et pour gérer facilement nos conteneurs. Je ne fais pas de justice .net Aspire, avec tout son pouvoir et ses capacités: Découvrez La documentation Microsoft pour en savoir plus.

Avant de commencer, assurez-vous d’avoir ce qui suit:

• Docker (Pour se lancer rapidement sur Docker, Docker Desktop est une excellente option)
• Visual Studio 2022
• .Net 8 ou version ultérieure
• Une connaissance de base de C #, du noyau et des conteneurs ASP.NET

Choisir un modèle

Pour exécuter des modèles localement sur notre système, nous utiliserons Olllama, un outil open source qui nous permet d’exécuter de grands modèles de langage (LLM) sur notre système local. Si nous nous dirigeons vers olllama.comRecherchons en profondeur.

Vous pourriez être obligé d’installer deepseek-v3la nouvelle chaleur, mais elle a également une taille de téléchargement de 404 Go. Au lieu de cela, nous utiliserons le Modèle Deepseek-R1. Il est moins avancé mais assez bon pour les tests – il utilise également moins d’espace, vous n’avez donc pas besoin de louer un centre de données pour l’utiliser.

C’est un compromis entre la taille des paramètres et la taille du téléchargement. Choisissez celui avec lequel vous et votre machine êtes à l’aise. Dans cette démo, j’utiliserai 8bavec une taille de téléchargement gérable de 4,9 Go. Prenez note de la saveur que vous utilisez, car nous devons le mettre dans notre Program.cs bientôt.

Configurer le projet Aspire

Maintenant, nous pouvons créer un nouveau projet Aspire dans Visual Studio.

1. Lancez Visual Studio 2022 et sélectionnez le Créer un nouveau projet option.

2. Une fois que les modèles de projet s’affichent, recherchez aspirer.

3. Sélectionnez le Application de démarrage .net Aspire modèle et cliquez sur Suivant.

   

4. Ensuite, cliquez sur les invites pour créer un projet. Si vous souhaitez suivre, nous utilisons .net 9.0 et avons nommé le projet Profondeur.

5. Cliquez avec le bouton droit sur Deepseekdemo.apphost projeter et cliquer Gérer les packages NuGet….

6. Recherchez et installez les packages NuGet suivants. (Si vous préférez, vous pouvez également le faire à partir du .Net CLI ou le dossier de projet.)

   • CommunityToolkit.Aspire.Hosting.Ollama
   • CommunityToolkit.Aspire.OllamaSharp

   

   Nous utiliserons le .NET Aspire Community Toolkit Integration Olllamace qui nous permet d’ajouter facilement des modèles Olllama à notre application Aspire.

7. Maintenant que tout est installé, vous pouvez naviguer vers le Program.cs fichier dans ce même projet et remplacez-le par les éléments suivants.

   var builder = DistributedApplication.CreateBuilder(args);
   
   var ollama = builder.AddOllama("ollama")
                   .WithDataVolume()
                   .WithGPUSupport()
                   .WithOpenWebUI();
   builder.Build().Run();
   

   Voici une ventilation de ce que le AddOllama La méthode d’extension fait:

   • AddOllama Ajoute un conteneur Olllama au constructeur d’applications. Avec cela en place, nous pouvons ajouter des modèles au conteneur. Ces modèles téléchargent et s’exécutent lorsque le conteneur démarre.
   • WithDataVolume Nous permet de stocker le modèle dans un volume Docker, nous n’avons donc pas à le télécharger en permanence à chaque fois.
   • Si vous avez la chance d’avoir des GPU localement, le WithGPUSupport L’appel utilise ceux-ci.
   • Le WithOpenWebUI L’appel nous permet de parler à notre chatbot en utilisant le Open Webui Project. Ceci est servi par un frontal de blazor.

8. Enfin, ajoutons une référence à notre modèle Deepseek afin que nous puissions le télécharger et l’utiliser. Nous pouvons également choisir d’accueillir plusieurs modèles sur la ligne.

   var builder = DistributedApplication.CreateBuilder(args);
   
   var ollama = builder.AddOllama("ollama")
                   .WithDataVolume()
                   .WithGPUSupport()
                   .WithOpenWebUI(); 
   
   var deepseek = ollama.AddModel("deepseek-r1:8b");
   
   builder.Build().Run();
   

Explorer la demande

Exécutons l’application! Il faudra quelques minutes à tous les conteneurs pour tourner. Pendant que vous attendez, vous pouvez cliquer sur les journaux.

Une fois que les trois conteneurs ont un état de En cours d’exécutioncliquez dans le point final pour le ollama-openweb-ui récipient.

Une fois sur place, sélectionnez le modèle Deepseek et vous serez prêt à partir.

Essayons-le avec une requête. Pour moi, je suis entré dans une requête étrange et purement hypothétique – comment un parent fatigué peut-il persuader sa fille d’étendre les goûts musicaux au-delà de Taylor Swift? (Dire simplement: l’inévitable mariage Kelce / Swift sera probablement financé par toutes mes écoutes Spotify.)

Vous remarquerez tout de suite quelque chose que vous ne voyez pas avec beaucoup d’autres modèles: il vous guide à travers son processus de réflexion avant d’envoyer une réponse. Recherchez cette fonctionnalité pour être rapidement «empruntée» par ses concurrents.

Après une minute ou deux, j’aurai une réponse de Deepseek.

Étapes suivantes

Avec Deepseek installé dans votre environnement local, le monde vous appartient. Vérifier Ed’s Deepseek Ai avec .net Aspire Demo Pour en savoir plus sur l’intégration et tout inconvénient potentiel.

Voir aussi:

Des réflexions sur Deepseek, l’IA ou cet article? N’hésitez pas à laisser un commentaire. Codage heureux!