Contents x
    Model flux
    • 07 Dec 2023
    • 3 Minutes to read
    • Print
    • Dark
      Light
    • PDF
    Contents

    Model flux

    • Updated on 07 Dec 2023
    • 3 Minutes to read
    • Print
    • Dark
      Light
    • PDF
    Article summary

    Update

    18/11/2023 : initialisation du Document (OpsTeam)

    Orchestration de Modèles LLM avec Kubernetes et Google Artifactory : Flux de Travail et Provisionnement Sécurisé

    Model Flux

    Le schéma illustre un flux de travail (workflow) de gestion des artefacts pour les modèles de langage de grande taille (LLM) dans un écosystème de conteneurs, spécifiquement dans une architecture orientée services où les composants sont orchestrés via Kubernetes.

    1.Flux Model Section :
    Cette zone représente un dépôt de gestion des artefacts (Google Artifactory), où les modèles LLM, tels que "Alfred V1" et "Alfred V2", sont versionnés et stockés. Cela permet une récupération sécurisée et une traçabilité des modèles utilisés dans les environnements de production ou de développement.

    2.Port 443 :
    L'interaction avec l'artefactoire se fait via le port 443, ce qui indique une communication chiffrée TLS/SSL pour la transmission des modèles. Cela assure l'intégrité et la confidentialité des modèles lors de leur transfert dans le réseau interne ou externe.

    3.Ephemeral Container :
    La mise en œuvre d'un conteneur éphémère pour le téléchargement et la manipulation des artefacts. Ce choix architectural favorise l'immuabilité et réduit l'empreinte de surface d'attaque, car le conteneur n'existe que le temps de l'opération et n'a pas d'état persistant.

    4.PV Creation Process :
    Les artefacts téléchargés sont stockés dans des volumes persistants (PV) créés dans Kubernetes. Ce processus est probablement automatisé via des templates de provisioning dynamique qui répondent aux spécifications des Persistent Volume Claims (PVC). Les PV fournissent un stockage durable pour les modèles et sont essentiels pour la reprise après sinistre et la haute disponibilité.

    Matrice de flux

    SourceDestinationportprotocoldescription
    Nœuds KubernetesGoogle Cloud Storage443HTTPSTéléchargement de fichiers depuis GCS vers le cluster Kubernetes via gsutil.
    Nœuds KubernetesGoogle Cloud API443HTTPSAuthentification et interaction avec Google Cloud via gcloud.

    URL et Domaines à Whitelister :

    1. *.googleapis.com : Ce domaine est utilisé par de nombreux services Google, y compris Google Cloud Storage et les Google Cloud APIs.
    2. *.gstatic.com : Ce domaine est utilisé pour charger des ressources statiques nécessaires pour certains services Google.
    3. gcs.googleapis.com : Spécifiquement pour Google Cloud Storage.
    Flux model expliqué à mon enfant

    Disons que nous avons une collection de dessins super spéciaux (les modèles LLM) dans notre ordinateur géant. Ces dessins sont très importants et nous voulons les garder en sécurité et les utiliser pour faire des tâches super intelligentes.

    1.Flux Model :
    C'est l'endroit dans notre ordinateur géant où nous gardons tous nos dessins spéciaux. Certains dessins sont des versions plus anciennes ("Alfred V1"), et d'autres sont les toutes nouvelles versions ("Alfred V2").

    2.Google Artifactory :
    C'est une sorte de bibliothèque magique sur Internet où nous pouvons aller chercher d'autres dessins encore plus cool pour ajouter à notre collection.

    3.Porte Secrète (Port 443) :
    Pour aller chercher de nouveaux dessins, nous passons par une porte secrète (c'est un peu comme un tunnel sécurisé) pour que personne d'autre ne puisse prendre nos dessins.

    4.Conteneur éphémère :
    Imagine que nous ayons une boîte spéciale qui apparaît juste le temps de prendre un nouveau dessin de la bibliothèque magique et de l'apporter dans notre collection. Une fois que nous avons le dessin, la boîte disparaît jusqu'à ce qu'on ait besoin d'elle à nouveau.

    5.Création de PV :
    Quand on obtient un nouveau dessin, on le place dans un cadre spécial (PV) qui le protège et s'assure qu'il ne se perde pas, même si on éteint l'ordinateur géant.

    Ainsi, à chaque fois que nous voulons un nouveau dessin ou une nouvelle version de dessin, nous suivons ces étapes pour les ajouter en toute sécurité à notre collection et les utiliser pour faire des choses incroyables !

    Was this article helpful?
    What's Next