Procédure de Configuration des Paramètres LLM pour Paradigm

Cette section détaille la configuration requise pour les paramètres du Large Language Model (LLM) au sein de l'application Paradigm.

Configuration de l'Adresse Paradigm

• Dans la section LLM Settings, localisez le champ Paradigm Address.
• Entrez l'adresse URL complète de l'application Paradigm où le modèle LLM sera déployé ou accessible.
  • Format de l'adresse : https://paradigm-[application-name].[domain-name]

Sélection du Modèle LLM

• Choisissez le modèle LLM que vous souhaitez utiliser avec votre application :
  • Autre modèle : Si vous utilisez un modèle personnalisé, entrez le nom exact du modèle.
    • Exemple de nom de modèle : alfred-2-40b-0723-v1
  • Vous pouvez également opter pour un modèle jouet ou un modèle géré par SageMaker si ces options sont disponibles.

Allocation des Ressources GPU

• Spécifiez le nombre de GPU que vous souhaitez allouer au nœud LLM.
  • Valeur par défaut : 0

Configuration des Cache Slots

• Déterminez le nombre de slots de cache nécessaires pour votre modèle LLM.
  • Valeur par défaut : 32

Enregistrement et Application des Paramètres

• Assurez-vous que toutes les informations saisies sont correctes et reflètent vos besoins de déploiement.
• Enregistrez les paramètres pour mettre à jour la configuration de votre modèle LLM dans l'application Paradigm.

Procédure de Configuration des Paramètres LLM Suite pour Paradigm

Poursuivez la configuration des paramètres LLM pour votre application Paradigm avec les étapes suivantes :

Configuration du Chemin du Modèle

• Dans le champ Model Path, indiquez le chemin d'accès au modèle LLM que vous souhaitez utiliser.
  • Valeur par défaut : /

Clé Privée GCP SA

• Fournissez la clé privée de l'account de service Google Cloud Platform (GCP SA) dans le format Base64.
  • Base64 requis : Assurez-vous que la clé privée est encodée en Base64 pour des raisons de sécurité.

Nom de la Classe de Stockage LLM

• Sélectionnez le LLM Storage Class Name qui définira la classe de stockage pour le volume persistant LLM.
  • Valeur par défaut : standard-rwo
  • Notez que ce choix est immuable et ne pourra pas être modifié après le premier déploiement.

Capacité de Stockage LLM

• Déterminez la LLM Storage Capacity en spécifiant la taille souhaitée pour le stockage LLM (unité en gigaoctets).
  • Valeur par défaut : 100 Gi
• Notez que ce choix est immuable et ne pourra pas être modifié après le premier déploiement.

Chemin du Volume Persistant LLM

• Saisissez le LLM Persistent Volume Path pour indiquer le chemin local du volume persistant du LLM.
  • Exemple de chemin à saisir : /my/volume/path
  • Requis : Le chemin est nécessaire pour localiser le stockage persistant du modèle LLM.

Enregistrement et Application des Paramètres

• Vérifiez que toutes les informations saisies sont correctes, en particulier que la clé privée GCP SA est correctement encodée en Base64 et que les chemins d'accès sont valides.