I. Compatibilité et la Configuration des Cartes Graphiques

Q : Peut-on remplacer une carte A40 par une carte L40s ?
R : Oui, en principe, une carte L40s peut remplacer une A40. Bien que nous n'ayons pas testé pratiquement des cartes L40, elles devraient être compatibles en théorie.

Q : Les drivers CUDA sont-ils compatibles entre les cartes A40, A100, H100 et L40 ?
R : Non, pour les cartes H100 et L40, un driver plus récent est nécessaire par rapport à celui utilisé pour les A40 et A100. Assurez-vous de mettre à jour les drivers pour une compatibilité optimale.

Q : Comment est gérée la mémoire sur ces cartes ?
R : La gestion de la mémoire se fait de manière spécifique selon les besoins de chaque carte. Deux cartes sont utilisées pour le modèle de langage et une autre pour l'embedding. Chaque carte consomme la mémoire nécessaire pour les poids du modèle, pour l'inférence, ainsi que pour la mise en cache afin d'accélérer l'inférence. Normalement, les utilisateurs n'ont pas à se préoccuper de cet aspect.

Q : Qu'en est-il des communications réseau entre les cartes ?
R : Il est essentiel que les deux cartes utilisées pour faire tourner le modèle de langage soient sur le même nœud, idéalement connectées via NVLink. La carte dédiée à l'embedding peut être située sur un autre nœud, et dans ce cas, une connexion réseau standard (comme Ethernet) est suffisante.