- 31 May 2024
- 3 Minutes to read
- Print
- DarkLight
- PDF
software
- Updated on 31 May 2024
- 3 Minutes to read
- Print
- DarkLight
- PDF
24/10/2023 : initialisation du Document (OpsTeam)
18/11/2023 : Ajout Chroma , Embedding (OpsTeam)
25/04/2024 : Ajout Weaviate , Grobid, annotation sur ChromaDB (OpsTeam)
21/05/2024 : Ajout Django , licences
31/05/2024 : Ajout de Serving
Présentation software
I. By lightOn
Application principale réalisée en Django.
Points de terminaison d'API, points de terminaison de flux de travail Builder, points de terminaison de tableau de bord, frontend et panneau d'administration.
Version :1.0
Licence: Apache 2.0
LLM-Serving
Inference and serving engine for LLMs
Version :1.0
Licence: Apache 2.0
Embeddings
Inference and serving engine for embedding models
Version :1.0
Licence: Apache 2.0
II. Open Source
Celery
Un framework de queue de tâches asynchrones distribuées pour Python.
Distribuer des tâches asynchrones telles que la journalisation aux travailleurs, afin de ne pas exécuter de code coûteux en calcul sur le serveur web.
Version :1.0
Licence: BSD 3-Clause "New" or "Revised" License
Redis
Une base de données très rapide, basée sur des paires clé-valeur.
Cache et backend pour Celery pour stocker les queues de tâches.
Version :7.0
Licence: BSD 3-Clause "New" or "Revised" License
Postgres
Base de données SQL performante, scalable et ouverte.
Base de données principale, pour persister les utilisateurs, les clés d'API, les permissions, les rôles, les journaux, les modèles d'invite, les évaluations…
Version :15.0
Licence: PostgreSQL License
ChromaDB (déprécié)
ChromaDB, une base de données rapide, évolutive et optimisée pour les opérations analytiques.
ChromaDB est conçue pour gérer de grandes quantités de données analytiques, offrant des performances élevées pour les requêtes complexes et les opérations de traitement des données. Elle est idéale pour les environnements nécessitant un traitement rapide des requêtes et une analyse détaillée des données
Version :0.4.24
Weaviate
Weaviate, une base de données de connaissances vectorielles conçue pour le machine learning et les fonctionnalités de recherche sémantique.
Weaviate est spécialement conçue pour faciliter l'intégration et la recherche de grandes quantités de données grâce à des modèles de langage vectoriels. Elle offre des performances exceptionnelles pour les requêtes sémantiques et le clustering de données, rendant les environnements de recherche et d'analyse de données plus intuitifs et efficaces.
Version : 1.24.1
Licence: BSD 3-Clause "New" or "Revised" License
Grobid
Grobid, un outil robuste et précis pour l'extraction et l'analyse de données bibliographiques et métadonnées de documents PDF.
Grobid est conçu pour traiter efficacement des volumes élevés de documents, offrant des capacités avancées d'extraction de texte et de métadonnées. Cet outil est particulièrement adapté aux environnements nécessitant une conversion rapide et précise de documents PDF en données structurées pour des analyses poussées.
Version : 0.8
Licence: Apache 2.0
III. Helm Chart
NGINX
Nginx est un serveur web haute performance et un serveur proxy inverse.
Nginx en tant que reverse proxy dans un cluster Kubernetes gère la répartition du trafic entrant entre les pods du cluster, améliorant ainsi la disponibilité, la sécurité et les performances des applications.
Version : 4.6.0
Cert manager
Le cert-manager est un contrôleur Kubernetes qui automatise la gestion et le renouvellement des certificats SSL/TLS
Le cert-manager simplifie la gestion automatique des certificats SSL/TLS pour sécuriser les applications web déployées dans un cluster Kubernetes.
Version :1.11.1
IV. Infra
kubernetes
Kubernetes est un système d'orchestration de conteneurs open-source pour automatiser le déploiement, la mise à l'échelle et la gestion des applications conteneurisées.
Kubernetes facilite la gestion de la charge de travail et des services nécessaires pour faire fonctionner une application, tout en optimisant l'utilisation du matériel sous-jacent.
Version : 1.26.X < Version < 1.27.X
Cuda
CUDA est une plateforme de calcul parallèle et un modèle de programmation inventé par NVIDIA. Elle permet d'accroître considérablement les performances de calcul en exploitant la puissance des unités de traitement graphique (GPU).
Utilisée pour les tâches de calcul intensif, CUDA est essentielle dans les domaines de la science des données, de l'ingénierie et de la recherche, où des calculs rapides et efficaces sont nécessaires.
Version : 12.2
Nvidia Driver
Les pilotes Nvidia sont des composants essentiels qui permettent aux cartes graphiques Nvidia de communiquer efficacement avec les systèmes d'exploitation et d'exploiter pleinement leur capacité graphique.
Ces pilotes sont régulièrement mis à jour pour améliorer les performances, corriger les bugs et ajouter de nouvelles fonctionnalités pour une expérience utilisateur optimale.
Version : > 525
Django
Django est un framework web open-source de haut niveau en Python qui encourage le développement rapide et une conception pragmatique et propre.
Django facilite la création de sites web complexes en offrant un ensemble complet d'outils intégrés pour la gestion des bases de données, la validation des formulaires, l'authentification des utilisateurs, les modèles de données, et bien plus encore. Son architecture repose sur le principe "Don't Repeat Yourself" (DRY), permettant aux développeurs de réutiliser le code et de réduire la duplication.
Version : 3.2 < Version < 4.0
Licence: BSD 3-Clause "New" or "Revised" License