Présentation software

I. By lightOn

Application principale réalisée en Django.
Points de terminaison d'API, points de terminaison de flux de travail Builder, points de terminaison de tableau de bord, frontend et panneau d'administration.

LLM-Serving

Inference and serving engine for LLMs

Embeddings

Inference and serving engine for embedding models

II. Open Source

Celery

Un framework de queue de tâches asynchrones distribuées pour Python.
Distribuer des tâches asynchrones telles que la journalisation aux travailleurs, afin de ne pas exécuter de code coûteux en calcul sur le serveur web.

Redis

Une base de données très rapide, basée sur des paires clé-valeur.
Cache et backend pour Celery pour stocker les queues de tâches.

Postgres

Base de données SQL performante, scalable et ouverte.
Base de données principale, pour persister les utilisateurs, les clés d'API, les permissions, les rôles, les journaux, les modèles d'invite, les évaluations…

ChromaDB (déprécié)

ChromaDB, une base de données rapide, évolutive et optimisée pour les opérations analytiques.
ChromaDB est conçue pour gérer de grandes quantités de données analytiques, offrant des performances élevées pour les requêtes complexes et les opérations de traitement des données. Elle est idéale pour les environnements nécessitant un traitement rapide des requêtes et une analyse détaillée des données

Weaviate

Weaviate, une base de données de connaissances vectorielles conçue pour le machine learning et les fonctionnalités de recherche sémantique.
Weaviate est spécialement conçue pour faciliter l'intégration et la recherche de grandes quantités de données grâce à des modèles de langage vectoriels. Elle offre des performances exceptionnelles pour les requêtes sémantiques et le clustering de données, rendant les environnements de recherche et d'analyse de données plus intuitifs et efficaces.

Grobid

Grobid, un outil robuste et précis pour l'extraction et l'analyse de données bibliographiques et métadonnées de documents PDF.
Grobid est conçu pour traiter efficacement des volumes élevés de documents, offrant des capacités avancées d'extraction de texte et de métadonnées. Cet outil est particulièrement adapté aux environnements nécessitant une conversion rapide et précise de documents PDF en données structurées pour des analyses poussées.

III. Helm Chart

NGINX

Nginx est un serveur web haute performance et un serveur proxy inverse.
Nginx en tant que reverse proxy dans un cluster Kubernetes gère la répartition du trafic entrant entre les pods du cluster, améliorant ainsi la disponibilité, la sécurité et les performances des applications.

Cert manager

Le cert-manager est un contrôleur Kubernetes qui automatise la gestion et le renouvellement des certificats SSL/TLS
Le cert-manager simplifie la gestion automatique des certificats SSL/TLS pour sécuriser les applications web déployées dans un cluster Kubernetes.

IV. Infra

kubernetes

Kubernetes est un système d'orchestration de conteneurs open-source pour automatiser le déploiement, la mise à l'échelle et la gestion des applications conteneurisées.
Kubernetes facilite la gestion de la charge de travail et des services nécessaires pour faire fonctionner une application, tout en optimisant l'utilisation du matériel sous-jacent.

Cuda

CUDA est une plateforme de calcul parallèle et un modèle de programmation inventé par NVIDIA. Elle permet d'accroître considérablement les performances de calcul en exploitant la puissance des unités de traitement graphique (GPU).
Utilisée pour les tâches de calcul intensif, CUDA est essentielle dans les domaines de la science des données, de l'ingénierie et de la recherche, où des calculs rapides et efficaces sont nécessaires.

Nvidia Driver

Les pilotes Nvidia sont des composants essentiels qui permettent aux cartes graphiques Nvidia de communiquer efficacement avec les systèmes d'exploitation et d'exploiter pleinement leur capacité graphique.
Ces pilotes sont régulièrement mis à jour pour améliorer les performances, corriger les bugs et ajouter de nouvelles fonctionnalités pour une expérience utilisateur optimale.

Django

Django est un framework web open-source de haut niveau en Python qui encourage le développement rapide et une conception pragmatique et propre.
Django facilite la création de sites web complexes en offrant un ensemble complet d'outils intégrés pour la gestion des bases de données, la validation des formulaires, l'authentification des utilisateurs, les modèles de données, et bien plus encore. Son architecture repose sur le principe "Don't Repeat Yourself" (DRY), permettant aux développeurs de réutiliser le code et de réduire la duplication.