Stockage Ceph et hyperconvergence avec Proxmox VE
Ceph transforme les disques locaux de vos serveurs Proxmox VE en un stockage partagé et redondant. inett dimensionne le matériel et le réseau, installe le cluster et en assure le suivi.
Les limites de la baie de stockage centrale
La migration à chaud et la haute disponibilité exigent un stockage accessible par tous les nœuds du cluster de virtualisation. On utilise traditionnellement une baie SAN ou un NAS. Cet équipement coûte cher, vous lie à un constructeur et constitue souvent lui-même un point de défaillance unique. Quand il est plein, vous achetez un modèle plus grand ou une extension au tarif du constructeur.
Ce que fait inett
Ceph est un logiciel libre de stockage distribué. Il répartit les données sur de nombreux disques, sur plusieurs serveurs, et en conserve plusieurs copies. Quand un disque tombe en panne, Ceph recrée automatiquement les copies manquantes sur d’autres disques. Quand un serveur entier s’arrête, les machines virtuelles continuent de fonctionner avec les copies restantes.
Proxmox VE intègre Ceph. Vous l’installez et l’administrez depuis l’interface web ou avec l’outil pveceph. Les mêmes serveurs fournissent alors calcul et stockage : c’est le principe de l’hyperconvergence. Les disques des machines virtuelles sont stockés en mode bloc dans Ceph RBD. CephFS accueille images ISO, modèles et fichiers partagés. Partenaire Gold de Proxmox, inett déploie Ceph sous cette forme intégrée, mais aussi sous forme de clusters de stockage autonomes.
Ceph pardonne peu les erreurs de dimensionnement. Trop peu de nœuds, un réseau lent ou un contrôleur RAID mal placé entraînent de mauvaises performances, voire une perte de données en cas de panne. Nous commençons donc par le matériel :
- Nœuds. Au moins trois serveurs, de préférence identiques. Avec trois copies par objet, le cluster supporte la perte d’un serveur et reste accessible en écriture.
- Réseau. Un réseau dédié à Ceph d’au moins 10 Gbit/s, et de 25 Gbit/s ou plus avec des disques NVMe. Le trafic du cluster Proxmox VE (Corosync) passe par un lien séparé. De trois à cinq nœuds sans commutateurs rapides, un réseau maillé (full mesh) est possible.
- Disques. Des SSD de classe entreprise, qui raccourcissent la reconstruction après une panne, surtout dans les petits clusters. Les disques sont raccordés à un HBA, pas derrière un contrôleur RAID.
- Mémoire. Proxmox recommande au moins 8 Gio de RAM par OSD (un OSD par disque), en plus des besoins des machines virtuelles.
Nous installons ensuite le cluster, configurons pools et règles de placement, puis testons avec vous la panne d’un nœud avant la mise en production. En exploitation, nous surveillons l’état du cluster, appliquons les mises à jour et ajoutons disques ou serveurs selon vos besoins.
Nous exploitons aussi Ceph sans Proxmox VE, sous forme de cluster de stockage autonome déployé avec cephadm. Il fournit :
- du stockage en mode bloc (RBD) pour d’autres plateformes de virtualisation ou pour Kubernetes ;
- un système de fichiers (CephFS), accessible aussi en NFS si besoin ;
- du stockage objet compatible S3 via la RADOS Gateway, par exemple comme cible de sauvegarde.
Conception, déploiement, exploitation et extension se déroulent comme pour un cluster hyperconvergé.
Caractéristiques techniques
- Versions Ceph dans Proxmox VE 9.2
- Ceph Tentacle 20.2 et Ceph Squid 19.2 (octobre 2026). Le projet Ceph indique le 31 octobre 2026 comme fin de vie estimée de Squid (versions Ceph)
- Taille minimale
- trois nœuds, de préférence identiques ; Proxmox recommande au moins 12 OSD répartis de façon égale
- Réplication
- pool par défaut à 3 copies (size 3) et min_size 2 ; Proxmox déconseille expressément min_size 1
- Réseau
- réseau Ceph dédié d’au moins 10 Gbit/s ; 25 Gbit/s ou plus avec NVMe ; Corosync sur un lien séparé, par exemple 1 Gbit/s
- Disques
- SSD recommandés, surtout dans les petits clusters ; HBA plutôt que contrôleur RAID
- Mémoire
- au moins 8 Gio par OSD recommandés (4 Gio par défaut), plus une réserve pour la reconstruction
- Interfaces
- RBD pour les disques de machines virtuelles et de conteneurs, CephFS comme système de fichiers
- Source
- guide d’administration Proxmox VE, chapitre Ceph
Contenu de la prestation
- Analyse de vos besoins en capacité, performances et disponibilité
- Conception matérielle et réseau du cluster hyperconvergé
- Installation de Ceph via Proxmox VE
- Mise en place des moniteurs, managers, OSD, pools et de CephFS
- Tests de panne de disque et de nœud avant la mise en production
- Documentation et prise en main par votre équipe
- Sur demande, exploitation, mises à jour et extension dans le cadre de notre infogérance
Pour qui
Ceph convient si vous prévoyez un cluster Proxmox VE d’au moins trois serveurs et ne voulez pas acheter ni remplacer une baie SAN. Le stockage grandit avec vous : vous ajoutez des disques ou des serveurs, et Ceph redistribue les données.
Pour un ou deux serveurs, Ceph n’est pas adapté. ZFS en local, avec la réplication asynchrone du stockage de Proxmox VE, convient mieux.
Questions fréquentes
Pourquoi au moins trois serveurs ?
Par défaut, Ceph conserve trois copies de chaque objet sur des serveurs différents. Les moniteurs Ceph ont en outre besoin d’une majorité pour décider. Avec trois serveurs, le cluster supporte la perte de l’un d’eux.
Quelle part de la capacité brute reste utilisable ?
Avec trois copies, environ un tiers. Gardez en plus de l’espace libre pour que Ceph puisse redistribuer les copies après une panne.