AWS vient d’annoncer Amazon S3 Files, une nouvelle fonctionnalité qui transforme les buckets S3 en véritables systèmes de fichiers. Vous n’avez plus à choisir entre du stockage objet ou du stockage fichier, parce que les deux sont possibles.

Amazon S3 : plus besoin de choisir

Depuis des années, le stockage S3 a fait ses preuves auprès des professionnels de l’IT : excellente durabilité, scalabilité quasiment infinie et un accès via des API orientées stockage objet qui facilitent son intégration avec d’autres services. Toutefois, cette approche technique met de côté les applications qui ont besoin d’un système de fichiers pour fonctionner, et donc d’un accès fichier à la place de l’accès objet.

Jusqu’à présent, pour contourner ce problème et monter un bucket S3, nous pouvions bricoler avec des pilotes basés sur FUSE. Par exemple, cela peut permettre de monter un bucket S3 sur Linux en tant que système de fichiers. Or, cette solution n’est pas des plus performantes et elle peut aussi souffrir de problèmes de compatibilité.

C’est là qu’intervient Amazon S3 Files, le nouveau service lancé par AWS. Grâce à l’utilisation d’Amazon EFS (Elastic File System) couplée à S3, AWS est capable d’offrir une couche de système de fichiers native. En pratique, cela signifie que vous pouvez lire, écrire et manipuler des données avec une latence inférieure à la milliseconde pour les données actives, en utilisant de simples commandes Unix/Linux habituelles.

“Le système de fichiers présente les objets S3 sous forme de fichiers et de répertoires, et prend en charge toutes les opérations du protocole NFS (Network File System) v4.1 et versions ultérieures, telles que la création, la lecture, la modification et la suppression de fichiers.”, peut-on lire dans l’article de blog d’AWS.

Il s’agit donc d’un modèle hybride, où le stockage objet et le stockage fichier ne font qu’un grâce à la prise en charge de S3 et S3 Files sur une même ressource. D’ailleurs, S3 Files n’est pas un service à part entière, c’est une fonctionnalité intégrée au service S3 du Cloud AWS.

Une intégration profonde à l’écosystème AWS

S3 Files s’intègre de manière transparente aux instances Amazon EC2, aux conteneurs (ECS, EKS, Fargate) ainsi qu’aux fonctions serverless AWS Lambda. Côté architecture, performances et sécurité, on retrouve les standards habituels de chez AWS :

• Gestion fine des permissions : S3 Files utilise les autorisations POSIX (vérification native des UID et GID) en croisant ces métadonnées avec les stratégies de sécurité d’AWS IAM (gestion des identités).
• Chiffrement robuste par défaut : les données sont chiffrées en transit via TLS 1.3, et au repos à l’aide de clés gérées par Amazon (SSE-S3) ou par vos soins (AWS KMS).
• Optimisation : la bande passante est préservée. “Pour les lectures par plage d’octets, seuls les octets demandés sont transférés, ce qui minimise le déplacement des données et les coûts”, précise AWS.
• Écosystème piloté par l’événement : n’importe quel fichier déposé via ce système de fichiers déclenche les événements S3 classiques (EventBridge, SNS, SQS). Bien pratique pour l’automatisation.

Cette nouveauté, d’ores et déjà disponible dans 34 régions AWS, pourrait être bien utile pour certains projets, en particulier dans le domaine de l’IA.

“Le système de fichiers prend en charge l’accès simultané à partir de plusieurs ressources de calcul avec une cohérence NFS de type « close-to-open », ce qui le rend idéal pour les charges de travail interactives et partagées qui modifient les données, qu’il s’agisse d’agents d’IA autonomes collaborant via des outils basés sur des fichiers ou de pipelines d’apprentissage automatique traitant des ensembles de données.”, précise AWS.

Envie de tester ? Consultez cet article de blog d’AWS, tout est expliqué.