❗️ OpenAI construit un système de stockage à grande échelle pour son prochain milliard d'utilisateurs. L'infrastructure OpenAI doit faire face à un nouveau goulot d'étranglement : l'espace physique. La société construit son propre système de stockage massif pour que ChatGPT continue de fonctionner à mesure que son utilisation continue de croître. Sa plateforme existante, Habitat, dessert déjà plus de 500 Mo de données dans 40 régions, prenant en charge plus d'un milliard d'utilisateurs et traitant plus de 70 millions de requêtes par seconde. Le compte Azure Cosmos DB traite à lui seul plus de 20 millions de requêtes par seconde, affirme qu'OpenAI est sans précédent pour le service. Mais les centres de données disposent d’un espace, d’une alimentation et d’un refroidissement limités. OpenAI se tourne de plus en plus vers un compromis : utiliser cette capacité pour stocker les données plus près des utilisateurs pour des réponses plus rapides, ou les consacrer à l'exécution de davantage de modèles d'IA. Le nouveau système combine le cloud RocksDB de Rockset avec une réplication basée sur Rapat pour réduire les besoins en stockage flash, sacrifiant en retour une partie du débit de requêtes maximal via Spot. Les termes :

❗️ OpenAI construit un système de stockage à grande échelle pour son prochain milliard d'utilisateurs. L'infrastructure OpenAI doit faire face à un nouveau goulot d'étranglement : l'espace physique. La société construit son propre système de stockage massif pour que ChatGPT continue de fonctionner à mesure que son utilisation continue de croître. Sa plateforme existante, Habitat, dessert déjà plus de 500 Mo de données dans 40 régions, prenant en charge plus d'un milliard d'utilisateurs et traitant plus de 70 millions de requêtes par seconde. Le compte Azure Cosmos DB traite à lui seul plus de 20 millions de requêtes par seconde, affirme qu'OpenAI est sans précédent pour le service. Mais les centres de données disposent d’un espace, d’une alimentation et d’un refroidissement limités. OpenAI se tourne de plus en plus vers un compromis : utiliser cette capacité pour stocker les données plus près des utilisateurs pour des réponses plus rapides, ou les consacrer à l'exécution de davantage de modèles d'IA. Le nouveau système combine le cloud RocksDB de Rockset avec une réplication basée sur Rapat pour réduire les besoins en stockage flash, sacrifiant en retour une partie du débit de requêtes maximal via Spot. Les termes :