Big data cluster : quelques tests

Par Arian Papillon le lundi 30 mars 2020, 15:19 - Lien permanent

Une troisième vidéo sur les clusters big data SQL Server 2019.

J'ai voulu cette fois-ci faire quelques tests : performances de chargement et d'interrogation de données.

Les données sont :

  • Soit stockées dans le storage hdfs du cluster et interrogées directement via Polybase
  • Soit chargées dans le sql data pool distribué, et interrogées aussi via table externe
  • Soit dans une table SQL Server classique.

Je n'ai peut-être pas les volumes nécessaires pour faire du "vrai" big data, mais les performances à l'interrogation de données sont de loin meilleures lorsque c'est une table SQL Server classique (pas de surcharge liée à Polybase...). On pouvait s'y attendre un peu, mais en tout cas, c'est instructif et cela permet de faire quelques constats...