Les presets, les scores, les versions

Des presets

Alors que pour obtenir un score 3DMark officiel il fallait auparavant se contenter des réglages par défaut, Vantage propose 4 presets, soit 4 modes qui permettent d'obtenir un score officiel : Entry, Performance, High et eXtreme. La lettre E, P, H ou X devancera le score pour les identifier clairement. Le but de ces presets est de permettre aux différentes solutions graphiques de voir leurs performances mesurées dans des conditions qui les concernent. En contrepartie, les résultats perdent en clarté et il ne faut pas chercher bien loin pour se demander si certains fabricants de PC ne vont pas abuser de ce système en oubliant de préciser le preset utilisé lorsqu'ils annoncent des chiffres…

Les presets influent sur les détails graphiques, mais également sur la résolution et sur le niveau d'antialiasing appliqué :


En plus des différentes options, les presets influent sur la manière dont est calculé le score global. Le poids respectif des scores CPU et GPU utilisé dans le calcul de la moyenne harmonique est ainsi modifié suivant le preset pour réduire l'influence du CPU quand la charge graphique augmente.



Les constantes Cx sont utilisées pour ramener les valeurs des scores des différents tests (en Fps pour les tests GPU et en Ops pour les tests CPU) à des niveaux similaires, de manière à ce qu'un test n'influence pas plus les résultats qu'un autre, ou tout du moins de manière à ce que chacun influence le score global de la manière décidée par Futuremark.

Les versions

Quatre versions de 3DMark Vantage sont proposées. La première est gratuite, il suffit de télécharger le logiciel. Elle est limitée au mode par défaut, Performance, et ne donne pas accès aux tests spécifiques, ni à aucune option graphique. Qui plus est, et c'est nouveau, il ne sera possible de lancer le test qu'une seule fois ! Il faudra payer 6.95$ (version Basic), pour pouvoir l'exécuter plusieurs fois, mais toujours avec les mêmes limitations. Certes, c'est peu cher payé, mais il ne s'agit que d'un benchmark, qui, qui plus est n'est pas très impressionnant sur le plan visuel.


Pour obtenir une version complète (Advanced), il faudra payer 19.95$. Tous les tests et toutes les options seront alors accessibles. Seuls les lancements par ligne de commande ne sont possibles qu'avec la version Profesionnal qui coûte, elle, nettement plus cher : 495$.

Les critiques

Les critiques

Futuremark a décidé de faire l'impasse sur DirectX 10.1, pour une raison inconnue, ce qui est plutôt étrange pour un benchmark censé être orienté vers le futur, d'autant plus que cette nouvelle version fait la part belle à l'antialiasing et que DirectX 10.1 apporte de nombreuses nouveautés à ce niveau. Ce choix a probablement été fait par facilité, pour éviter de faire du développement spécifique à DirectX 10.1.

Par contre, Futuremark a fait un développement spécifique au PPU, l'accélérateur physique d'Ageia qui pourtant est aujourd'hui mort et enterré. Pourquoi l'avoir fait ? Pour 2 raisons selon nous, tout d'abord parce que le développement du benchmark a commencé avant le rachat d'Ageia par Nvidia et donc avant l'annonce de la mort du PPU (qui de toute manière n'a pas connu le succès attendu et était voué à disparaître). Ensuite parce que Nvidia devrait permettre à ses GPUs GeForce 8 et 9 (ou à certains d'entre eux uniquement) d'accélérer l'API PhysX PPU (différente de l'API PhysX globale qui ne supporte aucune accélération) et donc de se comporter comme un PPU.

L'API PhysX PPU n'est pas utilisée dans les 2 tests GPUs, qui se contentent de réaliser certains effets physiques sur le GPU via DirectX, et est donc réservée à un seul des 2 tests CPUs. Un choix qui nous paraît ici aussi étrange puisque le GPU va pouvoir booster le score CPU dans des situations où le rendu graphique est léger. Or il nous paraît évident que dans les futurs jeux qui peut-être utiliseront le GPU pour accélérer la physique, le GPU sera également soumis à rude épreuve en matière de rendu graphique.

Ceci est d'autant plus incohérent que Futuremark a décidé de réduire fortement l'impact du score CPU sur le score global en justifiant ce choix par le fait que pour les joueurs le CPU est moins important que le GPU. Si le CPU est moins important c'est qu'il n'est pas complètement saturé et est donc "libre" de traiter de la physique, contrairement au GPU. Pourquoi donc avoir opté pour une manière de calculer les scores qui permet au GPU d'augmenter le score global en accélérant le physique dans les scores CPUs ?

Et pourquoi avoir réduit autant l'influence du score CPU ? Est-ce que cela correspond à ce qui va se passer dans le futur ? Selon nous il ne s'agit pas d'un choix basé sur une réflexion technique fait par Futuremark mais simplement un moyen facile de réduire l'influence des processeurs multicores qui actuellement sont peu utilisés au-delà de 2 cores par les jeux. Mais par la même occasion, les cores CPUs plus performants que ce soit en termes d'architectures ou de fréquences sont eux aussi pénalisés.

Toujours dans la même catégorie, pourquoi le score CPU est-il moins important en preset eXtreme qu'en preset Entry ou Performance ? D'un côté nous pouvons admettre qu'en haute résolution et avec antialiasing, le GPU compte plus que le CPU, même si ce n'est qu'à moitié vrai puisque le CPU doit toujours fournir suffisamment d'images. Mais comment accepter le fait que Futuremark donne plus d'importance au CPU sur les machines d'entrée de gamme (qui seront testées en mode Entry) qu'aux machines haut de gamme futures (qui seront testées en eXtreme) ? Quel est le message ? Un gros CPU c'est plus important pour une machine bas de gamme que pour une machine de guerre ?

Précisons que compte tenu de la formule utilisée en mode eXtreme, doubler le score CPU ne fait même pas bouger le score global de 1% !

Quelques résultats

Quelques résultats

Nous avons effectué quelques tests avec le nouveau 3DMark et les drivers optimisés fournis par AMD et Nvidia. Nous avons volontairement laissé les petits tests de côté puisque leurs résultats changeaient parfois du simple ou quadruple en passant du dernier driver officiel en date au driver optimisé. En attendant qu'AMD et Nvidia aient chacun poussé au bout leurs optimisations, les résultats n'ont donc aucun intérêt.

Nous avons testé une GeForce 8800 GT et une Radeon HD 3870, soit les références du moment. Le tout sur une plateforme X38 équipée de 2 Go de DDR3 et d'un Core 2 Extreme 9770. Tout d'abord en preset performance ("medium"), le mode par défaut disponible avec les versions basiques du benchmark :


Dans ce mode, la GeForce 8800 GT est globalement 10% plus performante que la Radeon HD 3870, les gains provenant essentiellement du premier test GPU.

Ensuite nous avons testé en mode eXtreme, soit en 1920x1200 avec FSAA 4x, un mode qui met a genoux ces cartes graphiques en terme de framerate :


La GeForce 8800 GT résiste mieux à la charge et l'écart se creuse en atteignant 20%.

Etant donné que 3DMark Vantage supporte la carte PhysX, et après avoir dépoussiéré la carte en question, nous l'avons mise en place dans le même système équipé de la GeForce 8800 GT, de manière à observer les gains. Volontairement, nous n'avons modifié que le résultat du test qui prend en charge cet accélérateur et calculé le score manuellement, pour éviter les variations dans les autres tests.


L'accélérateur PhysX fait augmenter le score CPU2 de plus de 50% ce qui se traduit par un score CPU en hausse de 15%. L'impact sur le score global, pourtant en preset Performance, n'est cependant que 1% compte tenu de la formule utilisée. En mode eXtreme l'impact n'est que de 0,06% soit plus faible que la variation normale du score entre les différents lancements.

Enfin, nous avons essayé d'obtenir les plus gros scores possibles par rapport au matériel que nous avions à notre disposition. Nous avons alors opté pour le système Skulltrail et le 2 Core 2 Extreme 9775 et bien entendu d'abord pensé au Quad SLI avec 2 GeForce 9800 GX2. Malheureusement, l'activation du Quad SLI a fait planter le benchmark. Le triple SLI n'étant pas fonctionnel sur Skulltrail, nous nous sommes tourné vers du Quad CrossFire X avec 2 Radeon HD 3870 X2. Cette fois plus de plantage, mais des bugs visuels. Nous vous donnons malgré tout les résultats pour vous donner une idée de ce que peut atteindre un système très haut de gamme. La carte PhysX était également sur le système.

Conclusion

En conclusion

Nous sommes plutôt déçus par ce nouveau benchmark proposé par Futuremark, nous nous attendions à beaucoup mieux tant sur la forme que sur le fond. Il semble évident que l'affaire 3DMark liée aux GeForce FX a impacté la liberté de développement de Futuremark qui a dû se rendre à l'évidence : ce n'est pas possible et c'est dangereux de s'opposer à beaucoup plus fort que soi. Et puis cela peut entraîner la création d'un benchmark objectif qui donne des résultats totalement différents par rapport aux jeux qui eux n'ont pas pour vocation d'être objectifs dans leurs choix techniques, mais de coller au parc installé.

Avec pragmatisme, Futuremark travaille maintenant beaucoup plus dans un sens qui évite de s'opposer aux courants dominants de l'industrie, de faire des vagues. Cela veut dire que Futuremark ne développe plus selon une vision technique propre des moteurs graphiques de demain en se contentant de reporter les performances obtenues, qui pourraient alors être en décalage avec les performances dans les jeux d'aujourd'hui… et fâcher certains fabricants qui déboursent parfois des sommes importantes pour jouir d'une influence dans les choix techniques du développeur.

Futuremark est bien conscient que dans le succès commercial de son benchmark, l'aspect "politique" a pris beaucoup d'importance par rapport à l'aspect technique, dans la manière de noter les différents composants. Du coup, Futuremark semble développer quelques scènes de test sans se soucier de la pertinence globale des résultats qui en sont tirés en se disant qu'ensuite ces résultats seront manipulés pour fournir un score représentatif. Mais représentatif de quoi ?

En définitive la pertinence du benchmark ne provient plus de l'aspect technique, soit du résultat objectif obtenu dans les différentes scènes, mais de l'aspect "politique", soit de la manière subjective dont ils sont interprétés par Futuremark. Cela ne veut pas dire que ces résultats sont inintéressants mais qu'ils sont soumis à de nombreuses critiques qui ne trouveront pas une justification technique. C'était déjà le cas auparavant, mais cela s'accentue encore plus avec 3DMark Vantage.

Est-ce que l'absence de support de DirectX 10.1 repose sur un choix technique (pas utile) ou sur un choix politique (ne pas fâcher Nvidia qui domine nettement le marché graphique mais ne le supporte pas) ? Est-ce que la pondération des scores GPU et CPU dans le score global repose sur un choix technique (un gros GPU c'est plus important qu'un gros CPU pour jouer) ou sur un choix politique (suivre le courant du lobbying actuel amorcé par Nvidia et suivi par AMD) ? Est-ce que la pondération variable suivant le preset repose sur un choix technique (lequel ?) ou sur un choix politique pour contenter tout le monde (mettre un peu en avant le CPU dans les machines pauvrement équipées en GPU pour faire plaisir à Intel, et pas du tout sur le haut de gamme pour faire plaisir aux fabricants de GPUs) ?