Benchmarks informatiques

AL - SI5 - 2012/2013 El Bouhy - Lecavelier - Mnmoi Raffalli 1

Introduction
Benchmark :
Plusieurs dfinitions
Dfinition globale Dfinition informatique

Objectifs
Analyser les performances Minimiser les cots
AL - SI5 - 2012/2013 El Bouhy - Lecavelier - Mnmoi Raffalli 2

Cadre du sujet
Du benchmarking au benchmark :
Planification : choix des critres Analyse : identification des niveaux de performances Intgration / Action

Utilit des benchmarks Diffrents types

AL - SI5 - 2012/2013 El Bouhy - Lecavelier - Mnmoi Raffalli 3

Les benchmarks systmes

Objectif : mesurer performances dun systme
Systme dexploitation SGBD

Simule le comportement de lutilisateur

Benchmarks applicatifs

AL - SI5 - 2012/2013

El Bouhy - Lecavelier - Mnmoi Raffalli

Les benchmarks systmes

Aspect technique
Comparaison architecture diffrentes Exploration de nouveaux designs

Aspect conomique
Rapport prix/performance

AL - SI5 - 2012/2013

El Bouhy - Lecavelier - Mnmoi Raffalli

Les benchmarks systmes

Standard benchmark TPC
Benchmark pour systmes transactionnels N dun conflit Dbut de TPC A/B

TPC-C
Simulation systme SGBD (gestion des stocks)
AL - SI5 - 2012/2013 El Bouhy - Lecavelier - Mnmoi Raffalli 6

Les benchmarks composants

Testent un seul composant

Ralisent plusieurs tests

Rsultat clair

AL - SI5 - 2012/2013

El Bouhy - Lecavelier - Mnmoi Raffalli

Les benchmarks composants

Pour larchitecte :
Comparer les composants Raliser son systme Connatre leur points forts et faibles

Impact conomique

AL - SI5 - 2012/2013

El Bouhy - Lecavelier - Mnmoi Raffalli

Les benchmarks composants

SPEC (Standard Performance Evaluation Corporation) :
Organisme de standardisation IBM, HP, Oracle

SPEC CPU 2006 :

Benchmark sur les processeurs 800$

AL - SI5 - 2012/2013

El Bouhy - Lecavelier - Mnmoi Raffalli

Les benchmarks composants

CoreMark (OpenSource) :
Benchmark sur les processeurs

Trs utilis dans le monde de lembarqu Trs simple Indpendant de la plate-forme

AL - SI5 - 2012/2013 El Bouhy - Lecavelier - Mnmoi Raffalli 10

Vrification & Validation

AL - SI5 - 2012/2013

El Bouhy - Lecavelier - Mnmoi Raffalli

11

Vrification & Validation

Vrification : Le processus qui dtermine si la mise en uvre d'un modle reprsente exactement la description conceptuelle du dveloppeur pour le modle et la solution de ce modle.

AL - SI5 - 2012/2013

El Bouhy - Lecavelier - Mnmoi Raffalli

12

Vrification & Validation

Validation: Le processus qui dtermine si un modle donn est une reprsentation prcise du monde rel du point de vue des utilisations prvues de ce modle.

AL - SI5 - 2012/2013

El Bouhy - Lecavelier - Mnmoi Raffalli

13

Vrification & Validation

La vrification travaille avec les mathmatiques ; la validation avec la physique

AL - SI5 - 2012/2013

El Bouhy - Lecavelier - Mnmoi Raffalli

14

Exemples des Benchmark V&V

AL - SI5 - 2012/2013

El Bouhy - Lecavelier - Mnmoi Raffalli

15

Benchmarks Comparatifs
Evalue les performances matrielles ou logicielles et tablit une comparaison avec les autres.

Sum of FPS Benchmarks 1920x1200 (HQ) with anti aliasing

El Bouhy - Lecavelier - Mnmoi Raffalli

16

Benchmarks Comparatifs
Des benchmarks pour qui ? :
Les diteurs de logiciels et les constructeurs de matriel Les dveloppeurs

Les consommateurs
AL - SI5 - 2012/2013 El Bouhy - Lecavelier - Mnmoi Raffalli 17

Benchmarks Comparatifs
Des benchmarks pour qui ? :
Les diteurs de logiciels et les constructeurs de matriel
Met en valeur le produit par rapport aux autres

Apporte une image de marque

AL - SI5 - 2012/2013

El Bouhy - Lecavelier - Mnmoi Raffalli

18

Benchmarks Comparatifs
Des benchmarks pour qui ? :
Les diteurs de logiciels et les constructeurs de matriel Les dveloppeurs

Les consommateurs
AL - SI5 - 2012/2013 El Bouhy - Lecavelier - Mnmoi Raffalli 19

Benchmarks Comparatifs
Des benchmarks pour qui ? : Les dveloppeurs
Permet davoir un indice de performance pour savoir comment voluer

AL - SI5 - 2012/2013

El Bouhy - Lecavelier - Mnmoi Raffalli

20

Benchmarks Comparatifs
Des benchmarks pour qui ? :
Les diteurs de logiciels Les dveloppeurs

Les consommateurs

AL - SI5 - 2012/2013

El Bouhy - Lecavelier - Mnmoi Raffalli

21

Benchmarks Comparatifs
Des benchmarks pour qui ? :
Les consommateurs
Donne un indice de qualit du produit
Permet dorienter ses choix

AL - SI5 - 2012/2013

El Bouhy - Lecavelier - Mnmoi Raffalli

22

Synthse
Avantages :
Benchmarks composants : permettent didentifier rapidement les meilleurs composants et leurs limites

Benchmarks validation et vrification : amliorent la crdibilit des simulations

Gnral : offre des indices de performances en fonctions de facteurs prcis, dfinis par le dveloppeur du benchmark.
AL - SI5 - 2012/2013 El Bouhy - Lecavelier - Mnmoi Raffalli 23

Synthse
Inconvnients :
Benchmarks composants : tests raliss sur un systme entier, rsultat dpendant de la plate-forme

Benchmarks systmes : trs couteux, lourds, pas adapts pour les besoins futurs du systme.
Benchmarks Vrification et validation : terminologie non uniforme dans toutes les discipline dingnieurie

AL - SI5 - 2012/2013

El Bouhy - Lecavelier - Mnmoi Raffalli

24

Synthse
Rponse la problmatique :
Benchmark utile pendant la phase de conception

Permet de contrler le rsultat en phase dexploitation Offre plus de prcision larchitecte dans ses tests de performance.
AL - SI5 - 2012/2013 El Bouhy - Lecavelier - Mnmoi Raffalli 25

Synthse
Open Source VS Standard (TPC, SPEC) :
Open source : accessible et dvelopps par tous. Standard : Plus rpandus, rassembles les constructeurs et acteurs les plus connus.

AL - SI5 - 2012/2013

El Bouhy - Lecavelier - Mnmoi Raffalli

26

Conclusion
Elments trs importants Classs dans des familles

Utiliss dans beaucoup de domaines

Trs variables

Trs volutifs
AL - SI5 - 2012/2013 El Bouhy - Lecavelier - Mnmoi Raffalli 27

Rfrences
http://fr.wikipedia.org/wiki/Benchmark http://en.wikipedia.org/wiki/Benchmark_%28computing%29#Types_of_benchmarks http://www.investopedia.com/terms/b/benchmark.asp#axzz2Ay4ltgCS http://www.cs.umd.edu/~meesh/cmsc411/website/projects/morebenchmarks/types.html http://www.bea.gov/industry/io_benchmark.htm http://www.cs.umd.edu/class/fall2001/cmsc411/projects/morebenchmarks/types.html http://www.realworldtech.com/meaningful-benchmarks/ http://www.techradar.com/news/computing/pc/how-to-benchmark-your-pc-954580 http://www.spec.org/spec/ http://mrob.com/pub/comp/benchmarks/spec.html#CPU_06 http://www.coremark.org/faq/index.php?pg=faq http://ideasint.blogs.com/ideasinsights/2011/12/ideas-joins-spec.html http://laptoport.com/2011/11/12/nvidia-kal-el-tegra-3-and-its-companion-core-on-transformerprime/ http://www.storageperformance.org/results http://www.anandtech.com/show/4503/sandy-bridge-memory-scaling-choosing-the-best-ddr3/3 https://www.agi.com/products/stk/Default.aspx http://www.osti.gov/bridge http://www.nec-labs.com/research/system/systems_SAV-website/benchmarks.php http://www.dantecdynamics.com/Default.aspx?ID=469 http://www.oecd-nea.org/dbprog/benchmarks.htm El Bouhy - Lecavelier - Mnmoi Raffalli 28

AL - SI5 - 2012/2013

Avez-Vous des questions ?

AL - SI5 - 2012/2013

29