benchmarking aplicado a la informática

4. Selección y Configuración de Sistemas
Informáticos: Benchmarking
4.1 Introducción
Un programa de prueba o benchmark se define como un programa o conjunto de
programas que evalúan las prestaciones de un sistema informático reproduciendo una
carga de trabajo genérica en dicho sistema informático. Al proceso de comparar dos o
más sistemas mediante la obtención de medidas se le denominabenchmarking.
En general, para evaluar las prestaciones de un sistema informático es necesario conocer
y caracterizar previamente cuál es la carga de trabajo, como se ha visto en temas
anteriores. Sin embargo, en muchos casos tal carga no se conoce de antemano, es difícil
de caracterizar o es suficientemente amplia como para considerarla una carga genérica.
En general, los benchmarks se agrupanen los denominados paquetes benchmark
(benchmark suites), que agrupan diferentes programas para medir diferentes aspectos de
un sistema informático. Para escoger o diseñar un buen paquete benchmark deben de
seguirse los siguientes pasos [Puigjaner94]:
Determinar los objetivos de uso del benchmark. Es decir, ver qué sistema se va a
medir, y aislar esa parte del sistema del resto para evitar susefectos. Además, se
debe especificar en qué tipo de cargas de trabajo o entorno se va a evaluar: carga
científica o entorno de red como servidor, por ejemplo. En la mayor parte de los
casos, el uso o diseño de un benchmark se reduce a “demostrar que nuestra
máquina es mejor que la de los competidores”, aunque este tipo de objetivos es
lo que se debe de evitar.
Analizar la carga de trabajode diversos sistemas, o de un mismo sistema con
diversas aplicaciones, para llegar a una carga de trabajo genérica. Por ejemplo,
analizar en qué proporción se ejecutan las instrucciones de coma flotante y las
de números enteros, o con qué frecuencia y de qué tamaño suelen ser las
peticiones en un servidor de ficheros.
Escoger los programas según los objetivos determinados. Cada programa midediferentes subsistemas, y, por tanto, esta será una razón para elegirlos.
Diferentes programas, además, ejercitan de forma diferente el sistema. Por
ejemplo, si se quiere medir las prestaciones de un ordenador como servidor
Web, se escogerán programas tales como SPECWeb o WebBench (de la ZiffDavis Benchmark operation); pero si el mismo sistema se quiere usar como
servidor de ficheros en unared local, se deberá usar SPEC-SFS. Los resultados
en un benchmark no implican que se obtengan los mismos resultados en otro que
mida un aspecto similar del mismo sistema: por ejemplo, el que un procesador
tenga buenas prestaciones en coma flotante con simple precisión no implica que
tenga las mismas prestaciones en doble precisión; diferentes procesadores
optimizan en su diseño diferentestipos de cálculo. El análisis de la etapa
anterior tendrá que tenerse en cuenta a la hora de evaluar los diferentes
programas, o de seleccionar cuales programas de un benchmark interesan o no.
Escoger las métricas o mediciones que se van a tomar sobre el sistema.
Dependiendo de la parte del sistema que se quiera medir, así se usarán diferentes
métricas. Estas métricas se escogerán entre lasexaminadas en el capítulo de

1

Caracterización de la Carga, pero son en general de dos tipos: velocidad de una
función del sistema informático, y capacidad de la misma. Una métrica de tipo
velocidad sería el tiempo que tarda en ejecutarse un programa o grupo de
programas; una de tipo capacidad el número de usuarios que es capaz de
soportar un sistema o el número de instrucciones por cicloque puede ejecutar un
microprocesador. En general, las métricas son función del nivel funcional del
sistema o subsistema que se quiere medir.
Se deben de tener en cuenta todos los factores que influyan en el rendimiento.
Algunos de esos factores se variarán durante el estudio (por ejemplo, el número
de usuarios simulados por el benchmark), y otros permanecerán fijos; en
cualquier caso, todos...