Procesos

Al igual que el algoritmo de Metropolis, el algoritmo de Gibbs permite simular una cadena de Markov [pic]con distribución de equilibrio [pic]. En este caso, sin embargo, cada nuevo valor de la cadenase obtiene a través de un proceso iterativo que sólo requiere generar muestras de distribuciones cuya dimensión es menor que [pic]y que en la mayoría de los casos tienen una forma más sencilla que lade [pic].
Sea [pic]una partición del vector [pic], donde [pic]y [pic]. Las densidades
[pic]

se conocen como densidades condicionales completas y en general pueden identificarse fácilmente alinspeccionar la forma de la distribución final [pic]. De hecho, para cada [pic],
[pic]

donde [pic]es vista sólo como función de [pic].

Dado un valor inicial [pic], el algoritmo de Gibbs simula unacadena de Markov en la que [pic]se obtiene a partir de [pic]de la siguiente manera:

generar una observación [pic]de [pic];

generar una observación [pic]de [pic];
[pic]
generar una observación[pic]de [pic].

La sucesión [pic]así obtenida es entonces una realización de una cadena de Markov cuya distribución de transición está dada por
[pic]

Comentario. En ocasiones la distribuciónfinal implica cierta estructura de independencia condicional entre algunos de los elementos del vector [pic]. Es estos casos es común que muchas de las densidades condicionales completas sesimplifiquen.

Algoritmo de Metropolis-Hastings

Este algoritmo construye una cadena de Markov apropiada definiendo las probabilidades de transición de la siguiente manera.
Sea [pic]una distribución detransición (arbitraria) y definamos
[pic]

Algoritmo. Dado un valor inicial [pic], la [pic]-ésima iteración consiste en:
1. generar una observación [pic]de [pic];
2. generar una variable [pic];
3. si[pic], hacer [pic]; en caso contrario, hacer [pic].

Este procedimiento genera una cadena de Markov con distribución de transición
[pic]

La probabilidad de aceptación [pic]sólo depende de...