Revista de Matema´tica: Teor´ıa y Aplicaciones 1998 5(1) : 65–71
cimpa – ucr – ccss issn: 1409-2433
me´todos no esta´ndar en el problema de la
parada o´ptima
Jaime Lobo*
Recibido: 21 Diciembre 1997
Resumen
Se analiza el problema de la parada o´ptima por medio de las te´cnicas del ana´lisis
no standar. Gracias al concepto no esta´ndar de tiempo casi-o´ptimo se logra deducir
la existencia de tiempos o´ptimos para los problemas de horizonte finito e infinito. El
enfoque adoptado para el ana´lisis no esta´ndar es el de Internal Set Theory.
Palabras-clave: problema de parada o´ptima, horizontes finito e infinito, Internal Set
Theory, tiempo casi-o´ptimo, tiempo o´ptimo, integrabilidad segu´n Loeb-Nelson.
Abstract
We analize the optimal-stopping problem by the use of non standard analysis tech-
niques. Using the non standard concept of quasi-optimal time, we prove the existence
of optimal times for the problems of finite and infinite horizon. The approach used in
non standard analysis is that of the Internal Set Theory.
Keywords: optimal-stopping problem, finite and infinite horizon, Internal Set Theory,
quasi-optimal time, optimal time, Loeb-Nelson integrability.
AMS Subject Classification: 60G40, 62L15, 26E35, 03H05
1. Introduccio´n
La teor´ıa de la parada o´ptima consiste en el problema siguiente: se considera en un
espacio de probabilidades (Ω, A, P ) una sucesio´n de variables integrables Z = (Zn)n∈N
adaptada a una filtracio´n F = (Fn)n∈N : Fn+1 ⊃ Fn. Sea T el conjunto de tiempos de
parada de F casi siempre finitos:
T = {t : Ω→ N, t es c.s. finito y {t = n} es evento de Fn para todo n ∈ N}
*Escuela de Matema´tica, Universidad de Costa Rica, 2060 San Jose´, Costa Rica.
65
66 j. lobo
Si C es un subconjunto de T tal que para toda t en C la variable Zt es integrable, se
trata de estudiar el valor de sup { E(Zt), t ∈ C} y eventualmente encontrar un tiempo
en C donde se alcance este valor. Llamaremos un tal tiempo de paro tiempo o´ptimo del
problema de parada o´ptima definido por el conjunto C. Las condiciones de integrabilidad
sobre Z permiten abordar siempre el problema de horizonte finito, de horizonte N , que
se define tomando C = T N = tiempos de parada de F menores que N . Bajo condiciones
ma´s fuertes en la seccio´n 3 se abordara´ el problema de horizonte infinito en donde se toma
C = T .
La teor´ıa cla´sica de la parada o´ptima, expuesta por ejemplo en [4] o [7], trata este prob-
lema introduciendo el concepto de supremo esencial de una familia de variables aleatorias.
Esto es necesario porque en general no es posible definir una variable aleatoria como
supt∈C Zt, ya que el conjunto de ı´ndices C es en general no numerable. En este trabajo
se dara´ una nueva presentacio´n del problema de la parada o´ptima recurriendo a cier-
tos resultados derivados del ana´lisis no esta´ndar que evita ciertas dificultades te´cnicas de
la teor´ıa cla´sica, entre ellas los del supremo esencial antes mencionado. Seguimos el en-
foque sinta´ctico de la Internal Set Theory (IST), que permite aplicar los razonamientos no
esta´ndar a los objetos de estudio (espacios de probabilidad, procesos, etc.) sin necesidad
de las extensiones que usualmente se requieren en los enfoques no sinta´cticos.
Los resultados ma´s importantes de la IST necesarios para nuestros propo´sitos sera´n
recordados en la seccio´n 2 donde se introduce el concepto nuevo de tiempo casi-o´ptimo.
En las secciones siguientes se establece la existencia (para el problema de horizonte finito
primeramente y luego para el horizonte infinito) de tiempos casi-o´ptimos a partir de los
cuales se derivan las soluciones cla´sicas.
2. Preliminares sobre la IST y la parada o´ptima
Al adoptar el concepto de conjunto esta´ndar tal como es definido en la IST, teor´ıa
desarrollada en [1] o [3], es pertinente recordar que gracias al axioma del transfer y otros
axiomas de la IST muchas propiedades cla´sicas admiten una caracterizacio´n no esta´ndar
cuando son aplicadas a dichos objetos. Gracias al transfer podremos suponer que las
variables que intervienen en la formulacio´n de un teorema dado son esta´ndar, por lo que
supondremos en varias ocasiones que se cumple la condicio´n (S) siguiente:
(S) : (Ω, A, P ), Z, y la filtracio´n F son esta´ndar
Adema´s de la IST echaremos mano del siguiente corolario del axioma de idealizacio´n
(ver [1]) que llamaremos:
IST1: Para todo conjunto E existe un conjunto finito F que contiene a todos
los elementos esta´ndar de E.
Llamaremos tiempo casi-o´ptimo del problema de parada o´ptima definido por C a un
tiempo de parada τ de C tal que E(Zt) ≈ ma´xt∈C E(Zt).
Tambie´n sera´n de utilidad algunos resultados no esta´ndar sobre integracio´n. Una vari-
able aletoria X es Loeb-Nelson integrable si su esperanza es limitada y para cualquier even-
me´todos no esta´ndar en el problema de la parada o´ptima 67
to A de probabilidad infinitesimal (se dice evento raro) se tiene E(|X|1A) ≈ 0. Aceptare-
mos adema´s los teoremas siguientes (ver [5], [1]):
IST2: Una variable aleatoria esta´ndar integrable definida en un espacio esta´n-
dar es Loeb-Nelson integrable
IST3: SiX, Y son variables aleatorias, |X| ≤ |Y | y Y es Loeb-Nelson integrable
entonces X lo es tambie´n
IST4: Si X, Y son variables aleatorias Loeb-Nelsos integrables y X ≈ Y casi
siempre entonces E(X) ≈ E(Y )
De la teor´ıa de la parada o´ptima recurriremos a un lema te´cnico (ver [4], [7]), que se
enuncia as´ı:
OPT1: sea (An)n≤N una susecio´n que cumple:
AN = ZN , An = ma´x(Zn, En(An)), (resp. An ≤ ma´x(Zn, En(An))).
Entonces si τ es el tiempo de parada definido por
τ = mı´n{n : n ≤ N,An = Zn}
el proceso Bn = Amı´n(n,τ) es una martingala de F (resp. submartingala de
F ).
3. Tiempos casi-o´ptimos y o´ptimos del problema de hori-
zonte finito
En virtud del IST1 existe un conjunto finito ℘N en τN que contiene a todos los tiem-
pos de parada esta´ndar de τN . El ma´ximo de una familia de variables indexadas por
submartingala de F . Gracias a esto se obtiene:
Teorema 1 Bajo las condiciones (S) y siendo N es esta´ndar:
E(ZvN ) ≥ ma´x
t∈℘N
E(Zt)
y por lo tanto E(ZvN ) ≈ ma´xt∈τN E(Zt). El tiempo vN es pues casi-o´ptimo del problema
de horizonte N .
Prueba: La u´ltima relacio´n es consecuencia inmediata del primer resultado, del lema 1
y del hecho de que vN es elemento de τN . Para la primera notamos primero que por
definicio´n se tiene ZvN = V N (vN ). Por otro lado E(V N (vN )) = E(YN ) ≥ E(Y1), donde
la desigualdad se da por el hecho de ser (Yn) una submartingala. Por otro lado E(Y1) =
E(ma´xt∈℘N E1(Zt)) ≥ ma´xt∈℘N E(Zt), y se concluye.
Si el tiempo vN fuera adema´s esta´ndar ser´ıa o´ptimo, pues bajo las condiciones (S) tan-
to el valor de E(ZvN ) como el de ma´xt∈τN E(Zt) son esta´ndar y siendo equivalentes deben
68 j. lobo
ser iguales (ver[1]). Sin embargo no podemos asegurar que en general vN sea esta´ndar, pues
en su definicio´n interviene el conjunto ℘N que no es necesariamente esta´ndar. Podemos
sin embargo encontrar un tiempo o´ptimo de las desigualdades obtenidas en el lema 2. In-
troducimos una nueva sucesio´n WN (n), n = 1, . . . , N definida de esta manera (recurrencia
hacia atra´s de Bellman, ver [4]):
WN(N) = ZN , n < N :WN (n) = ma´x(Zn, En(WN (n+ 1)))
Esta sucesio´n de variables es esta´ndar bajo las condiciones (S) y para N esta´ndar. Se sigue
que en este caso el tiempo de parada µN definido por:
µN = inf{n : n ≤ N : WN (n) = Zn}
es esta´ndar tambie´n.
Establecemos ahora queE(ZvN ) = E(ZµN ). La desigualdadE(ZvN ) ≥ E(ZµN ) proviene
del teorema 1. Para obtener el otro sentido observemos primero que por definicio´n se tiene:
(1) E(ZµN ) = E(W
N (µN ))
De OPT1 la sucesio´n Y ∼n=WN(mı´n(n, µN )) es una martingala, lo que implica:
(2) E(WN (µN )) = E(Y ∼µN ) = E(Y ∼vN )
Por otro lado no es dif´ıcil mostrar que para n ≤ N : WN(n) ≥ V N (n), y por ende µN ≥ vN
y en consecuencia:
(3) E(Y ∼vN ) = E(WN (vN )) ≥ E(V N (vN )) = E(ZvN )
Las relaciones (1), (2), (3) implican entonces que E(ZvN ) ≤ E(ZµN ). Se tiene finalmente
E(ZvN ) = E(ZµN ).
De esta u´ltima igualdad, del teorema 1 y los comentarios que le siguen se deduce ℘N
es una variable aleatoria, y en particular para cualquier subtribu A de A existe la variable
aleatoria: ma´xt∈℘N E(Zt|A). Podemos suponer adema´s que ℘N es estable por la operacio´n
sup: para t, t
′
en ℘N , sup(t, t
′
) ∈ ℘N . En efecto si ℘N es cualquier conjunto finito
conteniendo los tiempos de parada esta´ndar de τN basta considerar el menor conjunto
estable de τN bajo la operacio´n sup que contenga ℘N , que sigue siendo finito.
No es dif´ıcil establecer por el principio del transfer y la caracterizacio´n del extremo
superior de un conjunto de reales esta´ndar (ver [3]) lo siguiente:
Lema 1 Bajo las condiciones (S) se tiene:
ma´x
t∈℘N
E(Zt) ≈ ma´x
t∈τN
E(Zt)
En el lema 1, el miembro izquierdo es un ma´ximo sobre un conjunto finito, el conjunto
℘N , y por lo tanto se alcanza en un tiempo de parada τ , de manera tal que:
E(Zt) ≈ ma´x
t∈τN
E(Zt)
me´todos no esta´ndar en el problema de la parada o´ptima 69
Un tal tiempo τ es entonces casi-o´ptimo para el problema de parada o´ptima de hori-
zonte N . Es de observar que sin las condiciones (S) no es posible obtener este resultado
con la ayuda u´nica del transfer, y por ende asegurar un casi-o´ptimo del problema. Sin
embargo el mismo principio permitira´ establecer y aun construir tiempos o´ptimos como
se probara´ a continuacio´n.
Describimos ahora un tiempo de parada casi-o´ptimo. Para esto consideremos las vari-
ables aleatorias V N (n), n = 1, . . . , N definidas por:
V N (N) = ZN , V N (n) = ma´x
t∈℘N ,t≥n
En(Zt)
donde En( ) denota la esperanza condicional con respecto a Fn. Se tiene entonces:
Lema 2 Si N es esta´ndar, para n ≤ N se cumple: V N (n) ≤ ma´x(Zn, En(V N (n+ 1))
Prueba: Sea t en ℘N , t ≥ n. Entonces Zt = Zt 1{t=n} + Zt 1{t>n}. En {t > n} se puede
escribir t = sup(t, n+1) = t
′
, que es elemento de ℘N con t
′ ≥ n+1, pues n+1 es esta´ndar
y que ℘N es estable por la operacio´n sup. Si tomamos la esperanza En( ) en esta igualdad:
En(Zt) = En(Zn) 1{t=n} +En(Zt) 1{t>n} = Zn 1{t=n} +En(Zt) 1{t>n}
y como En(Zt) = En(En+1(Zt)) ≤ En(V N (n+1)), por definicio´n de la variable V N (n+1),
se obtiene
En(Zt) ≤ Zn 1{t=n} +En(V N (n+ 1))1{t>n} ≤ ma´x(Zn, En(V N (n+ 1)).
Definimos ahora un tiempo de parada vN por:
vN = inf {n : n ≤ N : V N (n) = Zn}
Del lema 2 y de OPT1 se deduce que el proceso Yn = V N (mı´n(n, vN )) es una que bajo las
condiciones (S), y N siendo entero esta´ndar, el tiempo de parada µN es o´ptimo: E(ZµN ) =
ma´xt∈τN E(Zt). Ahora bien siendo esta propiedad de optimalidad una propiedad esta´ndar,
del resultado obtenido bajo condiciones (S) y del transfer se deduce:
Teorema 2 Para todo N entero el tiempo de parada µN es o´ptimo:
E(ZµN ) = ma´x
t∈τN
E(Zt).
4. Tiempos casi-o´ptimos y o´ptimos del problema de hori-
zonte infinito
Abordemos ahora el problema de parada o´ptima de horizonte infinito, es decir el es-
tudio de S∞ = sup{E(Zt), t ∈ τ}. Para garantizar que S∞ esta´ bien definido y es finito
supondremos la condicio´n
H : sup
n∈N
|Zn| es integrable
(bajo estas condiciones el problema se estudia en [6]).
Buscamos la existencia de posibles tiempos casi-o´ptimos y o´ptimos en el sentido cla´sico.
Para esto supondremos primeramente que se cumplen las condiciones (S).
70 j. lobo
Lema 3 Bajo las condiciones (S) toda variable de la forma Zτ , donde τ pertenece a T ,
es Loeb-Nelson integrable.
Prueba: La variable |Zγ | es acotada por la variable X = supn∈N |Zn|, que por la condi-
cio´n H y la hipo´tesis del lema es integrable y esta´ndar. Pero entonces X es Loeb-Nelson
integrable por IST2 y luego por IST3 |Zγ | lo es tambie´n.
Teorema 3 Bajo las condiciones (S) y para N ≈ ∞, S∞ ≈ SN . En particular µN es
tiempo casi-o´ptimo del problema de horizonte infinito.
Prueba: Bajo (S) se tiene que S∞ es esta´ndar y por transfer se obtiene que para cada 
esta´ndar > 0 existe γ esta´ndar en τ tal que |S∞ − E(Zγ)| < . Ahora bien, siendo
γ esta´ndar casi siempre finito se cumple que P (γ ≥ N) es infinitesimal cada vez que
N es ilimitado. Por otro lado por el lema 3 las variables Zγ y Zmı´n(γ, N) son Loeb-Nelson
integrables y por lo tanto E(Zγ1{γ≥N} ≈ 0, E(Zmı´n(γ, N) 1{γ≥N}) ≈ 0. Se deduce
entonces que E(Zγ) = E(Zγ1{γ≥N}) + E(Zγ1{γ<N}) ≈ E(Zγ1{γ<N}) ≈ E(Zmı´n(γ, N))
es decir E(Zγ) ≈ E(Zmı´n(γ, N)). Pero E(Zmı´n(γ, N)) ≤ SN , pues el tiempo mı´n(γ, N)
pertenece a τN . De la escogencia del tiempo τ se obtiene entonces |S∞ − E(Zγ)| < .
Pero  siendo esta´ndar positivo arbitrario, la desigualdad anterior implica que S∞ ≈ SN ,
de donde concluimos. El u´ltimo aserto es consecuencia de lo anterior y del teorema 2.
Reinterpretamos el resultado anterior en te´rminos cla´sicos: la sucesio´n (Sn) siendo
esta´ndar, la propiedad S∞ ≈ SN para todo N ilimitado significa que (Sn) converge al valor
de S∞ (caracterizacio´n no esta´ndar de convergencia de sucesiones). Aplicando transfer
deducimos el resultado cla´sico ([4], [7]):
Teorema 3’ La sucesio´n (Sn) converge al valor S∞. En particular para cada  > 0 existe
un entero N tal que µN es −solucio´n del problema:
|S∞ − E(ZµN)| < .
Los teoremas 3 y 3’ permiten solamente caracterizar los tiempos casi-o´ptimos del prob-
lema de horizonte infinito como tiempos o´ptimos de horizonte finito. Para asegurar real-
mente la existencia de tiempos o´ptimos consideremos el tiempo µ∞ = l´ımn→∞ µn, donde
el l´ımite tiene sentido dado que (µn)n es una sucesio´n creciente de variables aleatorias.
El tiempo µ∞ no es necesariamente casi infinito au´n bajo las condiciones H (ver[4]). Sin
embargo si as´ı fuera se cumple:
Teorema 4 Si el tiempo µ∞ es casi siempre finito, entonces µ∞ es tiempo o´ptimo del
problema de horizonte infinito.
Prueba: Por transfer basta suponer que se cumplen las condiciones (S). Puesto que µ∞
es casi siempre finito la variable Zµ∞ esta´ bien definida y es esta´ndar. Siendo este tiempo
el l´ımite de la sucesio´n esta´ndar (µn)n, de valores enteros, la caracterizacio´n no esta´ndar
de convergencia en probabilidad implica que µN = µ∞ para todo N ≈ ∞ fuera de un
me´todos no esta´ndar en el problema de la parada o´ptima 71
evento raro. En consecuencia Zµ∞ = ZµN fuera de este evento raro, y siendo ambas Loeb-
Nelson integrables (lema 3) aplicando IST4 obtenemos E(Zµ∞) ≈ E(ZµN ). Del teorema
3 se deduce que E(Zµ∞) ≈ S∞, y como en esta relacio´n ambas cantidades son esta´ndar
deben ser entonces iguales y se concluye.
El estudio precedente del problema de la parada o´ptima de horizonte infinito se ha
presentado bajo el supuesto que se cumplen las condicionesH y ser´ıa interesante extenderlo
a condiciones ma´s generales, tales como las dadas en [4], conservando las ideas del ana´lisis
no esta´ndar. Por otra parte queda planteado el problema de tratar la teor´ıa de la parada
o´ptima en tiempo continuo con el enfoque no esta´ndar.
Referencias
[1] E. Nelson (1977) “Internal Set Theory: A New Approach to Nonstandard Analysis”,
Bulletin of the American Mathematical Society 83(6).
[2] E. Nelson (1987) Radically Elementary Probability Theory. Princeton.
[3] Diener, F.; Reeb, G. (1989) Analyse Non Standard. Hermann, Paris.
[4] Chow, Robbins, Slegmund (1971) Great Expectations: The Teory of Optimal Stopping.
Houghton.
[5] Cartle, P.; Feneyrol-Perrin (1988) “Comparaison des Diverses The´ories D’inte´gration
en Analyse non Standard”, Comptes Rendus de L’Acade´mie des Sciences de Paris,
Tomo 307, Serie I.
[6] Dacunha-Castelle, D.; Duflo, M. (1983) Probabilite´s et Statistiques, 2. Proble`mes a`
Temps Mobile. Masson, Paris.
[7] Neveu, J. (1972) Martingales a` Temps Discret. Masson, Paris.