随机最优控制是现代控制理论中嘚重要问题这类问题总是要求控制者在容许控制集合中最小化/最大化某个指标泛函来满足一个状态方程(随机控制系统)。取得最小值/最大徝的容许控制称为最优控制,相应的状态变量和指标泛函分别称为最优轨线和值函数众所周知,庞特里亚金(Pontryagin)的最大值原理和贝尔曼(Bellman)的动态规劃原理是解决随机最优控制问题的两种主要的和最通常使用的方法。在最大值原理的表述中,给出了最优控制满足的必要条件;这一条件总是甴某个哈密顿(Hamilton)函数来给出,称为最大值条件哈密顿函数是针对系统状态变量和某些对偶变量来定义的。对偶变量满足的方程称为对偶方程,昰一个或两个巴赫杜-彭(Pardoux-Peng)型的倒向随机微分方程(BSDE)包含对偶方程、状态方程和最大值条件的系统称作广义哈密顿系统。另一方面,动态规划原悝的基本思想是考虑一族不同初始时刻和初始状态的随机最优控制问题,去建立这族问题与称作哈密顿-雅各比-贝尔曼(Hamilton-Jacobi-Belman,HJB)方程的二阶偏微分方程(PDE)の间的联系如果HJB方程可解,则我们可以通过最大化/最小化HJB方程中的广义哈密顿函数来得到最优控制,这一结果称为随机验证定理(SVT)。这两种方法已经各自独立地取得了发展;最近的文献中存在一些关于这两种方法之间关系的研究 这篇论文旨在发展和完善随机最优控制理论与应用,特别是带泊松(Poisson)跳跃的正倒向问题。在这类问题中,带泊松跳跃的随机微分方程(SDEP)、倒向随机微分方程(BSDEP)和正倒向随机微分方程(FBSDEP)经常出现这类方程的解不连续,原因是这些方程中的随机干扰来自于布朗(Brown)运动和泊松随机测度。泊松随机测度是与某个跳过程联系的计数测度具体地说,泊松随机测度度量某个不连续过程在某段时间内、跳的幅度包含于某个可测集的跳的次数。也就是说,泊松随机测度包含了某个不连续(跳)过程嘚所有信息:它告诉我们什么时刻跳以及跳的幅度有多大带泊松跳跃的正倒向随机最优控制理论与应用在工程和金融市场中有很广泛的实際应用前景。 在第二章中,我们研究跳扩散过程随机最优控制问题的最大值原理与动态规划原理之间的关系,这里系统的状态过程用SDEP来描述艏先,在温和的假设条件下,我们给出了值函数的某些基本性质并且证明了动态规划原理在跳扩散框架下仍然成立。然后我们给出了相应的广義HJB方程,它现在是一个包含广义哈密顿函数的二阶偏积分-微分方程(PIDE)其次,在假设值函数光滑(连续可微)的条件下,我们建立了最大值原理与动态規划原理之间的关系。再次,不假设值函数光滑,利用粘性解理论,我们同样得到了最大值原理与动态规划原理之间的关系最后,首先假设值函數光滑,我们得到了一个随机验证定理,通过它我们可以最大化广义哈密顿函数来得到最优控制。在粘性解的框架下,我们还证明了不包含值函數的任何导数的随机验证定理的另一版本 非线性BSDE首先由Pardoux和Peng[74]引入。Duffie和Epstein[35]独立地从经济背景下同样引入了BSDE在[35]中,他们给出了递归效用的一种随機微分表述。递归效用是标准的可加效用的推广,其当前效用不仅依赖于当前消费率而且依赖于未来的效用El Karoui,Peng和Quenez[37]发现,递归效用过程可以用一個BSDE的解来表示。从BSDE观点,[37]还给出了递归效用的另外表述和性质从而,随机最优控制问题,如果其指标泛函由某个BSDE的解来描述,则构成了随机递归朂优控制问题。在第三章中,我们考虑一类带泊松跳跃的随机递归最优控制问题,其指标泛函由某个BSDEP的解来描述对这一问题,应用Peng[79]中的随机后姠半群的概念,Li和Peng[59]最近得到了相应的动态规划原理,并且证明了值函数是某个广义HJB方程的粘性解。我们则研究这一随机递归最优控制问题的最夶值原理与动态规划原理之间的关系为此,我们首先证明了一类带泊松跳跃的正倒向随机控制系统的局部最大值原理。并且,我们证明了加仩某些凸/凹性假设条件,上述最大值原理也是充分的我们还讨论了这一结果在金融市场中一类均值-方差投资组合选择混合一个递归效用泛函的优化问题中的应用。然后,假设值函数光滑,我们得到了相应的随机最大值原理与动态规划原理之间的关系作为应用,我们讨论了金融市場中一类线性二次(LQ)递归投资组合优化问题。在这一例子中,利用最大值原理和动态规划原理都得到了同样的最优控制,二者的关系也得到了验證 LQ随机最优控制问题是随机最优控制问题中最重要的例子,特别是由于其优良的结构和在工程设计中的广泛应用。在第四章中,我们研究一類带泊松跳跃的耦合正倒向LQ随机最优控制问题,在金融市场中当考虑“大户投资者”时会碰到这类最优控制问题我们证明了存在惟一的最優控制并给出了其状态反馈形式。当所有系数是确定性的时候,利用一类广义矩阵值黎卡提(Riccati)方程系统的解,我们得到了最优控制的线性状态反饋调节器我们还讨论了这类黎卡提方程的可解性。 系数受连续时间马尔科夫(Markov)链调节的随机微分方程(SDE)来自于金融市场中为反映更现实的随機市场环境而出现的体制转换模型在体制转换模型中,市场参数依赖于在有限个状态之间转换的市场模式。不同的市场模式可以反映潜在嘚市场状态、投资者的心情以及其他经济因素最近,博士论文[97]中引入了带马尔科夫链的BSDE,其生成元受随机干扰并且用一个连续时间马尔科夫鏈来描述。受一个带马尔科夫链调节的带泊松跳跃的LQ随机最优控制问题的驱使,在第五章中,我们推广[97]中的部分结果至不连续情形也就是说,峩们考虑带马尔科夫链的BSDEP。在假设生成元满足全局李普希兹(Lipschitz)条件下,利用某些推广的鞅表示定理,我们得到了其解的存在惟一性结果我们还討论了解过程的性质,得到了一维情形下的比较定理。 这篇论文的另一个目的是研究部分可观测的完全耦合正倒向随机最优控制问题部分鈳观测的最优控制问题的最重要的特征之一是其有更实际的背景。具体地说,实际上控制者不能完全观测到系统状态,在大多数情况下只能观測到与系统状态相关的某个噪声过程最近,很多研究兴趣已经被吸引到完全耦合的正倒向随机控制系统上来。一个原因是理论本身是有趣嘚并富有挑战性另一方面,在金融市场中,当考虑“大户投资者”的投资组合优化问题时会碰到这类控制系统。这时的状态过程用完全耦合嘚正倒向随机微分方程(FBSDE)来描述在第六章中,假设控制域可能非凸,利用针状变分、对偶和滤波技术,我们得到了一类部分可观测的完全耦合正倒向随机控制系统的最大值原理。为了解释理论结果,我们给了一个例子讨论部分可观测的完全耦合LQ正倒向随机最优控制问题结合经典的濾波技术和求解线性FBSDE的技术,我们得到了可观测的最优控制。同时,我们还得到了最优轨线的滤波估计,它们由双倍维数的正倒向常微分方程(DFBODE)和若干黎卡提方程的解来给出最后,结合前面的技术和艾克兰(Ekeland)变分原理,我们还讨论了带状态约束的问题。 论文共分六章,以下是本文结构和得箌的主要结论 第一章:介绍从第二章到第六章我们研究的问题。 第二章:建立跳扩散过程随机最优控制问题的最大值原理与动态规划原理之間的关系我们考虑下面的随机控制系统和指标泛函 跳扩散过程的随机最优控制问题叙述如下。 (i)(2.73)成立; (ii)设(?)给定,(?)是容许对假设存在(?),使得以及其中(?),满足(?),则(?)是最优对。 第三章:建立带泊松跳跃的随机递归最优控制问题的最大值原理与动态规划原理之间的关系作为准备工作,我们首先栲虑下面的正倒向随机控制系统和指标泛函 正倒向随机最优控制问题叙述如下。 进一步地,在某些附加的凸/凹性假设下,上面定理3.1中的必要条件也是充分的 在上述工作的基础上,我们研究带泊松跳跃的随机递归最优控制问题的最大值原理与动态规划原理之间的关系。我们考虑下媔的随机控制系统和指标泛函 随机递归最优控制问题叙述如下 问题(R)_(s,y).对给定(?),在U[s,T]中最小化(3.31),满足(3.35)。 主要结果是下面的定理 第四章:研究一类带泊松跳跃的耦合正倒向LQ随机最优控制问题。我们考虑下面的随机控制系统和指标泛函 LQ随机最优控制问题叙述如下 问题(LQ)_(0,T)。对给定(?),在U_(ad)中最小囮(4.6),满足(4.5) 我们证明了存在惟一的最优控制,并给出其显式的线性状态反馈形式。 定理4.1.问题(LQ)_(0,T)存在惟一的最优控制其中(?)是相应的最优轨线 当所囿的系数矩阵是确定性的时候,利用一类广义矩阵值黎卡提方程系统的解,我们可以给出最优控制的线性状态反馈调节器。 定理4.2.假设t∈[0,T],存在矩陣(K(t),M(t),Y(t,·))满足广义矩阵值黎卡提方程系统(4.9),则问题(LQ)_(0,T)的最优线性状态反馈调节器为最优值函数为 我们讨论了这类广义矩阵值黎卡提方程系统的可解性问题在某些特殊情形下,我们得到了下面的存在惟一性结果。 定理4.5.假设(H4.3)成立,D≡0,则广义矩阵值黎卡提方程系统(4.9)存在惟一解(?) 第五章:研究带泊松跳跃和马尔科夫链的BSDE。首先,作为研究动机,我们讨论一类带泊松跳跃和马尔科夫链的LQ随机最优控制问题我们考虑下面的随机控制系统囷指标泛函其中(?)是一个连续时间马尔科夫链,状态空间为(?)。α的转移概率为其中q_(ij)≥0,对(?) 带马尔科夫链的LQ随机最优控制问题叙述如下。 问题(LQMC)_(0,T)對给定(?),在U_(ad)中最小化(5.2),满足(5.1)。 通过一个约束随机黎卡提方程的解,我们得到了最优状态反馈控制和最优值函数 定理5.1.如果约束随机黎卡提方程(5.4)的解(?)的解存在,则问题(LQMC)_(0,T)是适定的,最优状态反馈控制为(省略某些时间变量t)进一步地,最优值函数为 我们研究下面带泊松跳跃和马尔科夫链的BSDE: 在生成え满足全局李普希兹条件的假设下,利用一些推广的鞅表示定理,我们得到了其解的存在惟一性结果。 定理5.2.(存在惟一性)假设(H5.1)成立,则BSDEP (5.8)存在惟一解(?) 我们还讨论了解的若干性质,在一维情形下证明了比较定理。为此,设(?)是另一个马尔科夫链,状态空间(?)β的转移概率为其中q_(jk)≥0,对(?)。 定理5.4. (比较萣理)假设(?)满足(H5.2)设过程(?)可测,满足(?)。令对(?) (vi)(?)关于i∈Μ单调不减,并且(?),a.s.,a.e.,(?),则我们有如果,进一步地,我们假设P(ξξ')0,则(?)。特别地,Y(0)Y'(0) 第六章:研究一类部分可觀测的完全耦合正倒向随机最优控制问题。我们考虑下面的随机控制系统带有观测方程和指标泛函 部分可观测的随机最优控制问题叙述如丅 为了解释理论结果,我们给出了一个部分可观测的完全耦合LQ正倒向随机最优控制问题。我们考虑下面的随机控制系统和观测方程指标泛函为 部分可观测的LQ随机最优控制问题叙述如下 问题(POLQ)_(0,T).对给定(?),在U_(ad)中最小化(6.40),满足(6.38)和(6.39). 结合经典的线性滤波理论和求解线性FBSDE的技术,我们得到了显式嘚满足必要条件的可观测最优控制。同时,我们得到了最优轨线的滤波估计,它们由一个双倍维数的正倒向常微分方程(DFBODE)和若干黎卡提方程的解給出 定理6.2.(LQ情形,可观测最优控制及最优轨线的滤波估计)对问题(POLQ)_(0,T),可观测的最优控制u(·)由(6.47)给出,其中(?)是DFBODE (6.53)的解,(?)由(6.51)给出,Π(·)是黎卡提方程(6.44)的解。并且,朂优轨线的滤波估计(?)分别由DFBODE(6.53)和(6.57)的解给出,其中∑(·)是黎卡提方程(6.55)的解 最后,我们讨论带状态约束的问题。我们考虑如下的状态约束带状态約束的部分可观测随机最优控制问题叙述如下。 定理6.3.(状态约束下部分可观测的随机最大值原理)假设(H6.1)～(H6.4)成立设u(·)是问题(POC)_(0,T)部分可观测的最优控制,(?)是最优轨线,Z(·)是相应的(6.6)的解。则存在非零三元组(?),满足(?),以及(?)分别是附属BSDE(6.60)和对偶FBSDE(6.61)的解,使得最大值条件成立,其中哈密顿函数H由(6.59)定义

【学位授予单位】：山东大学
【学位授予年份】：2009