(Lecture, Jan 10) Constrained Markov Decision Processes with Varying Discount Factors
January 10,2017 09:33:30 readCount:210
Title: Constrained Markov Decision Processes with Varying Discount Factors
Speaker: Professor Guo Xianping(Sun Yat-Sen University)
Time: Tuesday, January 10, 2017, 16:00-17:00
Venue: Room 141, Building No.4, Wushan Campus
 
[Abstract]
This talkfocuses on the constrained optimality problem of first passagediscrete-time Markov decisionprocesses in denumerable states and compact action spaces with multi-constraints, state-dependent discount factors and possibly unbounded costs.By means of the properties of a so-called occupation measure of a policy, we show that the constrained optimalityproblem is equivalence to an (infinite-dimensional) linear programming on the set of occupation measures with some constraints, and thus prove the existence of an optimal policy under suitable conditions. Furthermore, using the equivalence between the constrained optimalityproblem and the linear programming we obtain an exact form of an optimal policyfor the case of finite states and actions. Finally, as an example, a controlled queueing system is given to illustrate our results.
 

Announced by School of Mathematics