Measure Theory Note-1

Measure Theory Note 1 in Chinese.

1. 什么是概率

提到概率, 我们的直觉会告诉我们这就是一个试验结果发生的可能性. 如果要具体算一算的话, 那么我们会用某一结果出现的次数去除以整体试验的次数, 来算得大概的概率. 但是这样的概率论是很难以回答下面的一些问题的:

• $X \in [0,1], X$ 是有理数的概率? $X^n$ 是有理数的概率?
• $X \in \mathbb{R}, X$ 能表现出代数性(algebraic, 即能作为一个系数是整数的多项式的解)的概率?
• 一个很著名的悖论: 一个实心球仅仅通过旋转和平移, 就能分成两个半径和之前一样的完整的球. Banach–Tarski Paradox

其实对于很多事件, 我们是找不到它们发生的概率的, 更重要的是, 概率在很多地方是没有定义的, 也是没有意义的. 在数学上我们可以证明这个结论 Proof_1.1.1, 可以说明在 $[0,1]$ 区间上有很多点我们都不能找到概率的定义. 那么为了研究概率, 我们就必须规定在什么情况下我们谈论概率是有意义的, 什么情况下试验结果是可以被测量的, 也就是测度论第一个要解决的问题, 哪些集合可测(measurable). 这也是之后我们使用概率的时候需要注意的–讨论概率之前先看这个空间可测吗.

不光是概率有测度, 测度是很多数学概念的根基. 比如我们常用的雷曼积分就是基于 Jordan measure, 需要我们的函数在满足 Jordan measure的条件下才能使用雷曼积分, 而在其他的积分办法中我们就会用到其他的测度.

我们规定, 概率空间probability space是由三个元素构成, 我们叫它们probability triples(概率三兄弟?) $ (\Omega,\mathcal{F},P) $ :

• $ \Omega $ 代表了样本空间, 它必须是非空的, 是我们实验所有可能的结果组成的集合. 如果对一个均匀分布uniform distribution来说, 我们常常取 $ \Omega $ 为 $ [0,1] $ 这样一个实数集合.
• $ \mathcal{F} $ 就是 $ \sigma–algebra $ , 关于 $ \sigma–algebra $ 我们暂时可以理解称就是一个集合, 这个集合是样本空间 $ \Omega $ 上的一个子集，在该子集上所有的集合都是可测的(后面有对可测的解释).
• $ P $ 代表的就是概率测度probability measure, 其实就是一个映射, 通过 $ P $ 我们就能把 $ \mathcal{F} $ 上面的元素一一映射到实数轴 $ [0,1] $ 上. 我们常说的事件发生的概率 $ P(A)=0.5 $ 也就是这样一种映射, 把事件结果映射到是数轴上.

明白了对概率的定义之后, 我们就需要规定在一个区间 $[0,1]$ 的哪个部分是可测的. 下面我们分为两个部分来学习测度论, 首先是空间集合部分, 然后是概率测度部分, 最后我们把它们统一起来.

I. 集合论 Set Theory

2. 什么是algebra

Algebra有很多不同的意思, 在测度论中我们一般是指符合这样条件的一个集合:

• 包含 $ \emptyset $ 和 $ \Omega $
• $A_{i} \in \mathcal{A} \Rightarrow A^{c} \in \mathcal{A}$ 它的补集是闭合的 Closed under complements
• $A_{i} \in \mathcal{A} \Rightarrow A_{1}\cup A_{2}\cup A_{3}\dots \in \mathcal{A}$
  对它的子集来说, 有限次的交集和并集也是闭合的 Closed under finite unions and intersections

Notes:

• 闭合的意思在这里并不是指它是一个闭集如$[0,1]$, 而是指对它进行操作之后它依然属于这个原始的集合: 如果$a \in X \Rightarrow a^{c} \in X$, 我们就说这个集合$a$取了补集之后是闭合的, 也可以称为封闭的.
• 我们这里的algebra是针对概率空间来说的, 当上面条件满足的时候, 我们说这是一个over $ \Omega $ 的algebra.
• 其实后两个条件可以综合为一个: $ \forall A,B \in \mathcal{A} \Rightarrow A\setminus B \in \mathcal{A} $ , 那么 $ \mathcal{A} $ 就可以叫做algebra. 我们形象地把 $ A\setminus B $ 称为set difference, 也可以写作 $A - B$ 那么这个性质我们就可以称为 closed under set difference. 这也是区分algebra和semi-algebra的一个重要性质.

一句话总结就是, 我们对algebra的有限次操作(取补集并集交集)之后我们得到的集合都能属于它自己(closed under all finite set operations), 这样的集合就叫algebra.

3. 什么是semi-algebra

我们规定semi-algebra是这样一个集合:

• 对它的子集来说, 有限次的交集是闭合的 Closed under finite unions
• $\forall A,B \in \mathcal{S}, \exists C_{i} \subseteq \mathcal{S}, \text{C is pairwsie-disjoint such that } A \setminus B= \bigcup_{i=1}^{n}C_{i}$ 对它的子集来说, 子集的补集可以写成它的其他独立的子集的有限次并集.

Notes:

• pairwise disjoint指的是对任意两个集合来说, 他们没有任何相交. 强调pairwise disjoint的原因是为了排除更多集合相交的情况. 举例来说, 现在有一个集合 $ \{\{1,2\},\{2,3\},\{1,3\} \} $ 对这个集合里面的三个子集来说, 他们两两有交点, 但是对整体三个来说它们并没有交点, 所以它们不是pairwise disjoint的.
• semi-algebra不一定是包含 $\Omega$ 的, 假设这样一个集合 $\{\emptyset, A, A^{c} \}$, 明显它是semi-algebra, 但是它不包含 $\Omega$.
• 我们发现semi-algebra的第三个性质其实是和algebra有所不同, algebra是closed under set difference, semi-algebra是 semi closed under set difference. 那么我们如何看待这个semi closed的条件呢? 举例来说: 假设 $ \mathcal{S} $ 是一个实数上的algebra, 如果 $ A=(0,10), B=(3,7) $ , 那么 $ A\setminus B = (0,3)\cup (7,10) $ . 我们把 $ (0,3) $ 叫做 $ C_1 $ , $ (7,10) $ 叫做 $ C_2 $ , $ C_1 \cup C_2 = C $ , 那么 $ A\setminus B = C $ , 但是明显 $ C $ 不属于 $ \mathcal{S} $ 因为 $ C $ 并不是一个interval. 这时我们只能把 $ C $ 看做是 $ \mathcal{S} $ 下面两个pairwise disjoint的集合 $ C_1\cup C_2 $ 的子集, 不能把 $ C $ 直接看做是 $ \mathcal{S} $ 的元素. 这个就是为什么我们要叫它semi-algebra. 所以区分algebra和semi-algebra就是看set difference.

4. 什么是 $\sigma-$algebra

接下来我们的任务就是希望通过一种类似的方式来找到这样一个集合, 在这个集合里我们的元素都是可测的, 我们就把它叫做 $\sigma-$algebra. 它满足这样一些性质:

• 包含 $ \emptyset $ 和 $ \Omega $
• $A_{i} \in \mathcal{A} \Rightarrow A^{c} \in \mathcal{A}$ 补集是闭合的 Closed under complements
• $ A_{i} \in \mathcal{A} \Rightarrow \cup_{i=1}^{\infty} A_{i} \in \mathcal{A}$ 我们称作 $\mathcal{A}$ is closed under countable unions.

那么$\mathcal{A}$ 就是 $\sigma-$algebra.

Notes:

• Countable可以是在无限的情况下, 通常我们分为 finity, countable infinity, uncountable infinity. 我们只要求对countable的unions都成立, 无论infinity与否.
• 观察 $\sigma-$algebra和algebra的性质我们可以看出, 它们只有第三点是不一样的. algebra要求的是finity union, $\sigma-$algebra 要求的是countable union, 我们如何去理解它们的区别呢? 举这样一个例子, 这个集合是algebra但是不是 $\sigma-$algebra: Proof_1.5.1. 这个例子就说明了finity和countable的区别.
• 我们之后会从这些性质里推导出$\sigma-$algebra是可测的.

5. Algebra, semi-algebra 与 $\sigma-$algebra关系

• 如前面提到过的, 如果$\mathcal{A}$是algebra或者 $\sigma-$algebra, 那么 $\Omega \in \mathcal{A}$, 但是这一点对semi-algebra不一定成立.
• 是semi-algebra的集合不一定是algebra, 也正如上面我们在semi-algebra处举的例子.
• 是algebra的集合不一定是 $\sigma-$algebra, 正如之前的$\sigma-$algebra例子.
• 我们可以从semi-algebra产生出一个algebra: semi-aglebra是基于countable来讨论的, 那么它当然包括了countable finity和countable infinity, 然而algebra的条件是只能有finity, 那么很简单, 我们给semi-algebra加上finity的条件就好: if $S$ is semi-algebra, $\{ \text{finite disjoint unions of sets in } S\}$ is an algebra.
• 如果我们要在$\sigma-$algebra上定义概率论, 从这里我们就可以看到其实我们的一个想法是把概率论拓展到countable的空间上去.

6. Borel $\sigma-$algebra

在我们定义了$\sigma-$algebra之后, 看上去很多集合都能满足$\sigma-$algebra的定义. 确实如此, 但是我们并不需要在每一个$\sigma-$algebra上都定义我们的概率论, 那么我们就希望去找最小的一个$\sigma-$algebra. 我们可以证明这样一个最小$\sigma-$algebra的存在且唯一. 我们把在实数轴上所有区间以及它们的 有限次 并集生成的$\sigma-$algebra叫做 Borel $\sigma-$algebra. “生成”这个词的意思是, 如果一个唯一的最小$\sigma-$algebra集合包含了集合$X$, 那么我们称为$X$生成了一个$\sigma-$algebra, 记作$\sigma(X)$, 这个$\sigma-$algebra我们记为$\mathcal{B}$, $\mathcal{B}$中的元素就叫做 Borel sets.

II. 概率测度

7. 定义概率测度

在定义概率测度(probability measure)之前, 我们要先定义测度(measure). 如section 1 里面的 $P$ 一样, 测度就是一个函数, 而这个函数的作用就是把一个class里面的元素映射到实数轴上, 数学的表示就是: For a class $\mathcal{A}$, A function $\mu$ is defined: $\mathcal{A} \rightarrow \mathbb{R} = [-\infty, +\infty]$. 我们还要对这个函数加上一些条件让它变为一个测度:

• $\mu$ is nonnegative, i.e., $\forall x \in \mathcal{A}, \mu(x) \ge 0$
• $\mu$ is $\sigma$-additive.

Notes:

• $\sigma$-additive的概念就是相对于普通的additive来说的. 对于普通的additive, 我们有: $\mu(\sum_{i=1}^{n} A_{i}) = \sum_{i=1}^{n} \mu (A_{i})$. 对于$\sigma$-additive, 按照之前我们对$\sigma$的一种直观理解, 就是把countable finity变成了只有countable, 那么这里已经是countable finity了, 我们就可以理解为$\sigma$让我们拓展到了countable infinity. 所以$\sigma$-additive是: $\mu(\sum_{i=1}^{\infty} A_{i}) = \sum_{i=1}^{\infty} \mu (A_{i})$

既然我们有了measure, 我们就来定义probability measure. 我们只用给measure再加上一个条件就变成了probability measure: $\mu(\Omega) = 1$. 既然都叫probability measure了, 我们就用字母$P$表示吧. 现在我们有:

• $0 \le P(A) \le 1$
• $P(\Omega) = 1$
• $P(\sum_{1}^{\infty} \mu (A_{n})) = \sum_{1}^{\infty} P (A_{n})$

当然它还有一些其他的性质, 比如单调, 连续之类, 就不写在这里了.

那么是不是定义了probability measure我们就可以衡量取到一个数或者一个区间的概率了呢? 还是不行的. 试想我们最开始提出的那个问题, 在$[0,1]$上取到有理数的概率, 我们仅仅依靠这个概率测度还是不够的. 那么我们就需要外侧度Outer measure.

8. 外测度Outer measure

外测度是其实是一个迂回战术: 如果我们要求取到一个数的概率, 我们不直接去求这个概率, 而是我们先构造一个区间, 这个区间包含了这个数, 然后我们求取到这个区间的概率, 然后我们在让这个区间取得越小越好, 那么我们就近似的得到了取得这个数的概率. 显然如果我们把区间划分的越细, 那么我们这个区间的range就会越小, 最后求得的取到这个数的概率就越准确. 但是我们又不可能让区间无限取小下去, 不然我们的计算又是没有意义的了, 那么这种细分方法一定有个下限. 这个下限我们就称为外测度. 我们这样定义外测度:
$$
P^{*} (A) = \inf_{A \subseteq \bigcup A_{i}} \sum P(A_{i})
$$
找点$A$的外测度就是先找到点$A$附近的一圈 $A_{i}$, 要满足 $A_{i}$ 的并集包含了 $A$, 然后我们去求到这些点 $A_{i}$ 的概率, 并且我们让 $A_{i}$ 的范围越小越好, 那么我们就取一个infimum.

Notes:

• 我们并不要求 $P^{*}$ 本身也是一个测度, 我们只要求 $P$ 是测度, 通过 $P$ 构造的 $P^{*}$ 并没有这个要求.

外测度也有一些性质:

• $P^{*}(\emptyset) = 0$
• Monotonicity: $A \subset B \Rightarrow P^{*}(A) \le P^{*}(B)$
• $\sigma$-subadditivity, 对于countable infinity来说: $P^{*}( \bigcup^{\infty} A_{i}) \le \sum^{\infty} P^{*}(A_{i})$

既然我们有了测度的规范定义, 而且是比以前的概率测度 $P$ 更加广泛的一个定义, 我们也需要重新定义一个空间, 在这个空间里我们使用新的概率测度 $P^{*}$ 能够测量

9. 可测集

如果在一个集合上我们有一个外侧度, 这个外测度和这个集合的元素如果能满足一定的条件, 那么我们就叫这个集合是可测集. 这个条件是:
$$
\mathcal{M} = \{A \subseteq \Omega | \text{ for any E} \subseteq \Omega \text{ we have: } P^{*}(A \cap E) + P^{*}(A^{c} \cap E) = P^{*}(E) \}
$$

一旦定义了可测集, 那么可以说我们的任务解决了一大半. 我们现在知道了在什么情况下我们可以用什么办法去计算概率了. 那么我们开始提到的algebra和概率测度有什么联系呢?

III. 联系

10. 联系

现在我们把概率测度和$\sigma$-algebra联系起来, 它们其实有这样的关系:

所有的$P^{*}(A)$的可测集组成的类就是$\sigma$-algebra.

这句话反过来说就是在 $\sigma$-algebra上我们用外测度都是可测的.

Caratheodory Extension Theorem 告诉我们:

• 定义在semi-algebra上的测度 $P$, 在$\sigma-$algebra上存在外测度 $P^{*}$(存在扩张Extension).
• 如果这个测度 $P$ 是 $\sigma$-finite的, 那么外测度 $P^{*}$ 唯一(Extension唯一).

Notes:

• $\sigma$-finite是指$\exists A_{n} \subset \mathcal{A}, \text{such that } \bigcup^{\infty}A_{n} = \Omega \text{ and } |\mu(A_{n})| \lt \infty$, 我们就叫 $\mu$ 是 $\sigma$-finite.
• 如果现在我们假设semi-algebra $S$ 上有个集合 $A$, 那么这个 $S$ 生成的 $\sigma-$algebra $\sigma(S)$上就会存在一个集合 $B$ 满足 $A \subset B, P^{*}(A)=P^{*}(B), \forall C \subset B-A \Rightarrow P^{*}(C)= 0$, 我们也把$B$ 叫做 $A$ 的一个measurable cover.

11. 在$\sigma$-algebra上构造测度

• 先定义semi-algebra $S$, 再在其上扩展一个$\sigma$-algebra $\sigma(S)$.
• 在semi-algebra上定义一个函数/映射 $\mu: S \rightarrow \mathbb{R}$, 那么 $\mu$ 就是semi-algebra上的测度.
• 通过Extension Theory把 $\mu$ 扩展到 $\sigma$-algebra上.

这大概就是一些学习测度论最开始的一些笔记, 而且也非常不完整, 很多东西我跳过了, 自己也不太看得懂, 所以可能漏洞百出. 之后的笔记可能是一些对random variable的定义, 积分的定义之类. 就我的感受来说, 测度论还是对思维的影响非常大, 这种从finity到countable infinity的转变, 其实说明了我们很多时候在考虑试验结果时, 不应该去再一个一个的数试验发生的次数, 也不是一个单个的试验结果, 而是把它们想成一个一个的集合, 再去对集合进行处理.

0. Proofs

Proof 1.1.1

为了方便起见, 我们都假设试验空间是实数轴 $[0,1]$ 之间的均匀分布, 任何超过这个范围的数或者集合, 我们都可以把它shift到这个区间来(就是加减一个数让给它变到 $[0,1]$ 之间来), 且shift前后它们的概率相等. 不光如此, 对于相互独立的集合 $A_1, A_2, A_3 \dots $ 我们有 $P(A_1 \cup A_2 \cup A_3 \dots) = P(A_1) + P(A_2) + P(A_3) +\dots$
现在我们很巧妙地定义一个等价关系 $x\sim y \Leftrightarrow x-y \text{ is rational }$, 这样 $[0,1]$ 就被划分成了2个等价的独立的集合. 那么每次我们分别从两个集合里各自取一个元素出来, 它们也是互相独立的. 我们就可以把它们全部加起来, 总共的概率是等于1. 又因为它们满足这样一个性质, 加减一个有理数之后(就是shift一个有理数的量), 它们的概率不变, 那我们把他们全部shift到点$H$上去. 这就造成了一个悖论: $\sum P(H) = 1$. 任何数的无穷次相加的值无外乎 $0, \infty, -\infty$, 而我们的结论却是等于1.
back

Proof 1.5.1

假设这样一个集合$S = \bigcup_{n=1}^{\infty} (a_{n},b_{n}], \text{ for } a_{n} \le b_{n}$. 我们举一个特例: $S = \bigcup_{n=1}^{\infty} (0,1-\frac{1}{n}]$. 如果对于$S$中任意元素来说, 或者是它们的有限次并集来说, 我们最后得到的集合的形式也是前开后闭$(m,n]$这样的形式, 但是它们的无限次并集就会让我们得到$(0,1)$, 而这个元素是不存在与$S$中的. 那么也就是说对$S$的finity次取并集, 我们得到的集合仍然在$S$中, 那么它属于algebra; 但是对$S$的countable次取并集, 我们得到的集合却不在$S$中, 那么它是不属于semi-algebra的.
back