基于得分函数的概率分类模型研究

Research on Probability Classification Model Based on Scoring Function

摘要: 现代统计学中有各种分类方法，在数据研究中，类别分得越精准，得到的结果就越有价值。对于二元分类问题，本文提出了一种基于得分函数的概率分类模型MKL，从理论上证明了所提出的MKL估计的一致性。在实证方面，本文通过拟牛顿算法直接对连续化后的MKL统计量进行优化，给出了模拟研究的分类效果和一个心脏衰竭数据集的实例。该方法考虑了预测能力、计算复杂度和实际可解释性方面的权衡，与现有的分类方法相比具有优势。

Abstract: There are various classification methods in modern statistics, and in data research, the more accu-rate the classification, the more valuable the results obtained. For the binary classification problem, this paper proposes a probabilistic classification model MKL based on the score function, which theoretically proves the consistency of the proposed MKL estimate. In terms of empirical evidence, this paper directly optimizes the continuous MKL statistics by means of quasi-Newtonian algorithm, and gives the classification effect of the simulation study and an example of a heart failure dataset. This approach takes into account trade-offs in terms of predictive power, computational complexity, and practical interpretability, and offers advantages over existing classification methods.

1. 引言

分类问题在社会科学、经济管理以及医学领域中有着非常广泛的应用，例如预测借贷平台用户是否违约、预测客户流失率、诊断不同的脊椎病变等等。在过去的几十年里，大量的分类方法在实际应用中得到了发展。J.S. Cramer [1] 系统地回顾了逻辑回归的起源，逻辑回归通过对样本属于某一类的概率进行预测来实现分类。Breiman等人 [2] 首次提出了随机森林方法，通过将多棵决策树集成，以及每次用采样的样本和特征分量训练每棵决策树，可以有效地降低模型的方差。Corinna Cortes和Vapnik [3] 首次提出了支持向量机方法，该方法可以处理标记错误的样本，并证明了支持向量机利用多项式输入变换的高泛化能力。Yann LeCun [4] 首次将BP算法应用到神经网络结构的训练上，形成了当代卷积神经网络的雏形，只需最少的预处理对高维模式进行分类。

分类作为典型的监督学习方法，目前已发展出许多成熟且优良的分类模型，但随着信息技术的发展与各种新技术的发明，传统的分类模型暴露出了种种不足，于是怎样结合现有的理论知识去拓展分类方法以期更高效地处理数据变得尤为重要。Zhang和Li等人 [5] 通过训练数据给不同的测试数据点分配不同的k值，学习一个相关矩阵来重构测试数据点，对k近邻方法进行了改进，该方法在分类、回归、缺失数据归因等数据挖掘应用中，比现有的kNN方法更准确、高效。Fang和Chen [6] 提出了一种直接最大化Kolmogorov-Smirnov统计量的信用评分方法对银行客户进行分类，该方法重点展示了预测能力在KS统计量上的表现，得到了一个优于传统评分模型的信用评分方法。

本文在现有的理论基础和前人思维的启发下，针对二分类问题，提出了一种新的分类模型，即最大化形如KL散度的统计量，记为MKL，基于得分函数对问题进行分类。本文的其余部分组织如下：第2节详细介绍了本文的方法、理论性质和渐进结果，以及最优化目标函数的算法步骤；第3节进行了模拟研究，并与传统的分类模型如Logistic回归、支持向量机、随机森林和神经网络进行了比较；第4节将本文提出的分类方法应用到了真实数据上；第5节给出了一些结论。所有的证明都在附录中。

2. 方法

2.1. 符号和模型

设响应变量为Y，其取值为0和1，X表示样本特征或协变量。设得分函数 $S\left(X\right)$ 是X的标量函数，并且 $S\left(X\right)$ 与条件概率 $P\left(Y=1|X\right)$ 呈正相关。基于得分函数，令t表示截止分数即得分函数的一个阈值，也就是说，样本得分不超过t的将被分到一类， $P\left(S\left(X\right)\le t|Y=0\right)$ 为属于 $Y=0$ 的样本被正确分类的百分比，另一方面， $P\left(S\left(X\right)\le t|Y=1\right)$ 为属于 $Y=1$ 的样本被错误分类的百分比。因此根据正判和误判的概率，我们希望 $P\left(S\left(X\right)\le t|Y=0\right)\ge P\left(S\left(X\right)\le t|Y=1\right)>0$， $P\left(S\left(X\right)\le t|Y=0\right)$ 越大越好， $P\left(S\left(X\right)\le t|Y=1\right)$ 越小越好，故而本文提出了如下概率分类模型，记为MKL。定义：

$MKL=\underset{-\infty <t<\infty }{\sup }\left\{P\left(S\left(X\right)\le t|Y=0\right)\log \frac{P\left(S\left(X\right)\le t|Y=0\right)}{P\left(S\left(X\right)\le t|Y=1\right)}\right\}$. (1)

在实践中，基于数据集 $\left\{\left(y_i,x_i\right),i=1,\cdots ,n\right\}$，则可得到分类模型的样本估计形式：

$MK{L}_n=\underset{-\infty <t<\infty }{\sup }\left[\frac{1}{n_0}{\displaystyle \underset{y_i=0}{\sum }I\left\{S\left(x_i\right)\le t\right\}}\log \frac{\frac{1}{n_0}{\displaystyle \underset{y_i=0}{\sum }I\left\{S\left(x_i\right)\le t\right\}}}{\frac{1}{n_1}{\displaystyle \underset{y_i=1}{\sum }I\left\{S\left(x_i\right)\le t\right\}}}\right]$， (2)

其中， $n_0={\displaystyle \underset{i=1}{\overset{n}{\sum }}I\left\{y_i=0\right\}}$， $n_1={\displaystyle \underset{i=1}{\overset{n}{\sum }}I\left\{y_i=1\right\}}$， $I\{\cdot \}$ 为示性函数， $S\left(x_i\right)$ 为根据分类模型估计的第i个样本的得分。现有的分类方法都是通过优化目标函数来估计样本得分的，例如，逻辑回归通过最大化似然函数估计回归参数，决策树通过最小化熵等损失函数来决定最佳分割。本文采用最大化MKL统计量来确定最优分割，假设

$P\left(Y=1|X\right)=f\left(X^{\text{T}}{\beta }_0\right)$， (3)

其中f为0~1之间的未知递增函数， ${\beta }_0$ 为p维未知常向量，p为协变量X的维数。为了模型可识别性，设定 $\Vert {\beta }_0\Vert =1$，其中 $\Vert ·\Vert$ 为欧几里得范数，对于得分函数 $S\left(X\right)=X^{\text{T}}\beta$，也设定 $\Vert \beta \Vert =1$。

2.2. 模型估计

设 $\beta$ 的参数空间为 ${\rm B}=\left\{\beta \in {ℝ}^p:\Vert \beta \Vert =1\right\}$。对于得分函数 $S\left(X\right)=X^{\text{T}}\beta$，其中 $\beta \in {\rm B}$，则总体水平MKL定义为

$MKL\left(\beta \right)=\underset{-\infty <t<\infty }{\sup }\left\{P\left(X^{\text{T}}\beta \le t|Y=0\right)\log \frac{P\left(X^{\text{T}}\beta \le t|Y=0\right)}{P\left(X^{\text{T}}\beta \le t|Y=1\right)}\right\}$. (4)

定义 $MKL\left(\beta ,t\right)=P\left(X^{\text{T}}\beta \le t|Y=0\right)\log \frac{P\left(X^{\text{T}}\beta \le t|Y=0\right)}{P\left(X^{\text{T}}\beta \le t|Y=1\right)}$。在假设(3)式下，首先引入以下引理。

引理1：在假设(3)下，如果 $X^{\text{T}}\beta$ 的分布不退化，则 $MKL\left({\beta }_0\right)=MKL\left({\beta }_0,f^{-1}\left({\pi }_1\right)\right)$，其中 ${\pi }_1=P\left(Y=1\right)$。

由引理1可知，如果 ${\beta }_0$ 已知，并且 $S\left(X\right)=X^{\text{T}}{\beta }_0$，则最佳分界点为 $f^{-1}\left({\pi }_1\right)$。注意， $X^{\text{T}}{\beta }_0\le f^{-1}\left({\pi }_1\right)$ 等价于 $f\left(X^{\text{T}}{\beta }_0\right)\le {\pi }_1$ 或 $P\left(Y=0|X\right)>P\left(Y=0\right)$。在实际应用中， ${\beta }_0$ 是未知的，这种最佳分类无法实施。但引理1是下列定理的基础：当 $\beta ={\beta }_0$ 时， $MKL\left(\beta \right)$ 达到其唯一的极大值。

定理1：在假设(3)和引理1中的条件下，如果条件分布 $F\left(X^{\text{T}}\beta |X^{\text{T}}{\beta }_0\right)$ 对任意 $\beta \in {\rm B}$ 且 $\beta \ne \pm {\beta }_0$ 不退化，则对任意的 $\beta \in {\rm B}$ 且 $\beta \ne \pm {\beta }_0$ 有 $MKL\left({\beta }_0\right)>MKL\left(\beta \right)$。

根据定理1，本文提出通过最大化下列统计量来估计 ${\beta }_0$，

$MK{L}_n\left(\beta \right)=\underset{-\infty <t<\infty }{\sup }\left[\frac{1}{n_0}{\displaystyle \underset{y_i=0}{\sum }I\left\{x_i^{\text{T}}\beta \le t\right\}}\log \frac{\frac{1}{n_0}{\displaystyle \underset{y_i=0}{\sum }I\left\{x_i^{\text{T}}\beta \le t\right\}}}{\frac{1}{n_1}{\displaystyle \underset{y_i=1}{\sum }I\left\{x_i^{\text{T}}\beta \le t\right\}}}\right]$. (5)

可定义

$\hat{\beta }=\underset{\Vert \beta \Vert =1}{\arg \max }MK{L}_n\left(\beta \right)$. (6)

得到 $\hat{\beta }$ 后，得分函数则为 $S\left(x_i\right)=x_i^{\text{T}}\hat{\beta },i=1,\cdots ,n$。下面的定理说明了 $\hat{\beta }$ 的一致性，这一性质支撑了本文所提出的分类方法。

定理2：在假设(3)和定理1中的条件下，当n趋于无穷时，(6)中的 $\hat{\beta }$ 在概率上趋于 ${\beta }_0$。

2.3. 算法步骤

因为我们的目标函数是离散的，为了更简便地优化(5)式，本文将其做连续化处理：

$MK{L}_n\left(\beta ,t\right)=\frac{1}{n_0}{\displaystyle \underset{y_i=0}{\sum }\Phi \left(\frac{t-x_i^{\text{T}}\beta }{h}\right)}\log \frac{\frac{1}{n_0}{\displaystyle \underset{y_i=0}{\sum }\Phi \left(\frac{t-x_i^{\text{T}}\beta }{h}\right)}}{\frac{1}{n_1}{\displaystyle \underset{y_i=1}{\sum }\Phi \left(\frac{t-x_i^{\text{T}}\beta }{h}\right)}}$， (7)

其中， $\Phi \{\cdot \}$ 为标准正态分布函数，h为带宽。使用拟牛顿法(BFGS)确定参数 $\beta$，具体算法步骤如下：

Step1：设定初始值 ${\beta }^{\left(0\right)}={\left({\beta }_1^{\left(0\right)},\cdots ,{\beta }_p^{\left(0\right)}\right)}^{\text{T}}=\frac{{\hat{\beta }}_{\log }}{\Vert {\hat{\beta }}_{\log }\Vert }$ 并且满足 $\Vert {\beta }^{\left(0\right)}\Vert =1$，其中 ${\hat{\beta }}_{\log }$ 是数据集 $\left(X,Y\right)$ 拟合逻辑回归模型所得的回归系数，精度要求为 $\epsilon$ ；

Step 2：真实模型的回归参数设为 ${\beta }_0$，则t的初始值为 $t_0=x_i^{\text{T}}{\beta }_0$ ；

Step 3：给定初始对称正定矩阵 $D_0=I_p$ ；

Step 4：计算搜索方向 $d^{\left(s\right)}=-D_s{g}_s$ ( $g_s$ 是 ${\beta }^{\left(s\right)}$ 的梯度)；

Step 5：计算最优步长： ${\lambda }_s=\arg \max L\left({\beta }^{\left(s\right)}+\lambda d^{\left(s\right)},t_0\right)$，则 ${\beta }^{\left(s+1\right)}={\beta }^{\left(s\right)}+{\lambda }_s{d}^{\left(s\right)}$ ；

Step 6：判断精度，若 $\Vert g_{s+1}\Vert <\epsilon$，则停止迭代，否则进入下一步；

Step 7：计算 $\Delta g=g_{s+1}-g_s$， $\Delta \beta ={\beta }^{\left(s+1\right)}-{\beta }^{\left(s\right)}$，更新D：

$D_{s+1}=D_s+\frac{\Delta \beta \Delta {\beta }^{\text{T}}}{\Delta g^{\text{T}}\Delta \beta }-\frac{D_s\Delta g\Delta g^{\text{T}}{D}_s}{\Delta g^{\text{T}}{D}_s\Delta g}$ ； (8)

Step 8：令 $s=s+1$，进入Step 4；

Step 9：通过约登指数确定最佳阈值t。

3. 数值模拟

这一节进行了广泛的模拟研究，以验证本文提出的分类模型的效果。考虑以下三种不同的模型：

Model 1： $P\left(y_i=1|X_i\right)=\frac{1}{1+{\text{e}}^{-x_i^{\text{T}}{\beta }_0}}$，

Model 2： $P\left(y_i=1|X_i\right)=\frac{1}{1+{\text{e}}^{-x_i^{\text{T}}{\beta }_{0}I\left\{x_i^{\text{T}}{\beta }_0>0\right\}}}$，

Model 3： $P\left(y_i=1|X_i\right)=\frac{I\left\{x_i^{\text{T}}{\beta }_0>-\frac{1}{4}\right\}}{1+{\left(1+4x_i^{\text{T}}{\beta }_0\right)}^{-\frac{1}{4}}}$。

模型1为logistic模型，模型2为半logistic模型，模型3为带参数1的Box-Cox模型 [7]。设 $p=5$， $x_i={\left(x_{i1},\cdots ,x_{i5}\right)}^{\text{T}}$，其中 $x_i$ 是均值为0，协方差矩阵为 $\Sigma ={\left({\sigma }_{ij}\right)}_{p\times p},{\sigma }_{ij}={0.5}^{\left|i-j\right|},1\le i,j\le p$ 的五维多元正态随机向量。真实的回归参数 ${\beta }_0=\left(1,1,-1,-1,-1\right)$，样本量为 $n=200$ 或1000，每次实验重复500次。

本文考虑四种方法进行比较：第一种方法是本文提出的以逻辑回归系数 $\frac{{\hat{\beta }}_{\log }}{\Vert {\hat{\beta }}_{\log }\Vert }$ 为初始点的MKL方法；第二种方法是Logistic回归，是目前最流行的二分类方法；第三种方法是基于高斯核函数的支持向量机(SVM)；第四种方法是随机森林(RF)；第五种方法是神经网络(Net)，实现了一个包含3个隐藏层的神经网络。其中所有方法的分类阈值均通过约登指数来确定，即找到ROC曲线的最佳临界点。

对于上述四种方法，本文使用准确率(Accuracy)、精确率(Precision)、查全率(Recall)和F₁分数四个定性指标进行评价，如式(8)~(11)所示。准确率能够判断总体的正确率，但是在样本不均衡的情况下，并不能作为很好的指标来衡量结果。精确率是针对预测结果而言的，代表了对正样本结果中的预测准确程度。召回率是针对原样本而言的，以精确率还是以召回率作为评价指标，需要根据具体问题而定，所以可以进一步比较F₁分数，F₁分数同时考虑了精确率和召回率，让两者同时达到最高，取得平衡。此外，还以秒为单位计算时间，计算了各方法500次模拟的时间的平均值。所有数值结果见表1。

$Accuracy=\frac{TN+TP}{TN+TP+FN+FP}$， (8)

$Precision=\frac{TP}{TP+FP}$， (9)

$Recall=\frac{TP}{TP+FN}$， (10)

$F_1=2\times \frac{Precision\times Recall}{Precision+Recall}.$ (11)

Table 1. Comparison of results for different sample sizes in five methods

表1. 五种方法不同样本量的结果对比

可以看出，对于不同模型和不同的样本量，本文提出的MKL方法和其他传统的四种方法的分类效果很接近，也就是说，MKL方法是可用的甚至有较强的竞争力。就模型一具体来说，在样本量较小的时候，因为真实模型就是逻辑回归，所以Logistic回归方法的分类性能是最好的，其准确率、精确率都是最高的，这符合我们的预期，同时MKL方法的分类性能也相对较好，其准确率仅次于Logistic回归，且精确率是最高的。三种模型中，支持向量机和随机森林方法的各项指标都是最低的，且出现了较大的偏差，说明模型质量较差，模型稳定性也不是很好。当样本量增大时，应用于三种模型的五种分类方法的性能均有所提升，且MKL方法的分类准确度、预测性能和模型质量均较好。同时就计算速率而言，MKL方法计算速度较快，神经网络计算速度最慢。并且，纵向比较不同模型的方法应用效果，模型二的分类效果是最高的，这就说明对于不同的数据特征，分类方法的效果也是不一样的，因此在实例中通过分析数据和样本特征，或许能更好地应用我们的方法。

4. 实例分析

心血管疾病(Cardiovascular disease, CVD)是最常见的死亡原因之一，每年造成约1700万人死亡。心血管疾病的主要原因是心肌梗死和心脏不能正常供血。医生可以根据患者的症状和临床实验室调查，通过电子病历诊断心力衰竭(Heart failure, HF)。然而，心力衰竭的准确诊断需要医疗资源和专业人员，而这些资源并不总是可用的，因此诊断具有挑战性。故而，利用机器学习算法来预测患者的病情是节省时间和精力的必要方法。

本文引用了UCI数据库中的心力衰竭临床记录数据集 [8]，该数据集包含299名心力衰竭患者，共12个特征，分别为年龄、血清钠、血清肌酐、性别、吸烟、血压、射血分数、贫血、血小板、肌酐磷酸激酶、糖尿病、随访期。因变量为二分类变量，在随访期因心脏衰竭死亡视为0，未死亡视为1。针对该数据集，本文仍然使用MKL、Logistic回归、支持向量机、随机森林和神经网络这五种方法进行模型拟合，各模型分类效果如图1所示。

Figure 1. Five methods of classification indicator comparison

图1. 五种方法分类指标对比

从图1中可以看出，本文所提出的分类模型MKL取得了最优的分类效果，其准确率(0.878)和精确率(0.875)不仅是最高的，且两者偏差十分微小，说明模型分类效果和预测性能均较好，同时F₁分数(0.71)也相对较高。对于该数据集，神经网络的分类效果也不相上下，然而其余三种方法出现了较大的偏差，尤其支持向量机因为样本不均衡原因导致准确率和精确率相差很大，模型质量最差。

5. 结论

本文的贡献在于提出了一种基于得分函数新的概率分类模型MKL，并通过拟牛顿算法直接对连续化后的MKL统计量进行优化，从理论上证明了所提出的MKL估计的一致性。该方法在模型效果上比目前最流行的分类模型逻辑回归更有优势，针对不同的数据集，MKL模型与其他传统的分类模型如支持向量机、随机森林、神经网络相比，该方法在预测能力、计算复杂度和实际可解释性方面具有很强的竞争力。同时本文将MKL方法应用到心脏衰竭数据集上，以较高的准确率(0.878)对病人是否因为心脏衰竭死亡进行了分类预测，说明我们提出的方法也可以应用到相似领域，更一般地说，对于任何二分类问题，MKL方法可能是可用的。在未来，本文所提出的模型可以考虑应用到超高维数据或者多分类问题上，改进优化算法以提高模型分类效果。

基金项目

国家自然科学基金面上项目：超高维复杂数据统计降维研究(11771215)，2018.1~2021.12。

附录

引理1证明：首先

$\begin{array}{c}P\left(X^{\text{T}}{\beta }_0>t,Y=0\right)=E\left\{I\left(X^{\text{T}}{\beta }_0>t,Y=0\right)\right\}\\ =E\left\{E\left[I\left(X^{\text{T}}{\beta }_0>t\right)I\left(Y=0\right)\right]|X^{\text{T}}{\beta }_0\right\}\\ =E\left\{I\left(X^{\text{T}}{\beta }_0>t\right)\left[1-P\left(Y=1|X^{\text{T}}{\beta }_0\right)\right]\right\}\\ =E\left\{I\left(X^{\text{T}}{\beta }_0>t\right)\left[1-f\left(X^{\text{T}}{\beta }_0\right)\right]\right\}\\ ={\displaystyle \int I\left(X^{\text{T}}{\beta }_0>t\right)\left[1-f\left(X^{\text{T}}{\beta }_0\right)\right]\text{d}F}\left(X^{\text{T}}{\beta }_0\right).\end{array}$

令 $T=X^{\text{T}}{\beta }_0$， ${\pi }_1=P\left(Y=1\right)$， ${\pi }_0=P\left(Y=0\right)$。引用Fang和Chen [6]定理一中的结论，

由 $KS\left(t\right)=1-\left[{\displaystyle {\int }_{-\infty }^t\frac{f\left(T\right)}{{\pi }_1}f\left(T\right)\text{d}T}+{\displaystyle {\int }_t^{+\infty }\frac{1-f\left(T\right)}{{\pi }_0}f\left(T\right)\text{d}T}\right]$，令其导数为0即 $K{S}^{\prime }\left(t\right)=\frac{1-f\left(t\right)}{{\pi }_0}f\left(t\right)-\frac{f\left(t\right)}{{\pi }_1}f\left(t\right)=0$，可得 $\frac{1-f\left(t\right)}{{\pi }_0}=\frac{f\left(t\right)}{{\pi }_1}$，即 $t=f^{-1}\left({\pi }_1\right)$ 时KS最大。 $MKL\left({\beta }_0,t\right)$ 可做以下变形：

$\begin{array}{c}MKL\left({\beta }_0,t\right)=P\left(X^{\text{T}}{\beta }_0\le t|Y=0\right)\log \frac{P\left(X^{\text{T}}{\beta }_0\le t|Y=0\right)}{P\left(X^{\text{T}}{\beta }_0\le t|Y=1\right)}\\ =\log {\left[\frac{1-P\left(X^{\text{T}}{\beta }_0>t|Y=0\right)}{P\left(X^{\text{T}}{\beta }_0\le t|Y=1\right)}\right]}^{\left[1-P\left(X^{\text{T}}{\beta }_0>t|Y=0\right)\right]}\\ =\log {\left[\frac{1-{\displaystyle {\int }_t^{+\infty }\frac{1-f\left(T\right)}{{\pi }_0}f\left(T\right)\text{d}T}}{{\displaystyle {\int }_{-\infty }^t\frac{f\left(T\right)}{{\pi }_1}f\left(T\right)\text{d}T}}\right]}^{\left[1-{\displaystyle {\int }_t^{+\infty }\frac{1-f\left(T\right)}{{\pi }_0}f\left(T\right)\text{d}T}\right]}\\ \triangleq \log {\left[\frac{h\left(t\right)}{g\left(t\right)}\right]}^{h\left(t\right)}=h\left(t\right)\log h\left(t\right)-h\left(t\right)\log g(\; t\; )\end{array}$

其中 $h^{\prime }\left(t\right)=\frac{1-f\left(t\right)}{{\pi }_0}f\left(t\right)$， $g^{\prime }\left(t\right)=\frac{f\left(t\right)}{{\pi }_1}f\left(t\right)$，所以

$\begin{array}{c}\frac{\text{d}MKL}{\text{d}t}=h^{\prime }\left(t\right)\log h\left(t\right)+h^{\prime }\left(t\right)-h^{\prime }\left(t\right)\log g\left(t\right)-\frac{h\left(t\right)}{g\left(t\right)}{g}^{\prime }\left(t\right)\\ =\frac{1-f\left(t\right)}{{\pi }_0}f\left(t\right)\log \frac{h\left(t\right)}{g\left(t\right)}+\frac{1-f\left(t\right)}{{\pi }_0}f\left(t\right)-\frac{h\left(t\right)}{g\left(t\right)}\frac{f\left(t\right)}{{\pi }_1}f(\; t\; )\end{array}$

令 $\frac{\text{d}MKL}{\text{d}t}=0$ 得 $\frac{1-f\left(t\right)}{{\pi }_0}\log \frac{h\left(t\right)}{g\left(t\right)}-\frac{h\left(t\right)}{g\left(t\right)}\frac{f\left(t\right)}{{\pi }_1}+\frac{1-f\left(t\right)}{{\pi }_0}=0$。

当 $t=f^{-1}\left({\pi }_1\right)$ 时，上式化为

$\log \frac{h\left(t\right)}{g\left(t\right)}-\frac{h\left(t\right)}{g\left(t\right)}+1=\log \left[1-\frac{g\left(t\right)-h\left(t\right)}{g\left(t\right)}\right]+\frac{g\left(t\right)-h\left(t\right)}{g\left(t\right)}=0$ (1)

此时即证 $t=f^{-1}\left({\pi }_1\right)$ 时，(1)成立。

因为函数 $y=\log \frac{h\left(t\right)}{g\left(t\right)}=\log h\left(t\right)-\log g\left(t\right)$，令其导数为0

$y^{\prime }=\frac{h^{\prime }\left(t\right)}{h\left(t\right)}-\frac{g^{\prime }\left(t\right)}{g\left(t\right)}=\frac{1}{h\left(t\right)}\frac{1-f\left(t\right)}{{\pi }_0}f\left(t\right)-\frac{1}{g\left(t\right)}\frac{f\left(t\right)}{{\pi }_1}f\left(t\right)=0$，

$t=f^{-1}\left({\pi }_1\right)$ 时，有 $\frac{1}{h\left(t\right)}-\frac{1}{g\left(t\right)}=\frac{g\left(t\right)-h\left(t\right)}{h\left(t\right)g\left(t\right)}=0$，即 $g\left(t\right)-h\left(t\right)=0$，故(1)成立。所以 $t=f^{-1}\left({\pi }_1\right)$ 是 $MKL\left(t\right)$ 的极大值点。

下证 $t=f^{-1}\left({\pi }_1\right)$ 是 $MKL\left(t\right)$ 的唯一极大值点：

假设 $t=a$ 也是 $MKL\left(t\right)$ 的极大值点( $a\ne f^{-1}\left({\pi }_1\right)$ )，则有

${\frac{\text{d}MKL}{\text{d}t}|}_{t=a}=\frac{1-f\left(a\right)}{{\pi }_0}\log \frac{h\left(a\right)}{g\left(a\right)}-\frac{h\left(a\right)}{g\left(a\right)}\frac{f\left(a\right)}{{\pi }_1}+\frac{1-f\left(a\right)}{{\pi }_0}=0$，即

因为 $y=\frac{1}{f\left(x\right)}-1$ 是单调递减函数， $y=\log \frac{h\left(x\right)}{g\left(x\right)}+1\left(x>1\right)$ 是单调递增函数，所以(2)只有唯一解与假设矛盾，即证 $t=f^{-1}\left({\pi }_1\right)$ 是 $MKL\left(t\right)$ 的唯一极大值点。

定理1证明：在假设(3)的条件下，Y和 $X^{\text{T}}\beta$ 在 $X^{\text{T}}{\beta }_0$ 的条件下是独立的，

$\begin{array}{c}MKL\left({\beta }_0,t\right)=P\left(X^{\text{T}}{\beta }_0\le t|Y=0\right)\log \frac{P\left(X^{\text{T}}{\beta }_0\le t|Y=0\right)}{P\left(X^{\text{T}}{\beta }_0\le t|Y=1\right)}\\ =\log {\left[\frac{1-E_{X^{\text{T}}{\beta }_0}{\displaystyle \int \frac{1-f\left(X^{\text{T}}{\beta }_0\right)}{P\left(Y=0\right)}I\left(X^{\text{T}}{\beta }_0>t\right)\text{d}F\left(X^{\text{T}}\beta |X^{\text{T}}{\beta }_0\right)}}{E_{X^{\text{T}}{\beta }_0}{\displaystyle \int \frac{f\left(X^{\text{T}}{\beta }_0\right)}{P\left(Y=1\right)}I\left(X^{\text{T}}{\beta }_0\le t\right)\text{d}F\left(X^{\text{T}}\beta |X^{\text{T}}{\beta }_0\right)}}\right]}^{P\left(X^{\text{T}}{\beta }_0\le t|Y=0\right)}\\ \triangleq \log g{\left(X^{\text{T}}{\beta }_0,X^{\text{T}}\beta ,t\right)}^{P\left(X^{\text{T}}{\beta }_0\le t|Y=0\right)},\end{array}$

对于给定的 $X^{\text{T}}{\beta }_0$，并且 $\beta \ne \pm {\beta }_0$，若 $\frac{1-f\left(X^{\text{T}}{\beta }_0\right)}{P\left(Y=0\right)}>\frac{f\left(X^{\text{T}}{\beta }_0\right)}{P\left(Y=1\right)}$，即 $X^{\text{T}}{\beta }_0<f^{-1}\left({\pi }_1\right)$， $\frac{f\left(X^{\text{T}}{\beta }_0\right)}{P\left(Y=1\right)}\le g\left(X^{\text{T}}{\beta }_0,X^{\text{T}}\beta ,t\right)\le \frac{1-f\left(X^{\text{T}}{\beta }_0\right)}{P\left(Y=0\right)}$。当 $t=-\infty$ 时，g达最大值， $t=\infty$ 时，g达最小值；若 $\frac{1-f\left(X^{\text{T}}{\beta }_0\right)}{P\left(Y=0\right)}<\frac{f\left(X^{\text{T}}{\beta }_0\right)}{P\left(Y=1\right)}$，即 $X^{\text{T}}{\beta }_0>f^{-1}\left({\pi }_1\right)$， $\frac{f\left(X^{\text{T}}{\beta }_0\right)}{P\left(Y=1\right)}\ge g\left(X^{\text{T}}{\beta }_0,X^{\text{T}}\beta ,t\right)\ge \frac{1-f\left(X^{\text{T}}{\beta }_0\right)}{P\left(Y=0\right)}$。当 $t=-\infty$ 时，g达最小值， $t=\infty$ 时，g达最大值。

令 $A=\left\{X^{\text{T}}{\beta }_0<f^{-1}\left({\pi }_1\right)\right\}$， $B=\left\{X^{\text{T}}{\beta }_0>f^{-1}\left({\pi }_1\right)\right\}$，对 $\forall \beta \ne \pm {\beta }_0$，

$\begin{array}{c}MKL\left({\beta }_0,t\right)=\log {\left[\frac{1-{\displaystyle {\int }_A{\displaystyle \int g\left(X^{\text{T}}{\beta }_0,X^{\text{T}}\beta ,t\right)\text{d}F\left(X^{\text{T}}\beta |X^{\text{T}}{\beta }_0\right)\text{d}F\left(X^{\text{T}}{\beta }_0\right)}}}{{\displaystyle {\int }_B{\displaystyle \int g\left(X^{\text{T}}{\beta }_0,X^{\text{T}}\beta ,t\right)\text{d}F\left(X^{\text{T}}\beta |X^{\text{T}}{\beta }_0\right)\text{d}F\left(X^{\text{T}}{\beta }_0\right)}}}\right]}^{P\left(X^{\text{T}}{\beta }_0\le t|Y=0\right)}\\ <\log {\left[\frac{1-{\displaystyle {\int }_A\frac{f\left(X^{\text{T}}{\beta }_0\right)}{P\left(Y=1\right)}\text{d}F\left(X^{\text{T}}{\beta }_0\right)}}{{\displaystyle {\int }_B\frac{1-f\left(X^{\text{T}}{\beta }_0\right)}{P\left(Y=0\right)}\text{d}F\left(X^{\text{T}}{\beta }_0\right)}}\right]}^{\left[1-{\displaystyle {\int }_A\frac{f\left(X^{\text{T}}{\beta }_0\right)}{P\left(Y=1\right)}\text{d}F\left(X^{\text{T}}{\beta }_0\right)}\right]}\\ =MKL\left({\beta }_0,f^{-1}\left({\pi }_1\right)\right)=MKL\left({\beta }_0\right),\end{array}$

其中，是“<”而不是“≤”，因为等式在A和B条件下不可能同时成立，所以有 $MKL\left(\beta \right)<MKL\left({\beta }_0\right)$ (当 $\beta \ne \pm {\beta }_0$ 时)。

定理2证明：即证 $\underset{\Vert \beta \Vert =1}{\sup }\left|MK{L}_n\left(\beta \right)-MKL\left(\beta \right)\right|\stackrel{P}{\to }0$。对 $\forall \epsilon >0$，

$\begin{array}{l}P\left(\underset{\Vert \beta \Vert =1}{\sup }\left|MK{L}_n\left(\beta \right)-MKL\left(\beta \right)\right|>\epsilon \right)\\ \le P\left(\underset{\beta ,t}{\sup }\left|MK{L}_n\left(\beta \right)-MKL\left(\beta \right)\right|>\epsilon \right)\\ =P\left(\underset{\beta ,t}{\sup }\left|\frac{1}{n_0}{\displaystyle \underset{y_i=0}{\sum }I\left\{x_i^{\text{T}}\beta \le t\right\}}\log \frac{\frac{1}{n_0}{\displaystyle \underset{y_i=0}{\sum }I\left\{x_i^{\text{T}}\beta \le t\right\}}}{\frac{1}{n_1}{\displaystyle \underset{y_i=1}{\sum }I\left\{x_i^{\text{T}}\beta \le t\right\}}}-P\left(X^{\text{T}}\beta \le t|Y=0\right)\log \frac{P\left(X^{\text{T}}\beta \le t|Y=0\right)}{P\left(X^{\text{T}}\beta \le t|Y=1\right)}\right|>\epsilon \right)\\ \le P\left(\underset{\beta ,t}{\sup }\left|\frac{1}{n_0}{\displaystyle \underset{y_i=0}{\sum }I\left\{x_i^{\text{T}}\beta \le t\right\}}\log \frac{1}{n_0}{\displaystyle \underset{y_i=0}{\sum }I\left\{x_i^{\text{T}}\beta \le t\right\}}-P\left(X^{\text{T}}\beta \le t|Y=0\right)\log P\left(X^{\text{T}}\beta \le t|Y=0\right)\right|>\frac{\epsilon }{2}\right)\\ +P\left(\underset{\beta ,t}{\sup }\left|\frac{1}{n_0}{\displaystyle \underset{y_i=0}{\sum }I\left\{x_i^{\text{T}}\beta \le t\right\}}\log \frac{1}{n_1}{\displaystyle \underset{y_i=1}{\sum }I\left\{x_i^{\text{T}}\beta \le t\right\}}-P\left(X^{\text{T}}\beta \le t|Y=0\right)\log P\left(X^{\text{T}}\beta \le t|Y=1\right)\right|>\frac{\epsilon }{2}\right)\\ \triangleq P\left(\underset{\beta ,t}{\sup }{A}_1>\frac{\epsilon }{2}\right)+P\left(\underset{\beta ,t}{\sup }{A}_2>\frac{\epsilon }{2}\right)\end{array}$

因为

$\begin{array}{c}{A}_1=\left|\frac{1}{n_0}{\displaystyle \underset{y_i=0}{\sum }I\left\{x_i^{\text{T}}\beta \le t\right\}}\log \frac{1}{n_0}{\displaystyle \underset{y_i=0}{\sum }I\left\{x_i^{\text{T}}\beta \le t\right\}}-P\left(X^{\text{T}}\beta \le t|Y=0\right)\log P\left(X^{\text{T}}\beta \le t|Y=0\right)\right|\\ \le \left|\frac{1}{n_0}{\displaystyle \underset{y_i=0}{\sum }I\left\{x_i^{\text{T}}\beta \le t\right\}}-\frac{1}{nP\left(Y=0\right)}{\displaystyle \underset{y_i=0}{\sum }I\left\{x_i^{\text{T}}\beta \le t\right\}}\right|+\frac{1}{P\left(Y=0\right)}\left|\frac{1}{n}{\displaystyle \underset{y_i=0}{\sum }I\left\{x_i^{\text{T}}\beta \le t\right\}}-P\left(X^{\text{T}}\beta \le t|Y=0\right)\right|\\ +\left|\log \frac{1}{n_0}{\displaystyle \underset{y_i=0}{\sum }I\left\{x_i^{\text{T}}\beta \le t\right\}}-\log \frac{{\displaystyle \underset{y_i=0}{\sum }I\left\{x_i^{\text{T}}\beta \le t\right\}}}{nP\left(Y=0\right)}\right|+\left|\log \frac{{\displaystyle \underset{y_i=0}{\sum }I\left\{x_i^{\text{T}}\beta \le t\right\}}}{nP\left(Y=0\right)}-\log P\left(X^{\text{T}}\beta \le t|Y=0\right)\right|\\ \le \frac{1}{P\left(Y=0\right)}\left|\frac{1}{n}{\displaystyle \underset{i=1}{\overset{n}{\sum }}I\left\{y_i=0\right\}}-P\left(Y=0\right)\right|+\frac{1}{P(Y=0)}\left|\frac{1}{n}{\displaystyle \underset{i=1}{\overset{n}{\sum }}I\left\{x_i^{\text{T}}\beta \le t,y_i=0\right\}-}P\left(X^{\text{T}}\beta \le t|Y=0\right)\right|\\ +\left|\log \frac{\frac{1}{n}{\displaystyle \underset{i=1}{\overset{n}{\sum }}I\left\{y_i=0\right\}}}{P\left(Y=0\right)}\right|+\left|\log \frac{\frac{1}{n}{\displaystyle \underset{i=1}{\overset{n}{\sum }}I\left\{x_i^{\text{T}}\beta \le t,y_i=0\right\}}}{P\left(X^{\text{T}}\beta \le t|Y=0\right)}\right|\end{array}$

所以有

$\begin{array}{l}P\left(\underset{\beta ,t}{\sup }{A}_1>\frac{\epsilon }{2}\right)\le P\left(\frac{1}{P\left(Y=0\right)}\left|\frac{1}{n}{\displaystyle \underset{i=1}{\overset{n}{\sum }}I\left\{y_i=0\right\}}-P\left(Y=0\right)\right|>\frac{\epsilon }{8}\right)\\ +P\left(\frac{1}{P\left(Y=0\right)}\underset{\beta ,t}{\sup }\left|\frac{1}{n}{\displaystyle \underset{i=1}{\overset{n}{\sum }}I\left\{x_i^{\text{T}}\beta \le t,y_i=0\right\}}-P\left(X^{\text{T}}\beta \le t|Y=0\right)\right|>\frac{\epsilon }{8}\right)\\ +P\left(\left|\log \frac{1}{n}{\displaystyle \underset{i=1}{\overset{n}{\sum }}I\left\{y_i=0\right\}}-\log P\left(Y=0\right)\right|>\frac{\epsilon }{8}\right)\\ +P\left(\left|\log \frac{1}{n}{\displaystyle \underset{i=1}{\overset{n}{\sum }}I\left\{x_i^{\text{T}}\beta \le t,y_i=0\right\}}-\log P\left(X^{\text{T}}\beta \le t|Y=0\right)\right|>\frac{\epsilon }{8}\right)\to 0\end{array}$

同理 $P\left(\underset{\beta ,t}{\sup }{A}_2>\frac{\epsilon }{2}\right)\to 0$，故 $\underset{\Vert \beta \Vert =1}{\sup }\left|MK{L}_n\left(\beta \right)-MKL\left(\beta \right)\right|\stackrel{P}{\to }0$ 得证。