摘要: 工程优化方法是西安电子科技大学研究生必修的学位课程，也是全国各个高校开设的数学类重要课程之一。目前，工程优化方法课程的授课重点集中在最优化理论、算法以及一些简单的算例，但是欠缺实际案例的讲解，理论和实际科研的结合也不是很紧密。本文基于工程优化方法的教学大纲，针对各个知识点，结合工程优化团队中每个人的研究成果，设计一些难度适中的案例，以报告的形式给研究生讲解。启发研究生结合自己的科研课题学习工程优化方法的知识，培养研究生综合运用最优化知识建立工程问题数学模型的能力以及分析解决工程问题的能力。
Abstract:
The course of Engineering Optimization Methods is a compulsory degree course for graduate students at Xi’dian University, and is also one of the important mathematics courses offered by various universities across the country. At present, the teaching focus of the engineering optimization methods course is on the optimization theory and algorithms, and some simple calculation examples. However, there is a lack of explanation of actual cases, and the combination of theory and practical research is not very close. Based on the teaching outline of engineering optimization methods, this article combines the new research results of individuals and engineering optimization teams targeting various knowledge points, and designs some moderately difficult cases to introduce to graduate students in the form of reports. We aim to inspire graduate students to learn the knowledge of engineering optimization methods based on their own scientific research practice, cultivate their ability to comprehensively apply optimization knowledge to establish mathematical models of engineering problems, and analyze and solve engineering problems.
1. 引言
工程优化方法是一门理论研究与实际应用结合非常紧密的课程，课程具有很强的实用性。近年来，研究生招生政策发生了较大的改变，工程类硕士的比重不断在加大。工程硕士专业学位侧重于工程应用，主要是为工矿企业和工程建设部门，特别是国有大中型企业培养应用型、复合型高层次工程技术和工程管理人才。从上世纪九十年代开始，西安电子科技大学在研究生培养的课程大纲中就选择工程优化方法课程作为本校数学类必修学位课程之一，陈开周教授也在1985编写完成了适合本校的一本非常优秀的教材，一直沿用至今。该课程深受我校硕士研究生、特别是工程硕士研究生的欢迎，每年研究生选课都超过了两千人次。根据工程硕士研究生的知识结构和数学基础，本校的工程优化团队主要讲授连续优化的内容，包括工程优化的基础知识、一维搜索算法、无约束最优化算法、线性规划、非线性优化的最优性条件、罚函数算法、可行方向算法等，也会讲解一些简单的算例。
在2022年，西安电子科技大学工程优化团队录制的工程优化方法慕课有幸在全国研究生智慧教育平台上线。慕课课程的上线进一步丰富和完善了我校研究生课程的讲授内容。研究生可以结合线下授课与线上的慕课资源、研究资料进一步扩展学习内容，丰富学习手段。虽然工程优化方法课程的教学改革已经取得了一些成绩，但是仍然存在一些问题需要解决。目前的教学方式仍然以传统理论教学为主，但是在大数据时代，传统的教学方式已经不能满足新的教学环境下的新需求，特别是欠缺实际案例的讲解，需要从各个方面提升工程优化方法课程的教学效果。另外，工程优化理论和实际科研的结合也不是很紧密，需要授课教师和研究生的共同努力。关于实际案例的选择，可以结合我校的专业特点去挖掘。我校是特色鲜明的电子通讯类工科院校，绝大多数研究生的科研课题都是自身专业的工程问题与最优化理论和算法相结合的课题，所以讲授一些相关的课程案例与最新的研究成果能够为工科研究生进一步学习一些与最优化相关的应用型课程打下坚实的基础，例如神经网络、深度学习、支持向量机等。
国内的一些学者在工程优化方法课程及其最优化课程的教学方式、教学改革案例设计等教学改革方面做了深入的研究。我们在文献[1]研究了工程优化方法课程的多模式教学方法，探讨了如何改革传统的全课堂教学方法，结合丰富的线上资源，多角度、全方位讲授工程优化方法课程。我们在文献[2]根据工程优化方法课程的特点，研究了工程优化方法课程教学内容、教学方法和考核方法的新措施。文献[3]对与工程优化方法课程密切相关的《最优化方法》课程教学内容进行了探索。文中介绍了神经网络模型及其优化算法与《最优化方法》课程的教学融合，使学生熟悉并掌握其原理和优化求解方法。文献[4]结合本科生的模式识别课程的特点，分析了当前教学模式的局限性，从学生已具备的最优化知识、教学内容设置原则和教学结构等因素出发，探讨了模式识别课程中最优化教学内容的整体规划和具体设计方案，新的教学方法提高了学生利用最优化方法分析和解决模式识别实际问题的能力。文献[5]讨论了最优化课程教学过程中加入专题研究的教学改革方法，新的教学方法在作者的实践过程中已经被验证是非常有效的。关于工程优化方法课程的具体教学内容研究方法也取得了一些进展。文献[6]研究了凸函数内容的讲授过程和心得，启发学生思维以达到学以致用的效果，方法独到，特色鲜明。文献[7]研究了无约束优化方法中的共轭方向算法的教学，共轭方向算法是一个经典的教学案例，新颖的教学方法让读者受益匪浅。文献[8]研究了线性规划的对偶理论，而且讨论了对偶理论在图解法中的应用。文献[9]研究了最优化方法课程的思政教学与实践，在最优化课程的案例教学过程中加入了课程思政元素，将优化算法的案例教学与课程思政相结合，给出了一些成功的教学改革经验。文献[10]针对交通运输类本科专业学生，提出运筹学课程思政教育案例的五项原则，最后结合运筹学课程内容设计了几个具有代表性的典型思政教学案例，提高思政教育实际教学效果。文献[11]以最优化方法课程的教学内容为基础，从课程思政建设的基本原则和讲授的基本内容出发，给出了一些重要的与课程内容相关的思政案例。文献[12]探讨了该最优化理论与算法课程实践教学的现状及其存在的问题，分析了该课程目标达成度与实践教学创新性体系的研究方法与实践措施。
本文基于工程优化方法的教学大纲，针对各个知识点，结合个人以及工程优化团队的研究成果，设计一些难度适中的案例，以报告的形式给研究生讲解。启发研究生结合自己的科研课题深入学习工程优化方法的知识，培养研究生综合运用最优化知识建立工程问题的数学模型的能力以及分析解决工程问题的能力。
2. 工程优化方法课程的算法案例教学
我校人才培养的目标是培养创新性和应用性人才，特别重视培养研究生的应用能力和创新能力。因此，进行课程的案例教学是其中的一个关键点。在课程的教学过程中，补充和完善现有的教材内容，引入项目组成员的优化算法与应用研究方面的最新科研成果，将工程优化方法的科研前沿问题与成果以实际应用案例形式添加到课堂教学内容中。
2.1. BP神经网络算法案例的引入
无约束优化问题是在无任何约束条件下极小化非线性目标函数的优化问题，在连续优化问题中是一个经典问题，具体如下：
无约束优化问题的求解算法主要是最速下降算法、共轭梯度算法、拟牛顿算法中的DFP算法和BFGS算法。如果仅仅讲授这些内容，就欠缺与实际工程问题的联系，对工科研究生来说少了一些无约束优化算法的应用案例的介绍。所以，在讲解无约束优化算法时，我们进一步扩展讲解神经网络算法，讲解有监督的BP神经网络算法的背景知识、算法原理，然后将BP神经网络算法归结为求解多个神经元权值的误差反向传播的无约束优化问题。求解算法就能够用到刚学完的无约束优化算法中的最速下降算法、共轭梯度算法、拟牛顿算法中的DFP算法和BFGS算法。主要分析课本学习的算法与BP神经网络算法在使用梯度和拟牛顿下降方向时不同的地方，需要解决的问题主要是如何一步一步导出具体的梯度下降方向和拟牛顿下降方向。主要由于BP神经网络形成的最小二乘误差函数不是显式函数，这是与课本不同的地方，课本学习的函数都是显式的，所以研究生在学习过程中解决实际问题时无法直接去直接推导出误差反传函数的梯度，需要根据神经网络本身的特性，逐层导出各个权重参数的一阶导数，找到隐式误差反传函数的梯度规律，最后与学过的无约束方法结合起来，得出最终的结果。这样的算例实现会加深对无约束优化算法的理解。
2.2. 线性规划的投影收缩算法案例引入
线性规划指目标函数和约束条件皆为线性的约束最优化问题，标准形式如下：
求解线性规划主要有两大类算法：单纯形方法和内点算法。为了扩宽研究生的研究视野，在讲解线性规划算法时，可以扩展讲解国内外最新的研究成果——投影收缩算法。投影收缩算法是一类有效的求解线性规划的有效算法，南京大学的何炳生教授在投影收缩算法研究方面有很多的科研成果。课程讲解投影收缩算法的原理，首先引入变分不等式概念，导出与线性规划等价的变分不等式问题，然后基于简单的线性半空间的投影，讲解一阶的投影下降方向，基于一阶的投影下降方向导出二阶快速的投影下降方向。设计有效的收缩步长，生成高效的投影收缩算法。进一步分析算法的收敛性、时间复杂度与空间复杂度，同时也给出算法收敛速度的分析。这是对于线性规划部分内容的补充，以报告形式给出。让研究生在学习最基础的单纯形法与内点算法的同时，了解一些比较新的相关的研究成果。
2.3. 线性锥规划的内点算法案例引入
线性规划的内点算法是20世纪80年代非常重要的一个创新性成果。随着最优化模型的发展，线性规划被扩展推广到线性锥规划问题，包括线性二阶锥规划问题与线性半定规划问题：
这里，K可以是非负锥，二阶锥或者半定锥。与线性规划不同的是，二阶锥规划和半定规划定义在非线性锥上，二阶锥规划定义在二阶锥上，半定规划定义在半定锥上，而且半定规划的变量是一个半正定矩阵。目前求解线性锥规划的主流算法是内点算法，算法思想是推广求解线性规划的内点算法。给研究生讲解线性锥规划的两种内点算法：势函数下降内点算法与路径跟踪内点算法。势下降函数内点算法需要构造有效的势下降函数，路径跟踪内点算法需要构建惩罚函数，导出一个非线性等式系统，利用迭代算法求解，这样就扩展了求解线性规划内点算法，加深了内点算法理论的学习。
2.4. 二阶锥规划的投影收缩算法案例引入
投影收缩算法是求解线性锥规划的一种有效的算法。与线性规划投影收缩算法不同是，二阶锥规划需要投影到各个小的二阶锥上，计算投影的显示公式已经有研究成果。扩展讲解投影收缩算法的原理，引入变分不等式，建立与线性二阶锥规划等价的变分不等式问题，然后基于多个二阶锥上的投影，讲解一阶投影下降方向，基于一阶投影下降方向导出二阶快速的投影下降方向。设计有效的收缩步长。最后要扩展分析投影收缩算法的收敛性、时间复杂度、空间复杂度与收敛速度。进一步给研究生提供一些相关的研究课题资料，指导研究生推导投影收缩算法的收敛率。
3. 工程优化方法课程的优化模型案例教学
在教学过程中加强研究生优化建模能力的培养，培养研究生运用优化知识解决工程问题的能力与创新能力。项目负责人一直带队参加本科生全国大学生数学建模竞赛、研究生数学建模竞赛和美国大学生数学建模竞赛，具有丰富的数学建模经验，能够很好地引导研究生以实际问题为导向，分析实际问题，建立数学模型，然后利用代码实现设计的算法，进而彻底解决该问题，案例教学的形式可以加深学生对最优化知识在实际问题中应用的深入了解。
3.1. 范数优化模型案例引入
无约束最优化算法需要讲解最小二乘问题。最小二乘问题属于范数优化问题，包括无约束范数优化问题和带约束范数优化问题。课程扩展讲解无约束范数优化问题，具体如下
最小二乘优化模型是属于2范数优化模型，是典型的凸无约束优化问题。能够运用学过的最速下降算法、共轭梯度算法与拟牛顿算法求解2范数优化问题。除了讲解2范数优化问题，可以扩展讲解其他的范数优化问题。另一种最常见的是误差极小化问题是极大极小问题，属于误差的无穷大范数优化模型，可以引入参数，将原问题转化为线性规划问题，能够利用线性规划的内点算法、单纯形算法与投影收缩算法求解无穷大范数优化问题。另外，在信号处理问题中，误差的1-范数优化问题也是常常出现的问题，利用参数替代的方法求解转化后的线性规划问题。利用已有的单纯形算法、内点算法与投影收缩算法求解等价转化后的优化问题。
3.2. 投资组合优化的最优化模型案例引入
讲解投资组合优化的最优化模型，这是国内外最优化研究的前沿课题，结合数学建模中的具体案例，分析简单的投资组合模型，让研究生在学习算法求解的过程中，同时学习优化问题的建模过程，也可以了解投资组合优化问题的背景知识。简单的投资组合优化问题可以归纳为用定量资金获取最大的投资受益，同时让风险降到最低。根据问题的要求可以建立双目标优化问题，利用双目标规划的线性加权算法求解该问题，两个目标线性加权后问题就转化为一个线性规划问题，然后利用经典的单纯形方法、内点算法以及投影收缩算法求解。解决了简单的投资组合问题，启发学生进一步研究与科研课题结合的投资组合优化问题，添加了随机概率的内容，就是现在研究的热点问题。
4. 结论
目前，在国家进行双一流建设的契机下，全面提升研究生培养水平和创新能力是学校整体建设的重要组成部分，新形势下研究生的培养，不仅要注重专业理论、方法和基本技能的培养，还要注重知识的应用和实践，以及创新能力的培养。在工程优化方法课程教学过程中，改进教学模式，结合科研实践，提出案例教学模型，提高研究生的科研创新能力，实现新形势下研究生教育的培养目标。
致 谢
论文作者感谢主编、责任主编和匿名审稿人的建设性意见。
基金项目
该论文成果的资助项目为：西安电子科技大学核心课程建设项目(项目编号：HXKC2206)：工程优化方法；西安电子科技大学教学改革项目(项目编号：C21100)：最优化方法课程教学模式和内容的改革与实践探索。