1. 引言
勘察设计企业协同设计工作是提高企业信息化建设水平提升核心竞争力的重要推手，囿于IT技术的发展以及缺乏一体化信息系统的建设意识，无形中各自为政建设的业务子系统形成了“囱井式”的IT信息孤岛 [1]。协同设计需要打通各子系统之间的隔阂获取到有效信息进行立项、策划、设计、校审、出图全过程的工作，离不开一个灵活健壮的IT基础架构计算平台进行信息化应用支撑。随着云计算技术成熟落地，勘察设计企业可以借助云计算技术解决现有信息系统面临的问题和挑战，助力协同设计工作的开展。
目前国内勘察设计企业信息化建设水平参差不齐，协同设计也未完全展开。不少企业的IT管理部门预算少，人员少技术水平也有限，但企业对于IT基础架构建设的要求出现在不增加人员的情况下要迎合甚至推进业务快速迭代的变化。行业的激烈竞争环境要求企业员工特别是具有海外分支机构的企业随时随地利用联网计算机设备安全地进行协同设计，需要克服传统VPN接入带来的极差CAD绘图体验，因而迫切需要推进私有云平台的建设工作。如何规避盲目性和随意性高效构建勘察设计企业协同设计私有云平台，如何提高私有云交付服务的性能满足协同设计的需求，如何增强协同设计个性化云桌面的部署，如何降低综合性部署成本并使企业用户随时随地利用私有云服务获得良好安全的协同设计绘图体验，这是在现有IT软硬件技术条件下具有统筹性、技术性和挑战性的问题，具有极高的应用研究价值。
2. 私有云平台建设思路
云计算的核心思想是将大量的网络连接的计算资源统一管理和调度，构成一个计算资源池向用户提供按需服务 [2]。根据服务对象和搭建云的目的不同，云计算可以分为公有云和私有云。而按照服务的内容不同，云计算通常划分为三个层次，即：IaaS (基础设施即服务)，PaaS (平台即服务)和SaaS (软件即服务)。出于企业核心数据存放于公有云带来的安全性、长久成本增大的考量以及公有云服务器的IO瓶颈，勘察设计企业通常选择构建私有云。私有云平台一般构建在企业的防火墙内部，相对于公有云，其安全性更高，服务质量更有保证。私有云能够充分利用企业现有的软硬件资源，有效地降低信息化建设成本。
私有云建设技术路线有三种：商业解决方案、开源解决方案和自行开发方案 [3]。商业解决方案技术难度低，成本高，见效很快；开源解决方案技术难度中，成本低，见效较快；自行开发技术高，成本中，见效很慢。受限于大多数勘察设计企业IT的综合技术实力，采用商业解决方案搭建私有云平台成为行业的不二之选。
3. 产品技术选型
3.1. 关键软件技术和产品选型
虚拟化是搭建私有云平台的基础 [4]，VMware作为业界资深的虚拟化软件，专攻服务器虚拟化，同时也有自己的桌面虚拟化产品View；而Citrix在桌面虚拟化技术领域业界领先，比VMware更加灵活。Citrix XenDesktop不仅可以运行在自有的XenServer上，也可以运行在VMware、Hyper-V甚至Amazon云平台上，且提供对GPU虚拟化的有力支持。私有云平台宜借助于两大商业虚拟化软件的优势并结合勘察设计行业的特点进行互补性部署。以VMware产品提供私有云后端基础架构支撑服务器的虚拟化，确保高可用高可靠，以Citrix产品灵活交付私有云前端虚拟桌面和虚拟应用，快速实现勘察设计企业的私有云SaaS层面的服务要求。
3.2. 虚拟化重要技术
VMware ESXi虚拟化平台由于其性能的稳定，其多项关键技术可以保障企业业务的连续性。通过vCenter控制台，当进行计划性维护时可以使用vMotion将虚拟机在线迁移至其他主机中，实现无业务中断的IT环境维护。当出现底层主机故障时，HA可以保障问题主机的所有虚拟机迁移到其他主机上并重启。DRS功能能够实现动态的资源调配，vCenter平台会根据自动化的监控数据给出迁移建议，系统管理员可以据此进行虚拟机的迁移，也可以根据实际情况选择完全自动的虚拟机调度，极大提升了运维效率 [5]。
3.3. 重要网络传输协议
ICA协议是Citrix专有远程高效率的数据交换协议，其采用了数据压缩、加密和连接优化技术，终端用户用少量的网络带宽就可以享受到局域网内的运行速度。HDX高清使用体验技术源自ICA协议，通过HDX的32个虚拟通道(分别传递各种输入输出数据如鼠标、键盘、图像、声音、端口、打印等)将运行在数据中心服务器上的桌面或应用程序的输入、输出操作重定向到用户终端输入、输出设备上，着重解决了高清使用体验问题，并且支持微软的RemoteFX技术。HDX协议整合Framehawk技术，极大地提升了在不稳定的网络如无线宽带、低带宽环境下的用户体验。
3.4. 安全保障性技术
Citrix交付中心提供云平台安全接入，网络只传递通过Citrix ICA协议及HDX技术处理屏幕刷新、键盘敲击以及鼠标移动信息，桌面以及应用软件的用户界面在客户端显示，但桌面、应用软件、数据都集中运行在后端服务器上，数据不落地，统一在后端管理，网络只传输数据的变化量，带宽需求仅需20 kbps左右即可提供良好的终端用户体验，特别有利于CAD协同设计绘图操作体验，比传统IPSecVPN技术访问企业内网资源进行CAD协同设计无论是从安全性还是绘图体验上均大幅超越。
4. 私有云平台逻辑架构
完整的私有云平台从逻辑上实现用户登录认证、应用呈现、资源分配、会话管理、策略配置、服务交付等管理功能 [6]，具体可分为用户层、接入层、资源层、控制层和硬件层五层架构模型，并由各类组件管理控制台进行配置、维护、监控和管理，如图1所示。
1) 用户层
终端用户利用PC、瘦客户机、Mac电脑、iPad、Android平板电脑和智能手机等接入私有云，终端设备需要安装对应系统的Citrix Receiver (接收器)通过用户账号认证后即可访问私有云服务。
Figure 1. Logical architecture of private cloud platform
图1. 私有云平台逻辑架构
2) 接入层
Netscaler安全访问网关以及StoreFront组件确保用户安全和高效接入。Netscaler提供安全认证、ICA代理、通讯加密和细粒度的访问策略控制功能，对外部用户进行身份验证，负责把外网终端设备网段到后台服务器之间的通讯封装在使用443端口的加密通道中，通过防火墙为StoreFront提供负载均衡支持。StoreFront可让内网用户直接进行身份验证，当用户顺利通过身份验证后可以通看到自己可用的虚拟桌面和虚拟应用。
3) 资源层
虚拟机系统镜像文件以及各类Windows应用、Web应用组成待发布的虚拟桌面和虚拟应用资源。用户个性化配置文件、文件夹重定向策略和配置文件流控制资源的个性化交付，统一由User Profile Management (UPM)来进行配置和管理。
4) 控制层
核心组件Delivery Controller (DDC)控制基础架构服务器的调度，提供XML服务、控制器服务、资源池服务，集中管控终端用户与虚拟应用和虚拟桌面之间的联机，并控制通过网络向终端用户的资源交付。
基础架构Windows AD (活动目录)服务器提供标准的LDAP目录服务，负责用户的身份验证和所有应用与桌面虚拟化组件之间的信任互访。数据库服务器(DB)负责存放虚拟应用与虚拟桌面的所有配置信息并保存服务器的历史性能数据。许可证服务器负责应用与桌面虚拟化的许可证管理和查询。
操作系统(OS)镜像管理可通过MCS或PVS两种方式控制。MCS方式发布专有桌面，专有桌面会永久性记录用户对操作系统盘的改动。PVS (Provisioning Server)置备服务器通过流技术推送单个标准的共享磁盘映像(虚拟磁盘)创建无状态池桌面，池计算机重新引导时会彻底复原用户对操作系统的改动。无状态池桌面是标准统一的桌面，也是部署协同设计的标准化基础桌面。
5) 硬件层
虚拟桌面和虚拟应用由后端使用XenServer服务器虚拟化技术的物理服务器群集提供，可提供VDI (Virtual Desktop Infrastructure，虚拟桌面架构)主机群和RDS (Remote Desktop Services，远程桌面服务)主机群，前者构建池桌面，后者构建服务器共享桌面，两者的数量决定了交付资源的规模。虚拟桌面除了承载标准的企业应用外，还运行着虚拟交付代理程序(VDA)保持与DDC通讯。
5. 私有云平台的物理拓扑
私有云物理拓扑分为访问层、网络层、虚拟化层和存储层四层，如图2所示。访问层为可安装Windows、MacOS、iOS、Andriod、Linux等系统的各类通用、专用计算机以及移动互联网设备。网络层为支持三层交换的数据中心万兆汇聚和核心交换机设备，网络层以星型拓扑组网，具有防火墙边界。虚拟化层为通过各类Hypervisor认证的标准通用x86架构服务器，通过XenServer、VMware、Hyper-V等部署得到VM以及VDI。存储层为SAN + NAS混合架构，SAN存储连接光纤交换机，服务器通过HBA卡(≥8 Gb/s)与双光纤交换机连接。SAN共享存储含SSD盘，支持自动分层特性。NAS高性能文件服务器与汇聚层万兆网络交换机连接，与虚拟化层部署于同一数据中心网段。
Figure 2. Physical topology of private cloud platform
图2. 私有云平台物理拓扑
6. 私有云服务交付
6.1. 交付类型
Citrix的利用自身特有的FlexCast交付技术，可通过单一解决方案手段交付虚拟应用和虚拟桌面，共有10类 [7]，即：Windows应用、Web应用、共享桌面、池桌面、个人桌面、专业图形桌面、本地流式桌面、本地虚拟机桌面以及远程PC访问，可以满足企业内部不同员工对虚拟应用和虚拟桌面的不同需求。每种交付方式都有其自身的好处，但也同时有其固有的问题，当它们协同作战，就可以提供强大的桌面虚拟化体验，满足灵活多变的协同设计工作需求。
6.2. 综合成本评估
对交付的各类私有云服务还应从基础设施成本、管理成本、终端用户灵活性和可管理性四个方面进行综合性评估 [7] 以达到降低企业级部署总体拥有成本(TCO)的要求。如图3所示，部署虚拟应用、池桌面和共享桌面是降低TCO的关键，TCO低则性价比好。
Figure 3. Comprehensive evaluation of private cloud delivery services
图3. 私有云交付服务综合评估
共享桌面即多个用户桌面由一个基于服务器的操作系统(如Windows 2008、2012、2016 Server)托管，可提供一个低成本、高密度的解决方案，但要求应用程序必须与基于多用户服务器的操作系统兼容。由于多个用户共享一个操作系统实例，因此需要限制用户执行对其他用户有负面影响的操作，例如安装应用程序、更改系统设置和重新启动操作系统，需要应用组策略进行控制。
池桌面为每个用户提供一个随机的、临时的桌面操作系统，由PVS方式部署，具有无状态特性，即从一个磁盘镜像中启动多个用户虚拟机，这些虚拟机系统镜像部署模式设置只读，用户登录时将从虚拟机资源池中随机选择一个登录，用户对虚拟桌面操作系统做的自定义修改如软件安装、卸载等操作会在桌面注销后消失，但用户对桌面背景、风格、收藏夹等个性化配置可以通过UPM策略保留，用户的个人数据需要保存到个人网络磁盘或企业云盘中。用户不能对操作系统进行修改，权限受控，但一对多的理念使管理简单，同时不会占用大量的存储资源。管理员只需维护单一镜像文件，如安装升级软件、更新补丁再进行统一发布，极大减少了IT运维工作量。
虚拟应用实现了计算、存储以及网络资源共享的最大化，以最低成本提供了按需应用交付。在数据中心集中管理应用，可即时向任何地方、任何设备的用户交付应用。应用程序运行保持原有方式，只是通过ICA协议将应用程序界面传递到用户终端使用，从传统的“安装后运行”改变为“点击后运行”，简化了所有Windows应用的管理和交付工作，提高了向分散用户交付应用的响应速度，并加强了应用和数据的安全性。
7. 基础性部署
7.1. 服务器虚拟化
服务器虚拟化提供私有云平台必需的基础服务器虚拟化，基础服务器有Windows AD服务器、DNS服务器、DHCP服务器、数据库服务器、软件锁服务器、许可证服务器、DDC服务器以及Storefront服务器，统一部署于VMware ESXi服务器群集，利用vSphere vCenter管理控制台进行高可用高可靠管理。VMware ESXi以及vCenter服务器版本需在6.0以上。PVS服务器部署于XenServer群集，利用Citrix XenCenter进行统一管理。
7.2. 桌面&应用虚拟化
Citrix XenServer服务器资源池配置可虚拟化的NVIDIA GPU卡，Xendesktop可利用MCS或PVS方式部署各类高性能VDI以及虚拟应用。出于对池化存储资源的节约利用以及对运维管理的便利性和成本综合考虑，采用PVS技术发布无状态的一对多VDI部署方式是Citrix桌面虚拟化降低TCO的最佳方案，也是勘察设计企业部署协同设计的主要虚拟桌面。虚拟应用主要由XenServer服务器VM发布。
生产性部署选择LTSR长期服务版可获得产品的稳定性和软件厂商的长期技术支持。XenServer版本不低于7.1，XenApp & XenDesktop为7.15LTSR长期服务版。
7.3. 专业设计软件锁服务器部署
利用VMware虚拟化平台，部署企业各类网络版建筑、结构、给排水、暖通、电气、市政等专业设计软件服务器端，提供服务器端软件锁支持，这是在协同设计云桌面安装设计软件的基础性准备工作。在虚拟化平台或非虚拟化物理平台部署协同设计系统服务器，在PVS系统镜像部署AutoCAD软件、协同设计客户端软件、各专业设计软件以及工具软件，然后可批量发布标准的各专业协同设计虚拟桌面。
7.4. 备份管理
用户数据存放在NAS服务器上，利用备份软件在对NAS服务器上的用户目录进行统一备份。基于PVS对服务器OS镜像统一管理，可对OS标准镜像实现多版本备份管理。虚机备份可以利用服务器虚拟化解决方案的快照和克隆功能实现快速备份和恢复，也可以通过备份软件如BE实现传统的离线备份。
8. 改善协同设计用户体验的关键策略
勘察设计企业协同设计特点是以设计绘图为主，绘图以二维为主三维为辅，并且结构计算和流体计算对速度还有更高的要求。因CAD绘图以及图形校审的需要，用户对虚拟桌面的图形处理性能亦有较高的要求，鼠标滑动时绘图区光标明显的迟滞感和阻尼感会打击用户使用云桌面的热情，造成体验感差而影响工作。虚拟桌面需侧重计算以及图形显示性能上的优化，确保HDX 3D Pro正常部署和工作。
8.1. 部署PVS加速器
运用PVS Accelerator集成技术部署池桌面，可以显著降低PVS服务器计算和网络资源，缩短VM启动时间并提高VM的性能，这是Citrix XA/XD7.13 + XenServer 7.1版本以上的专属新功能。启用这种集成加速器技术比未启用时降低CPU利用率93%，降低网络吞吐量达91%，降低VM启动时间61% [7]，可以极大提高池桌面性能并显著缩短池桌面的启动时间。
8.2. 提供桌面个性化服务
PVS无状态桌面本身无法保留用户配置文件的修改，但通过UPM可将用户漫游配置文件传递到池桌面。UPM核心是文件夹重定向，通过制定排除策略将不希望做重定向的目录从漫游配置或同步配置中排除，防止UPM Profile中的AppData文件夹变得非常大。将用户配置文件控制在20 MB以下可显著降低启动时IOPS的开销并提升性能。应将存储Profile和重定向文件夹的NAS文件服务器和虚拟桌面部署在同一个数据中心。另外桌面背景也可通过脚本自动化统一设置。
8.3. 改善NAS部署
用户每次登录到XenApp & XenDesktop会话时完成登录过程包括会话初始化、用户配置文件加载、组策略首选项执行、驱动器映射、打印机映射、登录脚本执行和桌面初始化，每个进程都需要时间并增加登录持续时间。NAS存放用户Profile配置文件、重定向文件以及用户的数据，用户启动云桌面将加载这些文件，启动后要高速处理数据文件。在同一数据中心部署NAS与虚拟桌面，并将NAS进行多路千兆聚合或直接万兆接入核心网络，这样会加快虚拟桌面的启动速度，极大改进用户的登录体验并增强处理数据的能力。NAS还需安装SSD承载自身的操作系统以提高设备本身的IOPS性能。
8.4. 增强AutoCAD平台个性化工作环境配置
AutoCAD是大多数勘察设计企业协同设计的主力二维绘图平台，国内主流CAD协同设计系统为适应CAD交互界面是通过采用ARX插件加载在AutoCAD中形成的二次开发界面，并具有C/S架构客户端程序 [8]。部署于无状态池桌面之上的任何个性化配置在注销后无法保存，虽然使用UPM控制Windows漫游文件能保证用户桌面背景、风格、收藏夹等个性化配置，但仍不足以让用户使用池桌面获得对协同设计CAD系统环境的个性化配置和统一性要求，可通过编写脚本进一步控制PVS云桌面启动时对AutoCAD的绘图环境的个性化配置，如修改Windows注册表配置其运行环境，自动获取用户字形文件、打印样式表、简写命令，配置特定工程打印机，在云桌面启动时及时更新协同设计客户端最新程序，让用户获得随需跟随的云桌面CAD协同设计特性。
8.5. 增强云桌面的图形处理能力
部署专业图形桌面，即在Citrix通用虚拟桌面基础之上，应用HDX 3D Pro技术和Citrix虚拟GPU解决方案，在桌面操作系统计算机上随托管桌面或应用程序交付图形密集型应用程序。虚拟图形处理器(vGPU)功能可以使多台虚拟机直接调用单个物理GPU资源，在虚拟桌面中使用具有硬件加速能力的vGPU虚拟机，非常适用于图形密集型协同设计应用。vGPU功能是在服务器上安装NVIDIA GRID卡，然后在Citrix XenServer虚拟化层安装NVIDIA vGPU管理软件，给虚拟机分配显卡并安装相应显卡驱动程序，使得虚拟机具有虚拟显卡直接硬件加速的能力。第一代NVIDIA虚拟化GRID显卡有K1、K2，第二代有性能更为强大的M10、M60，NVIDIA第二代、第三代显卡增加了虚拟化许可控制，使得平台GPU虚拟化部署成本增大，宜考虑变通方案。
8.6. 部署远程访问高性能PC
将高性能Remote PC部署纳入到现有私有云交付平台统一管理，既充分利用现有的PC设备，同时又能够兼顾方便灵活的访问方式和保证信息数据的安全。通过安装Citrix VDA简单快速部署功能强大的CPU和GPU的PC工作站或服务器共享桌面。GPU可采用专业级或游戏级非虚拟化卡，提供协同设计三维图形处理工作、高强度结构计算以及流体计算的重负荷工作。Remote PC在一定程度上可以替代vGPU方案降低成本，能够最大限度利用原有PC硬件，保留用户在物理PC上得到全部的HDX体验。Remote PC在Intel AMT技术支持下即使在远程PC关机时也能远程执行开机。
9. 应用实践
浙江大学建筑设计研究院有限公司(简称UAD)协同设计私有云平台建设遵从系统最优原则、资源共享原则、成熟先进原则以及基于现有及未来扩展原则进行搭建，在技术上采用商业解决方案，并综合考虑方案的先进性、成熟性及良好的性价比为出发点，统一规划，分步实施，保证私有云平台灵活、高效、可控。
硬件架构上采用业界先进的Cisco高主频双路多核至强x86服务器、EMC带SSD的自动分层FC SAN共享存储、NVIDIA GRID虚拟化显卡，以H3C万兆网络为核心构建物理拓扑架构。软件架构上以VMware vSphere为基础架构服务器与软件锁服务器群集管理后端构建高可用高可靠的支撑服务架构，以Citrix XenServer虚拟化物理服器集群构建高性能物理资源池，实现虚拟化资源灵活的切分、整合和调度，以XenDesktop为私有云服务交付前端，灵活交付各类协同设计云桌面、虚拟设计应用以及Web管理应用，如图4所示。
Figure 4. UAD private cloud virtual desktop & virtual application
图4. UAD私有云虚拟桌面&虚拟应用
协同设计系统是目前UAD所有一线生产部门使用频次最高的主生产类系统，是UAD 60余个专业协同作业的工作平台，可提供从设计师画图、提资、拍图、校审、发布成果、出图、归档等一系列自动或半自动化操作，实现设计图纸的全过程数字化 [1]。UAD私有云以PVS为主要部署方式通过FlexCast交付技术发布标准的并具有个性化配置的协同设计Windows 7池桌面，并进一步对池桌面AutoCAD协同设计绘图平台进行个性化以及统一环境定制，辅以托管服务器桌面以及Remote PC方式交付结构高性能计算、BIM合模等专用桌面，利用高性能虚拟机发布Web应用。云桌面部署勘察设计行业建筑、结构、给排水、暖通、电气等各类设计和管理软件，并以虚拟应用发布其中可运行于服务器桌面的设计软件，如图5所示。同时为用户开设私有云数据交换区以及打图目录快捷方式，便于用户从各种终端接入处理同一位置个人数据。
UAD私有云平台运用了丰富的脚本与组策略控制技术增强个性化云桌面以及各种虚拟应用的协同设计需求。通过配置公网证书，采用Netscaler负载均衡技术，使用ICA/HDX协议进行公网数据传输，用户可使用各种联网设备在较低互联网带宽下随时随地访问UAD私有云资源并获得良好安全的协同设计体验，实现了异地分公司协同设计与办公的需求以及全企业的信息系统、财务系统、在线考试系统的Web应用接入。
Figure 5. UAD full professional collaborative design cloud desktop
图5. UAD全专业协同设计云桌面
10. 结束语
结合勘察设计企业的具体应用需求来搭建私有云平台，提高可交付虚拟桌面以及虚拟应用的性能，改善最终用户获得的私有云服务体验，并且降低协同设计私有云平台建设总体拥有成本，均是勘察设计企业私有云建设者需要重点关注和实施的目标。私有云平台采用通用高性能的x86服务器、SAN + NAS存储、混合Citrix、VMware以及GPU虚拟化技术来搭建是快速实现私有云SaaS服务的方式。通过优化的配置以及针对协同设计服务增强性能的各类部署策略让交付的虚拟桌面性能更高，启动速度更快，个性化更佳，CAD统一性更强，使用户进行协同设计的体验更好。Citrix前端交付的安全性、统一性以及网络传输协议的高效性也保障了用户在较差联网条件下也能随时随地获得良好并且安全的协同设计工作体验。UAD协同设计私有云平台的搭建策略和优化技巧可为业内同行提供借鉴，以期共同创造“互联网+”时代的企业核心云计算能力和业务竞争力。
科研项目
浙江省2017建设科研项目(自筹) (2017K35)。