AI加持，openEuler打造数字基础设施全场景操作系统

码龄20年

关注

原创 2024-01-02 13:36:23 1.5k 阅读 GEO检测

大模型的东风席卷全球，一些行业已开始基于大模型重构。在数智未来的世界里，AI无疑将扮演重要角色。通过与不同基础技术及产品的结合，AI将促进各领域技术的持续创新，作为核心基础软件的操作系统也不例外。“崛起数字时代，引领数智未来。”在操作系统大会 & openEuler Summit 2023 上，我们发现面向数智未来，openEuler 已提前进行布局。

一直以来，openEuler聚焦根技术的投入，为千行百业构建坚实的软件根基。目前openEuler系累计装机量已超过610万套，成为首个改变软件操作系统格局的开源操作系统。据IDC预测，2023年openEuler系在中国服务器操作系统市场份额第一，达到 36.8%。面向数智未来，openEuler与AI全面结合，打造面向数字基础设施全场景操作系统，为更多用户提供技术便捷。

01
面向智能新时代

openEuler使能AI更高效

在过去的四年里，openEuler社区快速发展。据开放原子开源基金会TOC副主席、openEuler委员会执行总监熊伟回顾，openEuler 社区建立之初，每天活跃的开发者仅两三百人，但如今已汇聚16800+名开源贡献者，日活用户超4259人。开发者在系统特性、创新及漏洞修复方面提供了大量的帮助。此外，openEuler社区积累超过1300+的企业和合作伙伴。
在这里插入图片描述

开放原子开源基金会TOC副主席、openEuler委员会执行总监熊伟

当诸多的用户和合作伙伴加入openEuler社区，那么未来的openEuler将会走向何方呢？在过去，openEuler有两个技术支柱，全场景和多样性算力。伴随大模型等新技术的不断发展，openEuler 增加第三个技术支柱——智能化，数字openEuler将逐步演化为智慧openEuler，成长为面向多样性算力和智能时代的下一代OS。

智能的边界在持续拓展，作为连接硬件和应用之间的桥梁，操作系统拥抱数智未来，与AI结合是一种必然趋势。

openEuler技术委员会主席胡欣蔚表示，在当前硬件趋势下，有越来越多智能的多样性算力需要做高效协同，也有越来越多泛在智能应用需要快速介入。为了实现这样的愿景，openEuler希望做到0门槛、0损耗和0介入的效果。对于普通用户部署和安装智能应用，帮助用户做到“0”门槛；对于智能应用在多样性算力上运行，操作系统让智能算力“0”损耗；在智能应用日常运维过程中，系统管理员对系统日常工作“0”介入。

因此，openEuler通过“openEuler for AI”和“AI for openEuler”两点，实现AI全栈使能，打造容器化的、开箱即得即用的方案。

“openEuler for AI”是一种对于生态边界的拓展，未来openEuler全面增强对于AI的契合度，支持更多主流的智能应用和语言大模型，实现智能能力升级。AI的生态构建并不容易，当下我们可以看到一些 AI 产品、技术生态、基础设施等各自为战，但随着市场的逐渐成熟，AI全栈使能是未来发展的一种必然结果。

全栈使能将让openEuler的用户在未来使用智能应用时，通过openEuler提供的容器化方案开箱即用，同时也可以自动适配硬件环境，达到性能最优。openEuler的全栈使能还包括两层含义。首先是对各类应用、模型、工具、框架的支持优化，如AquilaDB等向量数据库，Llama、ChatGLM等业内流行的大模型，cuda、rocm、openvino等工具链，以及PyTorch、TensorFlow等AI框架。此外，由于AI硬件的复杂性，openEuler也针对AI硬件亲和等提供了广泛支持，一系列的升级将会极大地提升用户的AI开发使用效率。

其次是对于开发者的支持，openEuler在AI可用性、适配性方面不断优化，并对训练及推理推环境的容器化封装、镜像一键拉取等进行了升级，为开发者提供了即得即用的能力，实现AI环境部署的“0”门槛。

当前，我们进入多样性算力的时代，软硬件的共同发展给操作系统调度重新设计的空间。通过 CPU 的SMT架构，给操作系统预先部署任务的机会，而GPU也可通过硬件warp切换来避免暂停等问题。因此，如何将独立的异构设备汇聚在一起，统一调配资源，解决算力浪费和异构内存编程的复杂性是个重要课题。

在传统意义上，不同的异构算力对于内存的管理是完全割裂的，相互之间也很难形成共享。而“openEuler for AI”的另一个重要价值就是异构融合，其核心思路是将独立的异构设备汇聚在一起，统一调配资源，解决算力浪费严重和异构内存编程复杂两个问题。通过在openEuler中引入的异构内核管理，可以在CPU和NPU通过共享页表的方式实现统一编址，使得双方可以互用内存，达成内存“透明”扩容、超分，这样可以提升推理场景吞吐量提升50%，并极大的简化内存管理的需求成本，以往多套内存接口简化为一套，异构驱动代码也能从万行下降到百行。

02
大模型与OS协同成趋势

AI 赋能openEuler更智能

从今年的技术发展来看，大模型让更多人看到操作系统新的可能。举例来看，2023年，微软宣布将GPT-4大模型嵌入到Windows里，实现操作系统从图形交互升级到自然语言交互，这将有望改变沿用近三十年的系统交互方式。Windows Copilot 将登陆 Windows 11 中的任务栏，帮助用户更加轻松的查找和变更设置，避免繁琐选项和操作流程桎梏。

在云上，传统复杂的运维工作也有望被大模型改变。基于大模型实现的云上故障根因分析和消减措施制定表现出色，得到超过7成运维人员的认可；在任务协同方面，将软件开放API提供给AI来控制完成复杂任务，实现超出助手和工具的出色表现，这可以让整体系统价值实现提升。

当大模型、大算力为代表的人工智能创新技术不断发展，AI持续加速进入千行百业，操作系统也需要不断向AI演进。在这一背景下，大模型与OS协同优化已成趋势，操作系统将出现大变局，数字openEuler将演化为智慧openEuler。

智慧openEuler带来了系统交互的变革。例如，开发者在日常工作中，可能会使用各种编程语言，但无论哪种都很难像我们的母语一样自然、便捷。那么，是否有可能通过工具实现自然语言和操作系统交互，进而减轻写脚本、配置参数或者调试等方面的工作强度呢？openEuler使用ChatGLM基础模型，基于大量openEuler的代码和数据，训练出EulerCopilot，初步实现代码辅助生成、问题智能分析、系统辅助运维等功能，让openEuler更智能。EulerCopilot将会使得人和机器之间的交互发生巨大变化，而这也是“AI for openEuler”的一项重要改变。

如果说“openEuler for AI”带来了新的生命力，那么“AI for openEuler”注入了新的活力。基于openEuler社区已积累的技术，EulerCopilot为用户提供更便捷的人工智能能力和丰富的作业入口，用户可以通过公众号、WEB界面、SHELL、IDE等方式进行互动。EulerCopilot集成OS领域的海量知识，可以回答开发者的各类专业问题，自动补齐未完成的代码段，甚至能够完成“系统性能诊断”等诉求，并自动生成诊断报告和调优意见。

03
值得想象的广袤空间

在数智未来里，openEuler将会作为一个载体，把AI的能力不断的输入到服务器、云、边缘计算、嵌入式等多应用场景之中，推动千行百业实现数字化升级。当然，数智未来需要有不一样的基础设施，openEuler开源社区技术委员会委员吴峰光表示：“在AI的时代，社区在迈向智能化协作，我们正在探索用AI赋能社区的协作。”openEuler打造了基础设施2.0，支持全球化开发，全场景构建，全链路协作，以帮助更多人获取AI能力。

此外，openEuler的重要发展方向是出海和全球化。吴峰光表示，openEuler建立之初就决定全面全球化，在立足国内做好自主创新之后，就要走向海外汇聚全球开发者，来openEuler社区做原生开发。因此，开放原子基金会和很多基金会组织及上游社区项目等形成了连接，互相进行版本认证，互相完成项目工作。这样才能持续汇聚全球开源力量，为世界开源贡献中国智慧。

由于OS源代码采用了新的架构，因此需要从SPEC转为YAML，这将会有助于全场景能力构建。YAML的优点是通用性好且门槛低。这意味着其开发者基础更好，几乎人人会用，可以快速获取群众基础。通用的配置语言，也可以用于打造开箱即用的定制能力，支持任意YAML字段定制，适配众多格式的上游软件，而且OS支持分层定制，通过EulerMaker和EulerTest构建面向多场景的软件。

为解决上游软件推广给用户困难以及用户声音传递给上游不畅的问题，openEuler在基础设施方面通过应用软件平台，打通了从上游到用户的链路，实现了真正意义上的全链路协作。这显然不是openEuler的终极形态，预计在2024年5月，openEuler还将会发布全新内核的24.03LTS版本，进一步提升全场景能力。以Linux6.6作为内核，实现生态统一。打造全新的EEVDF调度器和folio内存管理机制，进一步提升调度和内存使用效率，在IO管理、新网络标准支持以及对CXL的支持上有着全面的提升。

面向不同的使用场景，24.03LTS版本也将提供不同的优化升级。在云计算场景下，通过CPU聚合调度，将低负载算力智能聚合，实现负载与算力协同；提供openEuler配套的云原生最小集发行版，支持一键部署；在嵌入式场景将发布面向服务器BMC的原创开源项目MetaBMC，提供原生内置openEuler的标准化开发板“openEuler派”及工业机器人框架“openEuler臂”。

当然，在AI方面，openEuler还将继续进化。除了EulerCopilot，还将实现操作系统“自优化”的智能调优，这对于开发者而言将提供巨大帮助，在应用运行中通过感知业务特征，动态调整调度优先级、配置参数等优化策略，可实现场景化性能15%以上的提升。

极目登高处，有朋远方来。AI的发展从来不是一家企业、一个社区就能推动的。而openEuler将通过成立学习小组、制定新的规格等举措推进行业发展，致力于成为AI领域的领导者。当AI与OS互相成就，未来的开发者将有望创造更大的价值，完成更多的技术创新。