LSF实践专题(15):LSF队列优先级以及抢占功能初探

VIPLSF实践专题(15):LSF队列优先级以及抢占功能初探
在LSF暂停作业时,会向作业发送一个SIGTSTP信号,并且将作业状态变成SSUSP(system suspend),表示被系统暂停,这时,最好是作业的应用能够捕获和处理SIGTSTP信号,否则,即使在LSF中,作业会被认为暂停了,并且释放了slots资源,但是在实际OS中,作业进程仍然在继续,并且不会释放CPU等计算资源。是指LSF自动将低优先级作业暂停(suspend),将空余出来的资源交给高优先级队列中的作业使用,等到高优先级队列的作业结束后,再将被暂停的作业恢复(resume)并继续运行。
开通可读全文 ·1.9k 人阅读
最低0.47元/天 解锁文章

目录

配置不同的队列优先级

对高优先级队列进行权限限制

队列间的抢占策略(preemption)

如何开启抢占功能

slots以外计算资源的抢占

总结


当多个用户同时重复使用LSF集群,并对集群内的计算资源产生竞争时,LSF提供了多种不同的调度策略来对资源进行分配。

之前我们介绍过基于用户的fairshare,还有默认情况下的先来先服务(FCFS,也就是谁更早提交作业谁就优先得到资源)。

对于某些应用场景,可能有某些用户或者部门所做的工作具有更高的重要度和优先级。那么有没有办法让这些高优先级的作业优先得到计算资源呢?答案是有的。

配置不同的队列优先级

首先,我们可以请管理员设置一些比普通队列具有更高优先级的队列,并且让相关用户把高优先级的作业提交到这些高优先级的队列中。通过在lsb.queues文件里为队列配置参数PRIORITY来指定队列的优先级,数值越高,优先级也就越高。

图片

在计算资源有限的情况下,q1和q2都有等待调度的作业,那么q1里面的作业会优先被调度,因为q1的priority更高。

如下图所示,当前集群内的32个slots已经使用了30个,还有2个空余,q1的优先级是30,q2的优先级是10。

图片

1、为了保证公平,我们把当前的节点close,让他不能接收新的作业。

图片

上图中bhosts -w命令显示host的状态为closed_Adm,表示当前的节点已被管理员关闭,暂时不能接受新的作业。

一般管理员需要对某些节点进行系统调整之类的操作,可以用这个操作来让节点停止接受新作业。

这样当这些节点上正在运行的作业结束后,管理员就可以对节点进行系统维护或者重启系统等操作,而不必担心这些操作导致正在运行的作业失败。

2、接下来我们向q1和q2各提交4个作业。

图片

图片

3、我们用badmin hopen命令将当前节点恢复到可以接受作业的状态。

图片

我们看到,当节点被打开后,立刻有2个q1里面的作业<311>、<312>开始运行,虽然q2中的作业是更早提交的。

这时,当前节点的所有slots都已经被作业占用,所以bhosts中显示当前节点的状态为closed_Full,这个状态同样是表示节点不能再接受新的作业,但是不同于closed_Adm,这次的原因是节点的slots已经被作业填满了,所以用closed_Full来表示。

4、接下来我们用bkill将q1上两个正在运行的作业<311>、<312>强行结束。

VIP LSF实践专题(12):LSF中作业调度的基本顺序和fairshare简介 但是,实际使用中,有时候会遇到下面这样的问题:比如有A和B两个用户,用户A在9点的时候提交了500个作业,用户B在9点半提交了2000个作业,假设当前的集群,用户A和用户B的作业每个都要运行5分钟,而整个集群可以同时运行10个这样的作业。回到刚才用户A和用户B的例子中,因为9点半时,用户A已经使用了很多资源,所以当用户B的作业提交到LSF中时,用户B就能得到一个较高的优先级,这样,当有一批用户A的作业完成时,LSF就会优先调度用户B新提交的作业,而不必等待用户A的500个作业全部完成。 开通可读全文·2.6k 阅读·20 点赞·15 收藏 阅读全文

相关推荐

LSF分布资源管理工具,作业提交系统

目录 1、LSF使用前应设置相应的环境变量 2、提交作业 3、LSF队列状况 4、查看作业状态和删除作业等常用命令 LSF(Load Sharing Facility)是由platform公司开发的分布资源管理工具,它用来调度、监视、分析联网计算机的负载,可以对Cluster机群的资源进行统一调度和监控。 1、LSF使用前应设置相应的环境变量 csh用户,登录系统后执行 source/export/lsf/conf/cshrc.lsf bash用户,登录系统后执行 ./export..

zhangduang_KHKW的博客 4844

LSF多队列抢占与公平调度实战:从bsub到队列配置的平衡术

作业调度是高性能计算集群稳定运行的核心机制,其核心挑战在于如何在资源有限的情况下平衡高优任务的时效性与低优任务的资源可得性。LSF作为主流调度器,通过优先级队列、抢占策略与公平共享(fairshare)机制应对这一矛盾。bsub命令是用户与调度器交互的入口,但其背后的队列配置才是决定资源分配行为的关键。本文从调度器工作原理出发,深入解析多队列抢占与公平调度的协同设计,结合生产环境的典型场景,给出基于bsub提交参数、lsb.queues策略配置及fairshare调优的完整实践路径,帮助运维人员构建既支持任

weixin_34302561的博客 382

LSF多队列调度实战:bsub提交与资源抢占、公平共享配置详解

在HPC与EDA等大规模集群环境中,作业调度系统是平衡资源效率与业务优先级的核心基础设施。LSF作为主流的分布式负载管理工具,通过多队列设计、优先级控制与抢占策略,为不同SLA的作业提供差异化服务。理解其底层原理——从公平份额算法到抢占触发机制——是运维工程师和科研用户优化作业排队的必备技能。文章从集群调度的通用概念出发,阐述队列优先级、fairshare动态衰减、suspend与kill抢占模式等技术细节,并结合典型应用场景如芯片验证、批量参数扫描,说明如何利用bsub参数(如-q、-R、-W)精确表达资

weixin_29254673的博客 321

超算集群资源管理实战:如何用LSF的bsub命令精准申请CPU/GPU,避免作业相互干扰

本文深入探讨了超算集群中LSF作业调度系统的高级使用技巧,重点介绍了如何通过bsub命令精准申请CPU/GPU资源以避免作业相互干扰。内容涵盖LSF调度机制、CPU核数申请策略、GPU资源控制、队列管理技巧以及依赖管理与作业链优化,帮助用户提升计算效率。

weixin_30275415的博客 354

LSF作业调度系统核心原理与实战指南:从架构解析到性能调优

分布式资源管理与作业调度系统是现代高性能计算(HPC)和数据中心的核心基础设施,其核心原理是通过集中式调度器对集群的计算资源(如CPU、内存、GPU)进行统一管理和分配。该系统通过负载信息收集、队列管理和公平调度算法,实现资源的高效利用与作业的公平执行,其技术价值在于提升大规模计算任务的吞吐率、降低资源闲置成本。在AI训练、科学仿真、芯片设计等计算密集型应用场景中,这类系统是支撑研发效率的关键。本文以LSF(IBM Spectrum LFS)为例,深入剖析其管理节点、计算节点与客户端节点的协同架构,并详解作

weixin_33766168的博客 376

HPC集群作业调度失败:DOWN、DRAINED与优先级预留状态深度解析

在高性能计算(HPC)和分布式计算环境中,作业调度系统是资源管理的核心组件,负责将计算任务高效、公平地分配到集群节点。其工作原理基于精细的状态机模型,每个计算节点都被赋予特定状态,如空闲(IDLE)、占用(ALLOCATED)、故障(DOWN)或排干(DRAINED),调度器据此进行资源匹配。这一机制的技术价值在于最大化集群利用率,保障多用户任务的稳定执行。典型应用场景包括大规模科学计算、AI模型训练和工程仿真。当用户提交作业时,若请求节点处于DOWN(硬件故障或维护)或DRAINED(计划性清空)状态,或

weixin_30653023的博客 532

高性能计算资源调度实战:SLURM配置调优与避坑指南

计算资源调度是高性能计算集群的核心,它解决资源共享与任务隔离的矛盾。理解排队、回填、优先级等机制,才能提升吞吐量与资源利用率。在AI训练、科学计算等场景中,合理选择开源SLURM并配置分区、QOS、cgroup,可有效避免资源碎片、任务OOM等问题。本文结合真实案例,讲解调度器选型、配置模板、调优策略及排障技巧,帮助管理员构建稳定高效的HPC调度体系。

weixin_34094282的博客 301

双足步行机器人的ZMP与CoP检测

静态步行与动态步行   机器人步态分为静态步行和动态步行。当机器人做静态步行运动时,身体的各个部分运动速度很小,机器人的整体稳定性较易控制。静态步行稳定性采用机器人的重心地面投影点(Center of Gravity,简称CoG)作为稳定性标准,这种判定方法适用于运动较为缓慢的情况。如果机器人采用的是一种高速运动的步行方式,则称之为动态步行。当机器人进行动态步行时,其重心的位置和加速度的大小时...

weixin_34112208的博客 5897

【yolov8】与yolov5的区别及改进详解

yolov8-----有点厉害的目标检测框架.

qq_44878985的博客 3万+

AMD显卡跑Ollama大模型?手把手教你搞定Windows下GPU识别与加速(以RX 9600XT为例)

本文详细指导如何在Windows系统下使用AMD显卡(如RX 9600XT)运行Ollama大模型,解决GPU识别与加速问题。通过获取非官方Ollama版本、替换ROCm库文件等步骤,实现高效的GPU加速推理,提升大语言模型的运行效率。

weixin_28707365的博客 474

硬核干货|C#+EtherCAT协议:高精度多轴伺服运动控制通信实战

本文摘要: 文章聚焦工业自动化领域多轴伺服运动控制的高精度与实时性需求,基于C#与EtherCAT协议实现完整解决方案。EtherCAT凭借微秒级同步、分布式架构等优势成为首选,而C#通过优化GC策略和实时线程可满足工业控制要求。文章从工程落地角度,详细拆解EtherCAT的PDO/SDO通信机制与多轴同步控制逻辑,提供完整的C#代码实现(主站初始化、伺服配置、运动控制等),所有代码均通过汇川/松下伺服实测验证。核心亮点包括:纯C#原生开发、工业现场高频问题解决方案、硬件适配指南,帮助开发者快速掌握高精度多

这里只有干货:从 Modbus 通信到 MES 对接,从 YOLO 训练到工控机部署,带你搞定工业软件开发全流程。 567

python实现边缘检测Canny算子 (附完整源码)

python实现边缘检测Canny算子 (附完整源码)

希望我的博客,能帮上你解决学习中工作中所遇到的问题 451

7、RNA 二级结构预测:包含接吻发夹基序的新策略

本文提出三种用于预测RNA二级结构中接吻发夹基序的新策略,结合规范化规则与非歧义动态规划,分别在时间与空间复杂度之间进行权衡。策略A以O(n⁴)时间和O(n²)空间实现高效预测;策略B通过存储次优结果扩大搜索空间,空间复杂度升至O(n³);策略C全面探索组合可能,时间复杂度为O(n⁵),但保持O(n²)空间。实验表明不同策略适用于不同复杂度的序列,为RNA结构预测提供了灵活且可扩展的解决方案。

j7k8l的博客 128

统计滤波器

认知有限,望大家多多包涵,有什么问题也希望能够与大家多交流,共同成长!本文先对统计滤波器做个简单的介绍,具体内容后续再更,其他模块可以参考去我其他文章提示:以下是本篇文章正文内容。

qq_35635374的博客 1640

[系统安全] 十一.那些年的熊猫烧香及PE病毒行为机理分析

如果你想成为一名逆向分析或恶意代码检测工程师,或者对系统安全非常感兴趣,就必须要认真分析一些恶意样本。熊猫烧香病毒就是一款非常具有代表性的病毒,当年造成了非常大的影响,并且也有一定技术手段。本文将详细讲解熊猫烧香的行为机理,并通过软件对其功能行为进行分析,这将有助于我们学习逆向分析和反病毒工作。后续作者还将对其进行逆向调试,以及WannaCry勒索蠕虫、各种恶意样本及木马的分析。基础性文章,希望您喜欢!同时,本文部分实验参考姜晔老师的视频分析,真的非常佩服和值得去学习的一位老师。技术路上哪有享乐,为了提升安

杨秀璋的专栏 7316

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

上一篇: LSF实践专题(14):用户组的fairshare调度
下一篇: LSF实践专题(16):reservation调度策略

双11狂欢大促

盲盒赢 定制羽绒服

开启惊喜盲盒,抽取你的专属好礼

— 惊喜奖品抢先看 —
常算科技
博客等级 码龄18年 578粉丝 49原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

常算科技

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值