十来台工作站天天打架:工厂算力资源统一调度,我是怎么边踩坑边教的

上周三早上八点,机房门口站着两个学生。

其中一个眼眶发青——他昨晚跑了一夜的齿轮箱拓扑优化,早上来看,机器被人重启了。另一个挺无辜:他也不知道谁在用,机房门开着,机器亮着,坐下来就干活了。

这事儿有个正式的名字,叫工厂算力资源统一调度。只不过我们这儿不是工厂,是机械设计实验室。但本质一模一样:有限的机器,无限的任务,谁来决定谁先上。

那天早上,两台工作站同时蓝屏

那天早上,两台工作站同时蓝屏
那天早上,两台工作站同时蓝屏

我教的课要跑静力学、模态、热-结构耦合,这两年还得加点拓扑优化和参数扫描。这些活儿写在教案上是“计算”,砸在机器上就是排队。

我一开始真以为这是IT的事。机房管理员管机器,学生自己去用,谁抢到算谁的。挺自然,对吧?

直到那天早上。

学生把任务投下去,人走了。半夜有人进来接着干,看机器卡着不动,以为死机了,直接重启。前面那位的求解结果,连同夜里那几个小时,一起没了。他站在门口跟我说这件事的时候,语气很平。就是平得让人难受。

不是谁的错。是我没给他们一套规则。

排班表和Excel,撑了不到三周

最早的办法特别土:一块白板,一支马克笔。周一到周三A组,周四到周五B组。学生自己认领。

头两周还像样。第三周就散了。

问题出在哪。任务长度不一样。有人提交一个二十万单元的网格,四十分钟跑完;有人做参数扫描,几百个算例甩进去,占住机器一整天。白板排的是“时间”,可算力这东西的单位根本不是时间。

后来换成共享文件夹加Excel登记。更糟。

学生迅速学会了占坑——先扔一个五秒钟能跑完的小任务进去,把机器锁住,然后去吃早饭。聪明吧?我站在那台机器前面,看着队列里一排排三秒完成的垃圾任务,气笑了。

那时候我才转过弯来:这不是道德问题,是规则设计问题。规则有洞,人就一定钻。跟设计一个防错机构完全是一个道理。

高校机械实验室工作站集群与共享存储部署示意
高校机械实验室工作站集群与共享存储部署示意

把调度规则本身变成一道设计题

真正的转折,是我把这事搬进了课堂。

我让每个学生写一句话——“你希望机器怎么分配”。收上来五花八门。有人说先来后到最公平,有人说按任务大小排,有人说快答辩的组该优先。也有人说,老师你定就行。

我说,那我们把它们都跑一遍,看看会怎样。

坑很多,都是跟学生一起踩出来的。

有个坑是先来先服务会堵死。一个长任务卡在队头,后面十几个短任务全干等着。我把队列截图投到屏幕上,底下有人嘟囔:这也太蠢了。挺好。这一句吐槽,比我讲十分钟调度算法管用得多。

另一个坑是license比机器更稀缺。我们机器不算少,缺的是求解器的授权数。十来台工作站同时投任务,真正能跑起来的就那么几个。调度如果不把license池一起算进去,等于白排。学生特别容易漏掉这一点,因为他们脑子里“算力”就等于CPU和显卡。

最后一个坑,失败的任务没人管。内存爆了,进程死了,队列里留一具僵尸,机器被占着,谁也不知道发生了什么。后来我们加了一条硬规矩:任务结束必须留日志,失败也留。让机器说清楚它为什么没跑完,这是调度系统的基本礼貌。

再说取舍。教学场景和生产场景不是一回事。生产追吞吐量,我们追的是——每个学生都被公平对待,并且看得懂自己为什么在排队。

所以我们没去堆一套很重的集群软件,就做了三层:资源登记、队列分池、按人配额。交互式建模走轻载队列,批量仿真走批处理队列,吃显存的那种单独一个池。

争议最大的是配额那块。有学生问,凭什么他们的任务能插到我前面?

我说,这不叫插队,叫优先级。车间排产也是这么干的,交期近的订单往前排。你不服可以,你设计一套更合理的规则,下一轮试运行就用你的。

那学期真有个组交了个方案,把任务紧急度和历史排队时长做了个简单加权。不完美,但它能跑,而且他们自己能解释清楚每一项为什么这么设。

机械设计仿真任务队列优先级调度规则流程图
机械设计仿真任务队列优先级调度规则流程图

我后来改的教学动作

几个动作,都是被逼出来的。

课前,我开始先花一刻钟讲资源约束。以前上来就讲网格怎么划,现在先说清楚:你手上这个模型,大概会吃掉多少内存,要跑多久,提交之后排在哪儿。学生有了这个概念,就不会随手扔一个百万单元的模型进去试试看。

作业交法也改了。以前交模型文件就行,现在是模型文件加一份任务说明——预估资源、优先级理由、能接受的最长等待时间。这份说明本身计分。逼他们做一次翻译:把“我想算什么”翻译成“我需要多少机器”。这个翻译动作,本身就是工程思维。

还有一条:允许失败,但要看日志。跑不出来不罚,跑不出来还不看日志的罚。

说实话,机房排队这事我一开始特别烦,觉得是杂事,跟教学没关系。教了两轮我改主意了。这个题目天生带着机械设计里最核心的那组矛盾——性能、成本、公平,你不可能三个都要满。

学生在排队这件事上卡住的地方,和他们画结构时卡住的地方,其实是同一处。

当然还有没想清楚的。机器夜里、周末都空着,能不能自动排队跑完就关机?技术上不难,难的是出了事谁负责。学生之间的算力额度要不要允许借还?做成市场,还是行政调配?我到现在也没定。

不过这些没想清楚的地方,反倒成了我现在最喜欢的课堂开场。一个问题真的没有标准答案时,学生才愿意开口。

那天早上站在门口的两个学生,后来有一个做了设备运维方向的毕业设计,题目是车间级的算力与设备联合排产。他跟我说,老师,这不就是我们课上排队那事吗。

对。就是那事。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:十来台工作站天天打架:工厂算力资源统一调度,我是怎么边踩坑边教的
文章链接:https://yqhljx.com/list_9/6126.html