ASC26 参赛记录

ASC26 参赛记录

清华大学在 ASC 比赛上已经 5 年没有拿过冠军了,我说这比赛唐完了有没有人相信的。就此机会,不吐不快。

我们超算队内部的组织架构是,每2-3个队员负责一个题目,我起初和 SevenDawns 和 platelet 一起负责 AMSS-NCKU 赛题的优化。

这题拿出来就是牢完了的,借用浙大的一句话就是,黑哥们牢完了。这题的 baseline 只有发的一个测例上面可以跑得起来。然后分为 GPU 和 CPU 两个版本,确实牢完了就是说。 CPU 本身的速度还是挺快的,但是 GPU 跑完一个测例需要一天。我说全错了。

然后我就惊喜的被分到了GPU的优化,本人是弱 vibe coding 使用者,加上本身不会写 CUDA,所以看起来 GPU 程序就颇为困难,我说真烂完了。然后我加上实验室这边还有一些科研压力,所以顺理成章的摆过了一个假期。

然后组委会也是问各种问题都会给你回答模棱两可的回复,十分令人讨厌。可以说就是扔了一个屎山过来让我们修改。但是这并非本篇博客要说的重点,我想说的是,目前 AI 对于超算比赛的冲击。

已经见到的是, AI 对于算法竞赛的冲击无比巨大,原先的教练-选手-模拟赛形式可以被AI-选手的形式代替。据我所知已经有初一小孩子仅凭 AI agent 定制训练算法竞赛就可以拿到 NOIP 省一。

AI 对于超算比赛的冲击同样大,几乎可以说这次 ASC 比赛就是各个学校之间的 agent 大战,有的学校甚至在学校的机房里面搭了一个 AI中转站,以此来应对比赛中对于高并发agent的场景。

可惜 ASC 本身是比哪个学校可以优化的更没底线一些,有的学校可以对推理加速题做后训练,还有的学校可以使用某种方法违规用电而不被发现,还有的学校使用 nvlink 把两张卡不合法的拼装在一起,甚至机箱盖都没办法合上去,真是群魔乱舞,令人汗颜。

还要说的是,团队建设相关的一些问题,我们可以遇见的是,团队并非一个整体,但是如果出现了队员不通知老师,场内与场外隔绝,有人自以为是的去做了一些事情,用 intel 的功耗控制脚本来控制 AMD 显卡就是个好笑的事情。就算是退一步说,认为对祖宗保证敬畏是每个人应该做的事情。

还有一个想说的是,技术的壁垒导致超算技术发展缓慢,这一点上有两个队伍尤为严重,不说是哪两个了,反正唐完了。再也不会去打 ASC 了,这比赛整个折磨人来的。

上一篇

论文阅读:Log-Linear Attention — 基于 Fenwick 树与层次矩阵的对数线性复杂度注意力机制