
【导语:2026年,大模型智能体广泛落地,其长期、稳定、可控的记忆能力成关键。在此背景下,上海开源软件应用创新大赛开赛,openKylin社区发布「开源AI工具赛道」专属命题,为智能体长效记忆能力打造评测“标尺”。】

2026年,大模型智能体快速走出实验室,在办公、研发、个人助理等场景广泛落地。长期、稳定、可控的记忆能力,是决定智能体实际使用体验与落地价值的核心。智能体需长效留存用户偏好等固定有效信息,精准过滤临时会话等内容。记忆能力不足或管控失衡,都会带来使用问题。

在2026上海开源软件应用创新大赛开赛之际,openKylin社区发布「开源AI工具赛道」专属赛事命题《面向openKylin操作系统的智能体长期记忆自动化评测Benchmark设计》。目前openKylin已支持多个智能体框架,需要一套系统级自动化评测工具,对不同智能体在该操作系统上的记忆能力进行量化比较,这是命题核心出发点。

当前大模型智能体记忆评测存在三大痛点:一是依赖人工检查,难以规模化;二是简单问答式验证项无法覆盖真实使用中的多种情况;三是自动评分易出现语义偏移,难以稳定判断记忆情况。本次命题要求参赛者基于openKylin环境,设计自动化、低人工介入、可复现、可扩展的评测方案,重点评估智能体六项记忆能力。

参赛团队需完整输出方案文档,包括测试目标等内容,数据集设计要有可扩展结构,自动评测要输出可解释评分原因。还要提供样例数据等,并将评测流程封装为一键运行的CLI工具。演示要在openKylin桌面环境下对至少两款智能体运行评测,产出多维对比雷达图录屏。命题将从任务定义与通用性、数据设计质量等六大核心维度综合打分。

本次命题适配有相关经验的团队及个人,无论高校团队等均可报名。赛事报名及作品提交截止到2026年10月11日,线下总决赛10月24日在上海举办。参赛团队有机会角逐丰厚奖励,优秀项目还有诸多配套服务。openKylin诚邀全国开源技术爱好者参赛,完善开源操作系统智能体评测体系。
编辑观点:该命题聚焦智能体记忆评测痛点,有望推动相关评测体系完善,吸引开发者参与,对开源AI技术落地深耕意义重大。

222

被折叠的 条评论
为什么被折叠?



