技术

前言:Skill 迭代中的两个核心焦虑

在沉淀了一套 Skill 体系:一个主 Skill 负责意图识别与能力路由,多个子 Skill 负责具体功能执行。随着迭代深入,我遇到了两个越来越突出的问题。

第一,能力裂化难以感知。 Skill 里充斥着复杂的自然语言描述,每次迭代都会调整这些描述。改动后会不会影响其他模块?影响面有多大?仅凭人工 Review 很难给出确定答案。我们缺少一套可复现的评测机制,把「感觉没问题」变成「数据证明没问题」。

第二,模型一致性难以保证。 Skill 开发者通常基于某个模型编写和验证,在这个模型上跑得通,不等于在其他模型上也能跑得通。推向市场后,用户会调用不同厂商、不同参数的模型;遇到能力较弱的模型,Skill 很可能无法完成预期能力。

因此,我们需要一套面向 LLM Agent Skill 的评测与优化框架,来防止能力裂化、保证跨模型一致性。

之前在 ATA 上看到这篇文章:让“Skill优化”从“玄学调参”变成“工程流水线”——SkVM 原理分析及评测。研究并实践后发现非常有价值,于是写文记录,欢迎一起学习交流,寻找保证 Skill 迭代质量的更优方案。

SkVM 是一个面向 LLM Agent Skill 的编译与运行时系统,目标是让 Skill 能够在不同模型与 Harness 之间迁移与复用。 GitHub:SJTU-IPADS/SkVM

接下来,我先以我自己开发的一套 Skill 为例,直观展示 SkVM 带来的帮助;再深入到原理层面,拆解它是如何工作的。

Read More

Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×