前言:Skill 迭代中的两个核心焦虑

在沉淀了一套 Skill 体系:一个主 Skill 负责意图识别与能力路由,多个子 Skill 负责具体功能执行。随着迭代深入,我遇到了两个越来越突出的问题。

第一,能力裂化难以感知。 Skill 里充斥着复杂的自然语言描述,每次迭代都会调整这些描述。改动后会不会影响其他模块?影响面有多大?仅凭人工 Review 很难给出确定答案。我们缺少一套可复现的评测机制,把「感觉没问题」变成「数据证明没问题」。

第二,模型一致性难以保证。 Skill 开发者通常基于某个模型编写和验证,在这个模型上跑得通,不等于在其他模型上也能跑得通。推向市场后,用户会调用不同厂商、不同参数的模型;遇到能力较弱的模型,Skill 很可能无法完成预期能力。

因此,我们需要一套面向 LLM Agent Skill 的评测与优化框架,来防止能力裂化、保证跨模型一致性。

之前在 ATA 上看到这篇文章:让“Skill优化”从“玄学调参”变成“工程流水线”——SkVM 原理分析及评测。研究并实践后发现非常有价值,于是写文记录,欢迎一起学习交流,寻找保证 Skill 迭代质量的更优方案。

SkVM 是一个面向 LLM Agent Skill 的编译与运行时系统,目标是让 Skill 能够在不同模型与 Harness 之间迁移与复用。 GitHub:SJTU-IPADS/SkVM

接下来,我先以我自己开发的一套 Skill 为例,直观展示 SkVM 带来的帮助;再深入到原理层面,拆解它是如何工作的。

Read More

我知道它会来

我知道它来了

我知道它会和我纠缠一生

我怎么能杀死我呢

好了,我要成为我了

附:
Brave Heart

昨晚做了一个梦,梦见大家族聚会,有在世的也有离世的,可惜我叫错了长辈的名字。穿过长廊,坐在大厅里,周围幕布拉开,一条长长的铁轨从远方一路过来又延伸到另一端的远方,一大块翠绿的平原将卧轨和远处的高山连接了起来,视野极度舒展,有马群、羚羊之类的动物在自由的奔跑,其中有一匹高大的淡黄色的骏马一跃而起,跳的非常高,非常有力,非常……叮叮当当的蒸汽火车一路行来,遮挡了动物们。我们决定起身,去山的另一头看看。爬过半山腰,尽管未见大海,但感受到了海的气息,进入一片市场,有海鲜,有泳具,然后就醒了。

自解

和家人一起是一种安全感,过程中拿出笨重的iPad贪婪的拍摄美景,为什么不用手机呢?也许远离手机让人变得安静吧。


几年好在外写Blog了,就从这个梦开始继续更新吧

monitorEventLoopDelay 是什么

perf_hooks.monitorEventLoopDelay([options])

  • options: Object
    resolution: The sampling rate in milliseconds. Must be greater than zero. Default: 10.
  • Returns: Histogram

    Creates a Histogram object that samples and reports the event loop delay over time. The delays will be reported in nanoseconds.
    Using a timer to detect approximate event loop delay works because the execution of timers is tied specifically to the lifecycle of the libuv event loop. That is, a delay in the loop will cause a delay in the execution of the timer, and those delays are specifically what this API is intended to detect.

监控 EventLoop 运行情况是判断系统是否健康的重要指标之一,如果有大量的延迟,说明系统存在密集计算,降低了系统的吞吐。Node.js 在 v11 版本引入了monitorEventLoopDelay,而之前需要自己去实现。

Read More

Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×