Codex神级更新:Record & Replay
这是我今年见到最牛逼的功能,没有之一!
Key Takeaway
Codex Record & Replay神级功能:用户只需当着AI的面完整操作一次(录屏),Codex就能自动理解每一步操作意图,并将其封装成可重复调用的Skill。实现从“文字描述”到“直接示范”的学习方式跃迁,大幅降低复杂工作流Skill化的门槛。
实际演示效果:以“从Ulysses复制文章→发布到Substack并添加订阅按钮”为例,录制一次后,Codex即可自动复现全流程(含浏览器操作、文本处理、按钮插入)。出现小偏差时,用户反馈后AI能自动修正Skill,验证了其可靠性。
底层能力与意义:依赖多模态理解(视频)+ Computer Use能力,将人类的隐性知识(难以用语言清晰描述的工作流)显性化。这意味着大量复杂操作技能将快速被AI掌握,是今年最重大的Agent能力升级之一。
就在昨天,Codex更新了一个新功能:Record & Replay。
这是我今年见到最牛逼的功能,没有之一!
开启这个功能之后,你接下来在电脑上的所有操作都会被Codex录制下来。然后,它会理解你的每一步操作,并且把它们都转化成Skill的形式。
下一次,如果你还想进行同样的操作,不需要自己动手了,让Codex调用那个Skill就行。
我很少用那些浮夸的词汇。但这个功能在我看来,就是“神级更新”。为什么?用一句话来总结就是:
AI学习的方式,从“描述给它听”进化到“直接示范给它看”。
以前你要让AI学会某项能力,你得进行文字描述。基于这些文字描述生成Skill。
那问题来了:对于大多数人来说,把自己的工作流语言化、结构化,门槛是很高很高的。不是谁都能讲得明白的。
现在Record & Replay功能把这个门槛去掉了。你根本不需要做任何描述,只需要当着AI的面,操作一次,然后它就学会了。
本质上,它是在把隐性知识显性化。
本期视频,我来给你们详细演示一下。
哈喽各位好,欢迎回到我的频道。谦虚地说,我是国内少数几个能把关于AI的Why和How讲明白的博主。我提供的东西远比教程更值钱。记得点一波关注。如果想链接我,就来我们newtype社群。这个社群已经运营800天,有超过2400位小伙伴付费加入啦。
如果你是国内用户,可以从知识星球加入。如果你是海外用户,可以从Substack加入。我的两套课程、日常的Newsletter以及专属视频,在社群内都可以看到。
回到今天的主题:Codex的神级更新。
这个演示昨天我在社群内发过。当时我测试成功之后,非常震撼。然后第一时间就把录屏分享出来了。
我平时经常需要把一篇写好的文章从写作软件里拷出来,存进Substack里,排版、发布。
这是一个每周都要做几次的重复动作。如果AI能帮我操作,那肯定会省很多时间。
于是,我在对话框里加载Record & Replay插件,告诉Codex,我要做一个新的Skill。它会管我要录屏的权限。给它之后,在画面正下方会看到,录制已经开始了。
我打开写作软件,把文章全选、复制。然后来到Substack后台,创建一篇新文章。把文字贴进去。在最末尾的地方,添加一个订阅的按钮。最后回到顶部,把标题贴上去,把序号去掉,返回就可以了。
关掉录屏之后,Codex知道我已经操作完成,它会自动开始Skill的创建。这个过程咱们看着就好。Codex会根据录像回顾刚才的每一步操作,理解操作的意图和逻辑,然后把这些都封装进Skill。
搞定之后,咱们来测试一下效果。正好我还有一篇社群专属文章需要发布。我让Codex把它存进Substack。
Codex在刚才创建的Skill指导下,先在系统里找到Ulysses这个写作软件,然后把指定的文章找到。接着,它开始操作Chrome浏览器,到Substack后台点击创建文章,打开编辑页面。最后把内容贴进去,把标题从正文里剪切出来,填到标题的位置,就搞定了。
咱们来检查一下效果。Substack后台的草稿箱里确实有这篇文章。标题和正文都对。唯一的问题是,文章的末尾少了订阅按钮。
看来,刚才那个Skill还得再修改一下。回到Codex,把这个遗漏反馈给它。Codex检查了之前的录像,确认是它自己的判断出现失误。于是它在Skill里补上添加订阅按钮的这一步。
我把草稿删了,让Codex再操作一次,验证Skill有没有修好。你看,这次它就懂得,把页面滚动到正文结尾,在最后一段后边放置插入点,添加订阅按钮。
来到草稿箱里检查成品,完全OK,符合我之前操作的结果。
你看,这个就是Codex新出的Record & Replay。它基于两个能力:一个是多模态,因为要理解录像;另一个是Computer Use,因为要复现用户的操作。
这两个能力并不罕见,Skills这个东西也出来很久了,但是OpenAI把它们组合起来,让那些不容易被文字描述出来的能力通过视觉输出给AI。
就像我开头说的:把隐性知识显性化。从这个功能开始,又会有一大波人类的技能被AI学会。这个就是我说它是Codex神级更新的原因。
OK,以上就是本期内容。想了解AI,想成为超级个体,想找到志同道合的人,就来我们newtype社群。那咱们下期见!

