科技发展的本质是信息的发展和能源的发展。信息发展的本质,是信息形态的发展和交互方式的发展。
Token之所以是AI时代最伟大的发明,因为它实现了多维度信息的形态统一——书籍、博客、视频都变成了Token。而当形态都统一之后,所有信息都以Token形态进入向量空间。在向量空间中,聚合了几乎人类所有的知识。只要你问对问题,就能从这片汪洋大海中召唤出你想要的结果。
这是对信息形态、信息交互两个层面的根本性变革。历史上第一次,信息有了统一形态——Token。历史上第一次,信息可以被人类自由召唤,并且根据人类的意图定制化地显现出来。
按照这个逻辑再往下发展,应该是对Token的进一步抽象,比如量子Token或自适应Token,能处理不确定性更强的现实世界。