技术奇异点

似乎应了那句老话——期望越高，失望越大。《星际迷航》、《终结者4》、《变形金刚2》这三部片子即将上映的时候，我最不看好的就是《变形金刚2》。不过统统看过之后，失望最小的是《变形金刚2》——甚至应该说还有一些惊喜。

其实我对《变形金刚》电影的不满在于它对原始形象的肆意修改。和《终结者4》对T-800始终如一的展现相比，《变形金刚》对威震天的形象设定简直只能用“What the fuck”来形容。

走进影院终于发现习惯了朋克风格和反乌托邦风格之后，对《星际迷航》这类太过歌剧风格的电影已经略感厌倦（《Lost in Space》的票房惨淡似乎也是因为歌剧风格过于浓重）。而且这部最新的《星际迷航》情节明显有些单薄。比如科克和史巴克的指挥权争夺形同儿戏。为什么地球和史巴克母星全文明的力量都拿那艘采矿船改装的星球毁灭者无能为力而企业号一己之力就将其击溃？《终结者4》最大的败笔则是最后马库思在状态良好的情况下牺牲自己拯救约翰。虽然高尚，不过牺牲一个活蹦乱跳的人来搭救另一个人无论如何不是让所有人都能从伦理上接受的决定。

相比之下《变形金刚2》的情节比较流畅。没有什么磕磕绊绊的地方和让人反感的地方。其中出现的变成美女的变形金刚还在提醒大家，我们变形金刚比什么终结者T-800、T-1000、T-X都牛多了。看我们的形象多么完美。比起你们那种刚刚脱离人类怀抱的人工智能要强大万倍。

其实撇开对威震天形象的不满，我很喜欢《变形金刚》的一些设定。“非碳基自主生命体”是《变形金刚》提出的独特概念（而且是在80年代初）。变形金刚不是机器，比如，他们有自己无法解释也无法创造的灵魂，他们的身体构成既不同于普通的机器也不同于碳基生命（广义的碳基生命，比如在高温下硅和碳的常温性质相仿，所以这种类型的高温硅基生命形态也可以看成碳基生命，或者称为有机生命）。

对《变形金刚》的喜爱有很大一部分来自其小说。这部小说的设定是第一部真人电影的前传。小说着力描写了电影不曾似乎也无力表达的一些迷人的问题。比如，变形金刚是永生的，他们对待战争和生命短暂的智慧生物的看法会和我们有什么不同？再有，变形金刚对人类的技术奇异点视若无物。他们有自主的思维，但是同时检索和精确分析的能力又超群，红蜘蛛在小说中用几十秒就能理解人类超级计算机的所有程序并控制其运行。这样的生物，他们延续和发展文明的手段与我们有什么不同（比如，人类不可能靠少数个体延续文明，必须依靠强大的行星工业体系）？另外，他们也有自己的技术奇异点，火种是他们一直不懈研究但是又无法解答的问题。是否所有文明最终都有无法超越的奇异点？

威震天和红蜘蛛又一次在结尾逃走了。不过相比其它的系列电影没完没了的开放结局，《变形金刚》似乎更有资格这样做。金刚们有的是时间，几百万年一瞬而过。

3G这个东西我怎么看怎么像是另一个“铱星”。技术上说，当年刚刚被提出的时候真是众望所归。等到姗姗来迟的时候，“铱星”遇上了GSM，3G遇上了Wifi。

用户由来已久的习惯是差不多就得（good enough）。“铱星”还勉强能和GSM同台竞技的时候，不过是比GSM多覆盖了偏远地区。同样，和铺天盖地的Free-Wifi相比，3G的覆盖能高到哪里去呢？再说当年到了农村就改用用老乡的固定电话不好么？如今找个清静的地方用GPRS上网休闲一下呗。

从带宽方面来说，3G的底气也不足。自己先告诉用户，别指望像ADSL那样挂BT，我们3G就是个有益补充。咱做有益补充的不用和固定的ADSL比。是么？我怎么隐约记得“铱星”不能在室内通话也是被抛弃的原因之一？

不过3G也没惨到“铱星”的份上。3G的设备大多都能和Wifi无缝切换（要是WAPI不松口，这一条也只能适用水货），也没有当年“铱星”电话和GSM电话比较那么贵。还算有点儿希望。但是我就是觉得，骨干网都IP化了，电信网还能撑着不和Internet合并多长时间？

当你觉得需要一个缓存的时候，把情况再探究得深入一些然后问自己为什么需要这个缓存。

Unix认为世界是静止不动的。

妥协并不讨好。

——《The Art of UNIX Programming》

最近一段时间的主要工作是维护和开发一个文件浏览器类型软件（类似于Mac OS X的Finder和Windows的Explorer）。这个软件与Finder和Explorer的一些重要的不同之处有，从功能上说更加偏重图片管理，从技术上说设置了一个缓存，用来存储经常遇到的图片的缩小版本。缓存会让显示文件缩略图（Thumbnail）的速度大大加快。应该说这个缓存功能对于管理大量高分辨率图像是很有用的。但是它未能避免违背《The Art of UNIX Programming》的一些告诫。尽管违背这些告诫有很好的理由，而且大部分用户还是对违背这些告诫的代价和收益表示认可，但是维护中因此遇到的越来越多的麻烦导致我开始思考是否这些设计上可以有更好的替代。

缓存是在谈及提高效率时通常被首先考虑的技术之一，但负面影响也在《The Art of UNIX Programming》里被强调——和主存的同步问题和命中率问题很难解决。这个软件的缓存比较特别，由于存储的是图片，而且是主存的缩小版本，所以该缓存可以存储所有访问过的主存图片，而不必用类似最近最少（LRU）算法去丢弃某些部分（至少不必像CPU缓存那么频繁），因此不存在传统的命中率丢失问题。但是它有另一种形式的命中率问题。如果没有这个缓存的存在，那么一个程序要显示一个图片的缩略图，只需要把图片读出，用down-sample算法缩小，然后绘制在屏幕上。有了这个缓存，除了上述的操作，程序还需要把down-sample的结果存储到缓存中（由于绘制在屏幕上的缩略图每次大小不完全相同，存储到缓存中的缩小版本的分辨率还要比屏幕缩略图需要的高，这样以后读取缓存来绘制缩略图的时候仍然需要down-sample，虽然down-sample的程度减小了）。另外，为了用批处理提高效果，缓存的生成是以文件夹为单位。这样即使一个文件夹用户只浏览了前几个图片，后端的线程也会为整个文件夹生成缓存。如果用户偶尔浏览一些以后很少用到的文件夹，对磁盘I/O和磁盘空间可能都会造成一定程度的浪费。所以在某些情况下这个缓存会拖慢而不是提高效率。这说明任何类型的缓存（甚至任何类型的优化策略）都会在某些极端情况下劣于简单的直接访问（蛮力策略）。

《The Art of UNIX Programming》提到的缓存的同步问题主要受到主存更新方式的影响。但是现代软件越来越多的采用plug-in架构和具备online live update的功能，所以缓存的同步也开始受到软件本身更新方式的影响。如果一些plug-in或者软件本身的更新改变了生成缓存图片的方式，那么如何同步已经缓存的图片就成为一个复杂的问题。比如，一个plug-in的升级可能改正了原来有色彩失真的缓存生成方式，但是原来哪些文件会造成色彩失真并不是一个可以简单的用某些轻量级算法判断的标准。所以保险的方法只能是在升级plug-in的同时清除所有已有的缓存。由于plug-in架构本身是为了屏蔽不同plug-in实现的细节，所以缓存中哪些图片是由哪些plug-in生成的也往往不容易判断，所以最后常常只能通过清除整个缓存来解决。

主存的更新是缓存同步的最主要挑战。对于这个软件来说，这个挑战的更加艰巨。因为这个软件的设计是把整个文件系统作为主存。正如《The Art of UNIX Programming》指出的，UNIX文化建议利用文件系统达到重用，但是没有过多的考虑通过并发访问文件系统来协作，UNIX假定程序的运行是短暂的，在运行期其涉及到的文件不会被其它程序访问；假定程序间的文件访问是交替的而不是并发的；假定程序对频繁修改的文件独享，而只会共享少量罕有修改的文件。把整个文件系统作为主存，通过设置缓存来提高性能，这样的设计会遇到很多问题。比如，对于正在被写入的大文件，很难判断是正在写入过程中，还是写入已经完成。如果在写入过程中被生成缓存，那么缓存文件就是错误的，但是没有机会得到改正（除非用户手动清除缓存——但是缓存策略的主旨就是避免用户经常手动清除缓存）。由于所有操作系统在文件系统方面受到UNIX很大影响，所以它们都很大程度上有同样的问题。解决的办法往往很难做到高可移植性，往往非常复杂，会引入更多的线程同步问题。

将软件设计成为一个类似Finder和Explorer的全系统浏览器，还有一个问题，那就是是否要用其本身的GUI反映一个文件系统的所有细节。显然，出于并不希望复制Finder和Explorer和突出自己特有功能的目的，该软件选择了简化某些细节的做法。比如不会显示文件的读写权限，只显示文件的锁定状态。但是，和很多复杂系统一样，文件系统的很多概念是相互联系，但是又部分正交的。很难完美的掩饰某些细节而不造成混淆。比如，文件是否可以锁定是受到文件读写权限的限制，所以文件锁定状态的改变会因为读写权限的原因而失败，最终用户还是必须了解被隐藏的概念和细节，这就抵消了最初了通过简单的UI简化用户操作的初衷。其实就连Mac OS X的Finder本身也有这样的问题——OS X的HFS拥有传统的user-group-other权限和ACL的权限，但是Finder没有区别显示而是混在一个GUI权限列表中；另外，HFS的锁定（lock）有user-lock和supervisor-lock两种，Finder也没有区别显示，这样Finder对于一些ACL比较复杂和一些拥有supervisor-lock的文件的显示结果就比较奇怪。这说明文件系统的细节的复杂程度连专门浏览器的GUI都有些难以应付。当你希望隐藏细节的时候，“妥协并不讨好。”

而且，不要忘记，所有这些被显示或者被隐藏的细节，都可能被其它的程序在任何时候修改。在决定了让你的应用可以访问整个文件系统的同时，相应的就必须承担其它应用和你的应用竞争访问的后果。（有人认为Windows那种强制文件锁（mandatory file lock）可以解决问题。其实强制锁引入的问题比解决的问题多，而且其功能与文件权限概念有重叠和混淆。）更不要忘记，在被显示的细节里，有一部分会被放到缓存中。这些问题加在一起，会把系统卷入无穷无尽的边缘情况（edge case）中。

有了这些观察和思考，我开始理解为什么类似iPhoto的软件开始采用另一种设计模式——私有数据库。iPhoto类的软件没有被设计成直接处理文件系统任意区域的软件，而是要求用户必须把待处理的图片“引入（import）”。引入操作实际是把图片置于一个受到保护的私有数据库。引入私有数据库是否意味着要重复实现很多文件系统已经提供的功能？并不是必然的，因为这个私有数据库可以普通文件夹——唯一的特殊之处是不对其它程序开放（比如位置难于访问，或者在文档中说明，或者利用其它程序的一些功能——比如Finder中显示为单个文件——从技术上完全阻止直接访问内部），对其编程访问仍然可以利用文件系统的操作，同时省去了诸多的文件并发访问问题。在私有数据库内部，文件的细节也更好控制，比如你完全可以控制数据库内的任何文件都没有ACL（甚至拥有统一的user-group-other权限），也没有supervisor-lock，因为修改这些细节的只有你自己的程序。这时一个简化的UI也极少会导致混淆（即使会也是易于修改的bug而不是上面那种由基本设计导致的问题）。在私有数据库模式中，缓存的两个固有问题不会消失，但是会得到大大的缓解。也可以说，如果为了图片管理中的性能目的而必须引入缓存，那么私有数据库模式是一个很值得考虑的选择。

现代操作系统是一个非常复杂的高度协作的系统。通过单个应用程序达到一个全系统级别的简化操作就算不是完全不可能，也是一项有极端挑战性的工作。因为这意味着你的应用程序就像一个把全系统都覆盖在后面的幕布，但是同时你又必须允许你的用户绕过幕布去操作这个系统（因为你把全系统都盖住了，但是用户又不可能只用你这一个应用）——这种矛盾的策略让你很难在这个幕布之前演出一幕没有纰漏的剧目。更为可行的办法仍然是针对自己的需求，把应用程序的操作涉及范围尽量局部化，这样，你的幕布仅仅覆盖了系统的一小部分，你更为容易说服用户永远不要绕过这个幕布。

后记：出于篇幅的考虑，有些问题的细节没能全面展开。这样可能造成一个假像，让一些喜欢思考的不易被轻易说服的读者认为文中列举的问题没有严重到必须采用私有数据库架构的地步。所以我考虑冠以“之一”来让以后的“之n”等展开说明那些被质疑的比较多的问题。

MIT风格注重界面的简洁，“新泽西”风格注重实现的简单。⋯⋯ 虽然遵循MIT风格更有可能达到更好的抽象度，但是（较差的）“新泽西”风格的软件更容易传播。假以时日，“新泽西”风格的软件更能吸引人们的注意力，从而得到更大的改进。良莠因此对调。

——《The Art of UNIX Programming》

HTML替代plug-in的趋势也许意味着“新泽西”模式再一次战胜MIT模式。由于HTML最初低下的表现力（expressiveness），各大公司并不屑于把HTML标准作为宝贵的财产牢牢的控制，而是漫不经心把标准交给国际组织，形成了HTML/CSS/JavaScript更为开放的姿态。

HTML的接口比plug-in技术更为复杂，HTML的数据、表示、代码相互混杂的接口比plug-in的编程脚本语言难用的多。复杂的接口意味着意味着更少的操作原语（primitive）[1]，以及原语和底层实现能更直接的对应。这意味着，首先产生歧义的机会更少，其次接口的实现更为容易，用户能够更快的得到参考实现作为进一步消除标准歧义、统一接口行为的依据。

从更广的视角来看，软件业解决一个特定问题时选择的接口复杂度的过程呈现一种在震荡中趋于稳定的模式。最初由于技术不成熟选择过于粗糙的复杂接口，而后开始进行抽象简化接口的努力。简化使用的需求推动寻求更高的抽象层次，但过高的抽象层次会被自己的实现复杂度压垮，因为过于抽象的接口定义的会因为实现复杂度过大而歧义丛生，导致实现的分裂。最后接口的抽象度逐渐在简化使用和接口统一的双重需求下收敛于有利于两方面的最优点。CORBA一类的RPC技术最后普遍退回到基于HTTP请求的页面访问服务或者基于socket的应用协议接口就是典型实例。

认识技术竞争的本质和对统一接口强烈的需求，在分析软件技术现状的时候会抛弃对高度抽象的所谓优雅接口的不切实际的追求。对粗糙接口的坦然面对也是一种放弃执着的体现。软件的复杂度不仅仅受到人类个体智力的限制，也受到人类社会行为的限制[2]。

注[1]：接口复杂度的高低并非取决于原语的多少，而是取决于使用每个原语时的难易。因此高复杂度的接口往往拥有更少的原语（比如汇编语言拥有更少的原语，底层网络协议接口也比高层网络协议的原语更少）。这也是接口复杂度和实现复杂度成为tradeoff关系的原因（实现复杂度很大程度取决于原语数量）。

注[2]：这种限制即技术奇异点。技术并非不能越过奇异点，但是越过之后开始自身发展而超出人类的理解能力。

前天和老婆看了《太空堡垒卡拉狄加》大结局——幸存的12殖民地居民和塞昂人决定放弃所有科技，回归原始状态。虽然只是一部商业剧，但是我还是对这样的结局感到失望。

首先，考虑到一个文明得到这些技术的漫长经历，很难相信人们会同意放弃所有的技术。也许《卡拉狄加》的人们（人类和塞昂）在经历了由于技术发展导致的一切之后心态有所变化。所以我不就这点再深究。

其次，剧中放弃科技的目的是为了打破人和机器之间战争的循环。但是在我的信念中，打破循环需要恰恰是了解更多的知识，而不是抛弃知识。抛弃所有知识，让人们从黑暗中再次摸索一遍，期待这样的摸索能够不再走入循环，这样的计划似乎有些盲目而缺乏逻辑。依我看，这样根本没法打破循环，只能让这一次的循环拖延更多的时间。（剧情似乎也支持了这一点，从科博到地球，从地球到12殖民地的循环用了几千年，而第二地球用了15万年得到一个单一行星上没有宇宙航行能力的更加和脆弱文明，但是却并不缺少对技术的滥用。）

作为一个怀疑主义者，我并不认为追寻知识有至高无上意义。但是《卡拉狄加》结局对知识作用的否定似乎和整部剧的其它部分自相矛盾。即使怀疑主义在更高层次上是正确的，但是它否定了人类自身延续的意义。而整部《卡拉狄加》都是在为文明的延续而努力。结局告诉我们，12殖民地和塞昂人终于精疲力尽，放弃了延续文明的努力，或者他们最初的信念也仅仅是保存DNA而已？

可能《卡拉狄加》的理念是希望人们不要执着于已有的知识。但我认为不执着并不意味着把它们都扔到太阳里去。

写下这些不是为了谴责编剧的智力。也许我确实没有参透编剧的思路。另外，美剧确实有着各种现实原因影响情节。另外，作为把架空的时空和实际现实联系起来的某种风格，在连接点上一定程度的牵强附会也很难避免。整部《卡拉狄加》都让我感受到文明在技术奇异点周围徘徊的奇妙体验，最后的结局是一种退缩，破坏了这种感觉。