[WebKit] JavaScriptCore解析

分享到

发布于2013-6-06 作者：Horky

先看一下官方的基本介绍,短短几句就塞满了关键字。

SquirrelFish,正式名称是JavaScriptCore,包括register-based(基于寄存器的虚拟机), direct-threaded, high-level bytecode engine(字节码引擎).它使用基于内置copy propagation(复制性传播算法)的一次性编译器(one-pass compiler),能够延迟从语法树(Syntax Tree)上生成字节码(Bytecodes)。

由此可见JavaScriptCore实现的复杂度。做为一个正在努力学习的菜鸟，我愿意给自己这样一个挑战，通过记录和总结学习内容，分成两个大的段落从内部视角来解析JavaScriptCore。首先是基础篇，目的是了解JavaScriptCore是如何与WebKit一起工作的，会涉及一些JavaScript引擎的一些基本概念。然后是高级篇，尝试解释JavaScriptCore中的核心技术，如Byte Code Compiler, JIT, VM以及GC等。

内容或许会显得晦涩，如果只是想简单地了解浏览器JS引擎的一些基本内容，推荐读读下面的文章。它们对于理解后面的内容也会非常有帮助。相对于这些资料，这个系列则侧重于从基础及从实例来分析JSC的实现。没办法做到高层次，只能追求贴近实现。

1、JavaScriptCore, WebKit的JS实现(一)

2、JavaScriptCore, WebKit的JS实现(完)

3、为什么V8引擎这么快？

当然，JavaScript的知识是必不可少的，推荐阅读一篇(JavaScript核心指南)，如果有时间可以深入学习一下其中提到的链接。

一. JavaScriptCore与WebCore

两者的关系可以简单的用下图来表示:

JSC为WebCore提供两个重要功能:

1. JS脚本的解析执行 (ScriptController)

主要是通过调用JavaScriptCore提供的两个C接口来实现的, checkSyntax和evaluate.

2. DOM节点的JS Bindings

DOM节点所对应的JS Bindings都可以回溯到JSC::JSNonFinalObject，再到JSObject，以实现和JSC绑定在一起。

*关于JS Binding，可以先看一下这篇文章: 为JavaScript Binding添加新DOM对象的三种方式及实作。至于JSC实现的细节，以后再展开。

二. JavaScriptCore基本工作过程

JSC最简单的执行过程如下，再如之后JIT等在这个基础上的优化。

三. JavaScript脚本的执行

以下分层说明脚本执行的步骤。对于涉及到编译及执行的细节，则在后续解释。

3.1 接口层的交互

JSC和其它几个主要的JS Engine一样，都是一个库，通过提供简单的API来供调用者使用。

从JSC接口来看，一个完整的JavaScript脚本的解析执行过程，可以概述以下:

过程很简单，可是很明显有些关键词必须要理解一下，如VM, Global Object, ExecState. 它们的关系也可以通过一张图来解释:

VM -> Virtual Machine, JavaScript要借助于一个运行时(Runtime)环境来运行。 SpiderMonkey就称之为Runtime.

GlobalObject -> 脚本执行时的全局对象。一个全局负责组织管理执行环境以及各个子对象。

ExecState -> 用于记录脚本执行上下文或环境, 也由GlobalObject管理。SpiderMoney以及Apple封装后的JavaScriptCore.framework都称之为上下文(Context). 可以将其视为一个执行脚本的对象来理解，只是它所产生和使用的Objects是共享的，并可以由GlobalObject来访问。

JS解释器各自实现的方式略有不同，JSC是由一个全局变量(Global Object)来创建上下文环境(ExecState), 而SpiderMonkey则是由执行上下文来创建全局变量。但无论哪种实现，全局变量和上下文都一一对应的，虽然原则上是允许一对多的情况出现。

最后看下JSC执行JS脚本的接口定义, 就很好理解了：

JSValue evaluate(ExecState* exec,constSourceCode& source,JSValue thisValue,JSValue* returnedException);

*thisValue就是JavaScript的this, 代表的是执行者, 但不一定是创建者。

*使用JSC的示例代码，可以看看WebKit里的jsc.cpp就可以了。

*如果觉得没有讲清楚，建议读读这里(JavaScript核心指南)。

3.2 JSC API执行脚本的步骤

下图是JSC API函数evaluate的活动图:

重点在于它会使用要执行的脚本内容建立一个ProgramExecutable对象，然后调用Interpreter执行这个代表脚本的ProgramExecutable对象。

ProgramExecutable和Interpreter都是JSC核心类，ProgramExecutable负责编译代码为ByteCode，属于解释器功能组, 而Interpreter则负责解析执行ByteCode，则属于VM功能组.

*Interpreter提供的两个dump函数对于分析代码也很有用, dumpCallFrame和dumpRegisters。

四. DOM Bindings的响应

实现上的解析在这里:WebKit的JS Binding解析

以及另一篇可以加深理解:为JavaScript Binding添加新DOM对象的三种方式及实作

这一篇主要说明解释器的基本工作过程和JSC的核心组件的实现。

作为一个语言，就像人在的平时交流时一样，当接收到信息后，包含两个过程：先理解再行动。理解的过程就是语言解析的过程，行动就是根据解析的结果执行对应的行为。在计算机领域，理解就是编译或解释，这个已经被研究的很透彻了，并且有了工具来辅助。而执行则千变万化，也是性能优化的重心。下面就来看看JSC是如何来理解、执行JavaScript脚本的。

解释器工作过程

JavaScriptCore基本的工作过程如下:

对于一个解释器，首先必须要明确所支持的语言, JSC所支持的是EMCAScript-262规范。

词法分析和语法分析就是理解的过程，将输入的文本转为一种它可以理解的语义形式(抽象语法树), 或者更进一步的生成供后续使用的中间代码(字节码,ByteCode)。

解释器就是负责执行解析输出的结果。正因为执行是优化的重心，所以有JIT来提高执行效能。根据资料，V8还会优化Parser的输出，省去了bytecode, 当解释器有能力直接基于AST执行。

词法分析及语法分析，最著名的工具就是lex/yacc，以及后继者flex/bison(The LEX&YACC Page)。它们为很多软件提供了语言或文本解析的功能，相当强大，也很有趣。虽然JavaScriptCore并没有使用它们，而是自行编写实现的，但基本思路是相似的。

词法分析(lexer)，其实就是一个扫描器，依据语言的定义，提取出源文件中的内容变为一个个语法可以识别的token，比如关键字，操作符，常量等。在一个文件中定义好规则就可以了。

语法分析(paser), 它的功能就是根据语法(token的顺序组合)，识别出不同的语义(目标操作)。

比如:

i=3;

经过lexer可能被识别为以下的tokens:

VARIABLE EQUAL CONSTANT END

经过parser一分析，就了解这是一个"赋值操作，向变量i赋值常量3"。随后再调用对应的操作加以执行。

如果你对lexer和parser还不太熟悉，可参考的资料很多，这里有一个基本的入门指引:Yacc与Lex快速入门。

执行的基础环境(Register-based VM)

JSC解析生成的代码放到一个虚拟机上来执行(广义上讲JSC主身就是一个虚拟机)。JSC使用的是一个基于寄存器的虚拟机(register-based VM)，另一种实现方式是基于栈的虚拟机(stack-based VM)。两者的差异可以简单的理解为指令集传递参数的方式，是使用寄存器，还是使用栈。

相对于基于栈的虚拟机,因为不需要频繁的压、出栈，以及对三元操作的支持，register-based VM的效率更高，但可移植性相对弱一些。所谓的三元操作符，其中add就是一个三元操作,add dst, src1, src2，功能是将src1与src2相加，将结果保存在dst中。dst, src1,src2都是寄存器。

为了方便和<<深入理解Java虚拟机>>中的示例进行对比，也利用JSC输出以下脚本的ByteCode如下:

[   0] enter
[   1] mov               r0, Cell: 0133FC40(@k0)
[   4] put_by_id         r0, a(@id0), Int32: 100(@k1)
[  13] mov               r0, Cell: 0133FC40(@k0)
[  16] put_by_id         r0, b(@id1), Int32: 200(@k2)
[  25] mov               r0, Cell: 0133FC40(@k0)
[  28] put_by_id         r0, c(@id2), Int32: 300(@k3)
[  37] resolve_global    r0, a(@id0)
[  43] resolve_global    r1, b(@id1)
[  49] add               r0, r0, r1
[  54] resolve_global    r1, c(@id2)
[  60] mul               r0, r0, r1
[  65] ret               r0

*参考: JSC字节码规格 (WebKit没有及时更新，只做为参考，最新的内容还是要看代码.)

而基于栈的虚拟机的生成的字节码如下:

0： bipush 100
2:    istore_1
3:    sipush 200
6:    istore_2
7:    sipush 300
10:  istore_3
11:  iload_1
12:  iload_2
13:  iadd
14:  iload_3
15:  imul
16:  ireturn

可以帮助理解它们之间的差异。

核心组件

*这部分基本上译自WebKit官网的JavaScriptCore说明的前半部分。

JavaScriptCore 是一个正在演进的虚拟机(virtual machine), 包含了以下模块: lexer, parser, start-up interpreter (LLInt), baseline JIT, and an optimizing JIT (DFG).

Lexer 负责词法解析(lexical analysis) , 就是将脚本分解为一系列的tokens. JavaScriptCore的 lexer是手动撰写的，大部分代码在parser/Lexer.h 和 parser/Lexer.cpp 中.

Parser 处理语法分析(syntactic analysis), 也就是基于来自Lexer的tokens创建语法树(syntax tree). JavaScriptCore 使用的是一个手动编写的递归下降解析器(recursive descent parser), 代码位于parser/JSParser.h 和 parser/JSParser.cpp .

LLInt, 全称为Low Level Interpreter, 负责执行由Paser生成的字节码(bytecodes). 代码在llint/ 目录里, 使用一个可移植的汇编实现，也被为offlineasm (代码在offlineasm/目录下), 它可以编译为x86和ARMv7的汇编以及C代码。LLInt除了词法解析和语法解释外,JIT编译器所执行的调用、栈、以及寄存器转换都是基本没有启动开销(start-up cost)的。比如，调用一个LLInt函数就和调用一个已经被编译原始代码的函数相似, 除非机器码的入口正是一个共用的LLInt Prologue(公共函数头,shared LLInt prologue). LLInt还包括了一些优化，比如使用inline cacheing来加速属性访问.

Baseline JIT 在函数被调用了6次，或者某段代码循环了100次后(也可能是一些组合，比如3次带有50次枚举的调用)就会触发Baseline JIT。这些数字只是大概的估计，实际上的启发(heuristics)过程是依赖于函数大小和当时内存状况的。当JIT卡在一个循环时，它会执行On-Stack-Replace(OSR)将函数的所有调用者重新指向新的编译代码。Baseline JIT同时也是函数进一步优化的后备，如果无法优化代码时，它还会通过OSR调整到Baseline JIT. BaseLine JIT的代码在 jit/ . 基线JIT也为inline caching执行几乎所有的堆访问。

无论是LLInt和Baseline JIT者会收集一些轻量级的性能信息，以便择机到更高一层级(DFG)执行。收集的信息包括最近从参数、堆，以及返回值中的数据。另外，所有inline caching也做了些处理，以方便DFG进行类型判断，例如，通过查询inline cache的状态，可以检测到使用特定类理进行堆访问的频率。这个可以用于决定是否进入DFG (文中称这个行为叫speculation, 有点赌一把的意思，能优化获得更高的性能最好，不然就退回来)。在下一节中着重讲述JavaScriptCore类型推断。

DFG JIT 在函数被调用了至少60次，或者代码循环了1000次，就会触发DFG JIT。同样，这些都是近似数，整个过程也是趋向于启发式的。DFG积极地基于前面(baseline JIT&Interpreter)收集的数据进行类型推测，这样就可以尽早获得类型信息(forward-propagate type information)，从而减少了大量的类型检查。DFG也会自行进行推测，比如为了启用inlining, 可能会将从heap中加载的内容识别出一个已知的函数对象。如果推测失败，DFG取消优化(Deoptimization)，也称为"OSR exit". Deoptimization可能是同步的(某个类型检测分支正在执行)，也可能是异步的(比如runtime观察到某个值变化了，并且与DFG的假设是冲突的)，后者也被称为"watchpointing"。 Baseline JIT和DFG JIT共用一个双向的OSR:Baseline可以在一个函数被频繁调用时OSR进入DFG, 而DFG则会在deoptimization时OSR回到Baseline JIT. 反复的OSR退出(OSR exits)还有一个统计功能: DFG OSR退出会像记录发生频率一样记录下退出的理由(比如对值的类型推测失败), 如果退出一定次数后，就会引发重新优化(reoptimization), 函数的调用者会重新被定位到Baseline JIT,然后会收集更多的统计信息，也许根据需要再次调用DFG。重新优化使用了指数式的回退策略(exponential back-off,会越来越来)来应对一些奇葩代码。DFG代码在dfg/.

任何时候，函数, eval代码块，以及全局代码(global code)都可能会由LLInt, Baseline JIT和DFG三者同时运行。一个极端的例子是递归函数，因为有多个stack frames，就可能一个运行在LLInt下，另一个运行在Baseline JIT里，其它的可能正运行在DFG里。更为极端的情况是当重新优化在执行过程被触发时，就会出现一个stack frame正在执行原来旧的DFG编译，而另一个则正执行新的DFG编译。为此三者设计成维护相同的执行语义(execution semantics), 它们的混合使用也是为了带来明显的效能提升。

*如果想要观察它们的工作，可以在WebKit中的子工程jsc的jsc.cpp中，使用JSC::Options添加一部分log输出。

前面说了一些解析、生成ByteCode直至JIT的基本概念，下面是对照JavaScriptCore源代码来大致了解它的实现。

从JS Script到Byte Code

首先说明Lexer, Parser和ByteCode的生成都是由ProgramExecutable初始化过程完成的。首先在JSC的API evaluate()中会创建ProgramExecutable并指定脚本代码。然后传入Interpreter时，再透过CodeCache获取的UnlinkedProgramCodeBlock就是已经生成ByteCode后的Code Block了。

下图是CodeCache调用Parser和ByteCodeGenerator的序列图:

而Lexer则是在Parser过程中调用的，如下图:

再从类图来观察所涉及的几个类之间的关系:

关于CodeBlock、UnlinkedCodeBlock和ScriptExecutable

CodeBlock可以理解为代码管理的类，按类型分为GlobalCodeBlock, ProgramCodeBlock, FunctionCodeBlock及EvalCodeBlock, 与之对应的UnlinkedCodeBlock和ScriptExecutable也有相似的继承体系，如下所示:

UnlinkedCodeBlock存储的是编译后的ByteCode，而CodeBlock则会用于LLint和JIT。

ProgramExecutable则可以理解为当前所执行脚本的大总管，从其名字上可以看出来是代表一个可执行程序。

它们的作用也很容易理解。

关于LLint的slow path

前面说过了LLint是基于offlineasm的汇编语言，这里只是介绍一下它的slow path. 为了处理一些操作，需要在LLint执行指令时调用一些C函数进行扩展处理，比如后面要说明的JIT统计功能，LLint提供一个调用C函数的接口，并将所有会被调用的C函数称为slow path,如下图所示:

代码可以在LowLevelInterpreterXXX.asm中看到。所以可以C函数声明看到带有SLOW_PATH的宏。

关于JIT优化的触发

首先JSC使用的是基于计数器的热点探测方法。前面提到函数或循环体被执行若干次后会触发JIT, 首先这个次数是可以通过JSC::Options中的thresholdForOptimizeSoon来设定的。然后在LLint在执行循环的ByteCode指令loop_hint和函数返回指令ret时会调用slow path中的C函数，进行次数统计和判断，过程如下:

其中会根据checkIfJITThresholdReached()返回结果来决定是否进行jitCompile.一旦要进行JIT编译时，也是根据当前CodeBlock的类型，而执行针对不同函数或代码段的优化。下面显示的是对一个频繁使用的函数进行JIT编译的操作:

其中计数的功能并非由CodeBlock直接实现，而是通过ExecutionCounter来管理的。主要关系如下:

参考阅读:

虚拟机随谈(一): 解释器，树遍历解释器，基于栈与基于寄存器，大杂烩 http://rednaxelafx.iteye.com/blog/492667