欲将心事付瑶琴。知音少，弦断有谁听。

——岳飞《小重山》

JVM 之深入理解方法区

这次所讲述的是运行时数据区的最后一个部分–方法区

从线程共享与否的角度来看：

ThreadLocal：如何保证多个线程在并发环境下的安全性？典型应用就是数据库连接管理，以及会话管理。

1. 栈、堆、方法区的交互关系

下面就涉及了对象的访问定位：

• Person：存放在元空间，也可以说方法区。
• person：存放在Java栈的局部变量表中。
• new Person()：存放在Java堆中。

2. 方法区的基本理解

2.1 方法区在哪里呢？

《Java虚拟机规范》中明确说明：“尽管所有的方法区在逻辑上是属于堆的一部分，但一些简单的实现可能不会选择去进行垃圾收集或者进行压缩。”但对于HotSpot JVM而言，方法区还有一个别名叫做Non-Heap（非堆），目的就是要和堆分开。

所以，方法区看作是一块独立于Java堆的内存空间。

1. 方法区主要存放的是 Class，而堆中主要存放的是实例化的对象。
2. 方法区（Method Area）与 Java 堆 一样，是各个线程共享的内存区域。
3. 方法区在JVM启动的时候被创建，并且它的实际的物理内存空间中和Java堆区一样都可以是不连续的。
4. 方法区的大小，跟堆空间一样，可以选择固定大小或者可扩展。
5. 方法区的大小决定了系统可以保存多少个类，如果系统定义了太多的类，导致方法区溢出，虚拟机同样会抛出内存溢出错误：java.lang.OutofMemoryError：PermGen space 或者java.lang.OutOfMemoryError:Metaspace
   1. 加载大量的第三方的jar包
   2. Tomcat部署的工程过多（30~50个）
   3. 大量动态的生成反射类
6. 关闭JVM就会释放这个区域的内存。

3. HotSpot中方法区的演进

1. 在jdk7及以前，习惯上把方法区，称为永久代。jdk8开始，使用元空间取代了永久代，并且元空间存放在堆外内存中。
2. 本质上，方法区和永久代并不等价，仅是对hotspot而言的。《Java虚拟机规范》对如何实现方法区，不做统一要求。例如：BEA JRockit / IBM J9 中不存在永久代的概念。
3. 现在来看，当年使用永久代，不是好的idea。导致Java程序更容易oom（超过-XX:MaxPermsize上限）。

4. 而到了JDK8，终于完全废弃了永久代的概念，改用与JRockit、J9一样在本地内存中实现的元空间（Metaspace）来代替。

5. 元空间的本质和永久代类似，都是对JVM规范中方法区的实现。不过元空间与永久代最大的区别在于：元空间不在虚拟机设置的内存中，而是使用本地内存。
6. 永久代、元空间二者并不只是名字变了，内部结构也调整了。
7. 根据《Java虚拟机规范》的规定，如果方法区无法满足新的内存分配需求时，将抛出OOM异常。

4. 设置方法区大小与OOM

方法区的大小不必是固定的，JVM可以根据应用的需要动态调整。

4.1 JDK7及以前

• 通过-xx:Permsize来设置永久代初始分配空间。默认值是20.75M
• -XX:MaxPermsize来设定永久代最大可分配空间。32位机器默认是64M，64位机器模式是82M
• 当JVM加载的类信息容量超过了这个值，会报异常OutofMemoryError:PermGen space。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

jps
12800 Jps
11068 Launcher
1804
6444 RemoteMavenServer
7900 MethodAreaDemo

jinfo -flag PermSize 7900
-XX:PermSize=21757952
    
21757952/1024/1024=20.75
    
jinfo -flag MaxPermSize 7900
-XX:MaxPermSize=85983232
    
85983232/1024/1024=82

4.2 JDK8及以后

元数据区大小可以使用参数 -XX:MetaspaceSize 和 -XX:MaxMetaspaceSize指定。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

jps

4832 MethodAreaDemo
11108 Launcher
12228 Jps
1804
6444 RemoteMavenServer

jinfo -flag MetaspaceSize 4832
-XX:MetaspaceSize=21807104
    
21807104/1024/1024=20.796875

jinfo -flag MaxMetaspaceSize 4832
-XX:MaxMetaspaceSize=18446744073709486080

1. 默认值依赖于平台。windows下，-XX:MetaspaceSize是21M，-XX:MaxMetaspaceSize的值是-1，即没有限制。

2. 与永久代不同，如果不指定大小，默认情况下，虚拟机会耗尽所有的可用系统内存。如果元数据区发生溢出，虚拟机一样会抛出异常OutOfMemoryError:Metaspace。

3. -XX:MetaspaceSize：设置初始的元空间大小。对于一个64位的服务器端JVM来说，其默认的-xx:MetaspaceSize值为21MB。这就是初始的高水位线，一旦触及这个水位线，Full GC将会被触发并卸载没用的类（即这些类对应的类加载器不再存活）然后这个高水位线将会重置。新的高水位线的值取决于GC后释放了多少元空间。如果释放的空间不足，那么在不超过MaxMetaspaceSize时，适当提高该值。如果释放空间过多，则适当降低该值。

4. 如果初始化的高水位线设置过低，上述高水位线调整情况会发生很多次。通过垃圾回收器的日志可以观察到Full GC多次调用。为了避免频繁地GC，建议将-XX:MetaspaceSize设置为一个相对较高的值。

4.3 如何解决这些OOM

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30

import com.sun.xml.internal.ws.org.objectweb.asm.ClassWriter;
import jdk.internal.org.objectweb.asm.Opcodes;
/**
 * JDK6/7中：
 * -XX:PermSize=10m -XX:MaxPermSize=10m
 *
 * JDk8中：
 * -XX:MetaspaceSize=10m -XX:MaxMetaspaceSize=10m
 */
public class OOMTest extends ClassLoader {
    public static void main(String[] args) {
        int j = 0;
        try {
            OOMTest test = new OOMTest();
            for (int i = 0; i < 10000; i++) {
                //创建ClassWriter对象，用于生成类的二进制字节码
                ClassWriter classWriter = new ClassWriter(0);
                //指明版本号，修饰符，类名，包名，父类，接口
                classWriter.visit(Opcodes.V1_8, Opcodes.ACC_PUBLIC, "Class" + i, null, "java/lang/Object", null);
                //返回byte[]
                byte[] code = classWriter.toByteArray();
                //类的加载
                test.defineClass("Class" + i, code, 0, code.length);//Class对象
                j++;
            }
        } finally {
            System.out.println(j);
        }
    }
}

1. 要解决OOM异常或heap space的异常，一般的手段是首先通过内存映像分析工具（如Eclipse Memory Analyzer）对dump出来的堆转储快照进行分析，重点是确认内存中的对象是否是必要的，也就是要先分清楚到底是出现了内存泄漏（Memory Leak）还是内存溢出（Memory Overflow）。

   • 内存泄漏就是 有大量的引用指向某些对象，但是这些对象以后不会使用了，但是因为它们还和GC ROOT有关联，所以导致以后这些对象也不会被回收，这就是内存泄漏的问题。

2. 如果是内存泄漏，可进一步通过工具查看泄漏对象到GC Roots的引用链。于是就能找到泄漏对象是通过怎样的路径与GC Roots相关联并导致垃圾收集器无法自动回收它们的。掌握了泄漏对象的类型信息，以及GC Roots引用链的信息，就可以比较准确地定位出泄漏代码的位置。

3. 如果不存在内存泄漏，换句话说就是内存中的对象确实都还必须存活着，那就应当检查虚拟机的堆参数（-Xmx与-Xms），与机器物理内存对比看是否还可以调大，从代码上检查是否存在某些对象生命周期过长、持有状态时间过长的情况，尝试减少程序运行期的内存消耗。

5. 方法区的内部结构

《深入理解Java虚拟机》书中对方法区（Method Area）存储内容描述如下：它用于存储已被虚拟机加载的类型信息、常量、静态变量、即时编译器编译后的代码缓存等。

5.1 类型信息

对每个加载的类型（类class、接口interface、枚举enum、注解annotation），JVM必须在方法区中存储以下类型信息：

1. 这个类型的完整有效名称（全名=包名.类名）;
2. 这个类型直接父类的完整有效名（对于interface或是java.lang.Object，都没有父类）;
3. 这个类型的修饰符（public，abstract，final的某个子集）;
4. 这个类型直接接口的一个有序列表;

5.2 域信息

1. JVM必须在方法区中保存类型的所有域的相关信息以及域的声明顺序。

2. 域的相关信息包括：域名称、域类型、域修饰符（public，private，protected，static，final，volatile，transient的某个子集）

5.4 方法（Method）信息

JVM必须保存所有方法的以下信息，同域信息一样包括声明顺序：

• 方法名称
• 方法的返回类型（或void）
• 方法参数的数量和类型（按顺序）
• 方法的修饰符（public，private，protected，static，final，synchronized，native，abstract的一个子集）
• 方法的字节码（bytecodes）、操作数栈、局部变量表及大小（abstract和native方法除外）
• 异常表（abstract和native方法除外）
  • 每个异常处理的开始位置、结束位置、代码处理在程序计数器中的偏移地址、被捕获的异常类的常量池索引。

5.5 non-final的类变量

1. 静态变量和类关联在一起，随着类的加载而加载，他们成为类数据在逻辑上的一部分。
2. 类变量被类的所有实例共享，即使没有类实例时，你也可以访问它。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

/**
 * non-final的类变量
 */
public class MethodAreaTest {
    public static void main(String[] args) {
        Order order = new Order();
        order.hello();
        System.out.println(order.count);
    }
}
class Order {
    public static int count = 1;
    public static final int number = 2;
    public static void hello() {
        System.out.println("hello!");
    }
}

如上代码所示，即使我们把order设置为null，也不会出现空指针异常，而是正常运行。

5.6 全局常量

全局常量就是使用 static final 进行修饰，被声明为final的类变量的处理方法则不同，每个全局常量在编译的时候就会被分配了。

5.7 运行时常量池 VS 常量池

• 方法区，内部包含了运行时常量池。
• 字节码文件，内部包含了常量池。

• 要弄清楚方法区，需要理解清楚ClassFile，因为加载类的信息都在方法区。
• 要弄清楚方法区的运行时常量池，需要理解清楚ClassFile中的常量池。

ClassFile中的常量池

一个有效的字节码文件中除了包含类的版本信息、字段、方法以及接口等描述符信息外，还包含一项信息就是常量池表（Constant Pool Table），包括各种字面量和对类型、域和方法的符号引用。

为什么需要常量池？

一个java源文件中的类、接口，编译后产生一个字节码文件。而Java中的字节码需要数据支持，通常这种数据会很大以至于不能直接存到字节码里，换另一种方式，可以存到常量池，这个字节码包含了指向常量池的引用。在动态链接的时候会用到运行时常量池，之前有介绍。

比如：如下的代码：

1
2
3
4
5

public class SimpleClass {
    public void sayHello() {
        System.out.println("hello");
    }
}

虽然上述代码只有194字节，但是里面却使用了String、System、PrintStream及Object等结构。这里的代码量其实很少了，如果代码多的话，引用的结构将会更多，这里就需要用到常量池了。

常量池中有什么？

1. 数量值
2. 字符串值
3. 类引用
4. 字段引用
5. 方法引用

1
2
3
4
5

public class MethodAreaTest2 {
    public static void main(String args[]) {
        Object obj = new Object();
    }
}

将会被翻译成如下字节码

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

public static void main(java.lang.String[]);
  descriptor: ([Ljava/lang/String;)V
  flags: ACC_PUBLIC, ACC_STATIC
  Code:
    stack=2, locals=2, args_size=1
       0: new           #2                  // class java/lang/Object
       3: dup
       4: invokespecial #1                  // Method java/lang/Object."<init>":()V
       7: astore_1
       8: return
    LineNumberTable:
      line 10: 0
      line 11: 8
    LocalVariableTable:
      Start  Length  Slot  Name   Signature
          0       9     0  args   [Ljava/lang/String;
          8       1     1 object   Ljava/lang/Object;

常量池、可以看做是一张表，虚拟机指令根据这张常量表找到要执行的类名、方法名、参数类型、字面量等类型。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

Constant pool:
   #1 = Methodref          #2.#19         // java/lang/Object."<init>":()V
   #2 = Class              #20            // java/lang/Object
   #3 = Class              #21            // com/atguigu/java/MethodAreaTest2
   #4 = Utf8               <init>
   #5 = Utf8               ()V
   #6 = Utf8               Code
   #7 = Utf8               LineNumberTable
   #8 = Utf8               LocalVariableTable
   #9 = Utf8               this
  #10 = Utf8               Lcom/atguigu/java/MethodAreaTest2;
  #11 = Utf8               main
  #12 = Utf8               ([Ljava/lang/String;)V
  #13 = Utf8               args
  #14 = Utf8               [Ljava/lang/String;
  #15 = Utf8               object
  #16 = Utf8               Ljava/lang/Object;
  #17 = Utf8               SourceFile
  #18 = Utf8               MethodAreaTest2.java
  #19 = NameAndType        #4:#5          // "<init>":()V
  #20 = Utf8               java/lang/Object
  #21 = Utf8               com/atguigu/java/MethodAreaTest2

5.8 运行时常量池

1. 运行时常量池（Runtime Constant Pool）是方法区的一部分。

2. 常量池表（Constant Pool Table）是Class文件的一部分，用于存放编译期生成的各种字面量与符号引用，这部分内容将在类加载后存放到方法区的运行时常量池中。

3. 运行时常量池，在加载类和接口到虚拟机后，就会创建对应的运行时常量池。

4. JVM为每个已加载的类型（类或接口）都维护一个常量池。池中的数据项像数组项一样，是通过索引访问的。

5. 运行时常量池中包含多种不同的常量，包括编译期就已经明确的数值字面量，也包括到运行期解析后才能够获得的方法或者字段引用。此时不再是常量池中的符号地址了，这里换为真实地址。

   1. 运行时常量池，相对于Class文件常量池的另一重要特征是：具备动态性。

6. 运行时常量池类似于传统编程语言中的符号表（symbol table），但是它所包含的数据却比符号表要更加丰富一些。

7. 当创建类或接口的运行时常量池时，如果构造运行时常量池所需的内存空间超过了方法区所能提供的最大值，则JVM会抛OutOfMemoryError异常。

5.9 方法区使用举例

1
2
3
4
5
6
7
8
9

public class MethodAreaDemo {
    public static void main(String args[]) {
        int x = 500;
        int y = 100;
        int a = x / y;
        int b = 50;
        System.out.println(a+b);
    }
}

字节码执行过程展示：

1. 首先现将操作数500放入到操作数栈中

2. 然后存储到局部变量表中

3. 然后重复一次，把100放入局部变量表中，最后再将变量表中的500 和 100 取出，进行操作。

4. 将500 和 100 进行一个除法运算，在把结果入栈。

5. 在最后就是输出流，需要调用运行时常量池的常量。

6. 最后调用invokevirtual（虚方法调用），然后返回。

7. 返回时

程序计数器始终计算的都是当前代码运行的位置，目的是为了方便记录 方法调用后能够正常返回，或者是进行了CPU切换后，也能回来到原来的代码进行执行。

6. 方法区的演进细节

1. 首先明确：只有Hotspot才有永久代。BEA JRockit、IBM J9等来说，是不存在永久代的概念的。原则上如何实现方法区属于虚拟机实现细节，不受《Java虚拟机规范》管束，并不要求统一。
2. Hotspot中方法区的变化：

6.1 JDK6的时候

6.2 JDK7的时候

6.3 JDK8的时候，元空间大小只受物理内存影响

6.4 为什么永久代要被元空间替代☆？

1. JRockit是和HotSpot融合后的结果，因为JRockit没有永久代，所以他们不需要配置永久代。

2. 随着Java8的到来，HotSpot VM中再也见不到永久代了。但是这并不意味着类的元数据信息也消失了。这些数据被移到了一个与堆不相连的本地内存区域，这个区域叫做元空间（Metaspace）。

3. 由于类的元数据分配在本地内存中，元空间的最大可分配空间就是系统可用内存空间，这项改动是很有必要的，原因有：

   • 为什么永久代设置空间大小是很难确定的？
     • 在某些场景下，如果动态加载类过多，容易产生Perm区的OOM。比如某个实际Web工程中，因为功能点比较多，在运行过程中，要不断动态加载很多类，经常出现致命错误。“Exception in thread‘dubbo client x.x connector'java.lang.OutOfMemoryError:PermGen space”。而元空间和永久代之间最大的区别在于：元空间并不在虚拟机中，而是使用本地内存。因此，默认情况下，元空间的大小仅受本地内存限制。
   • 为什么对永久代进行调优是很困难的？
     • 主要是为了降低Full GC。
     • 有些人认为方法区（如HotSpot虚拟机中的元空间或者永久代）是没有垃圾收集行为的，其实不然。《Java虚拟机规范》对方法区的约束是非常宽松的，提到过可以不要求虚拟机在方法区中实现垃圾收集。事实上也确实有未实现或未能完整实现方法区类型卸载的收集器存在（如JDK11时期的ZGC收集器就不支持类卸载）。
     • 一般来说这个区域的回收效果比较难令人满意，尤其是类型的卸载，条件相当苛刻。但是这部分区域的回收有时又确实是必要的。以前sun公司的Bug列表中，曾出现过的若干个严重的Bug就是由于低版本的HotSpot虚拟机对此区域未完全回收而导致内存泄漏。
     • 方法区的垃圾收集主要回收两部分内容：常量池中废弃的常量和不在使用的类型。

6.5 StringTable 为什么要调整位置

1. JDK7中将StringTable放到了堆空间中。因为永久代的回收效率很低，在Full GC的时候才会触发。而Full GC是老年代的空间不足、永久代不足时才会触发。
2. 这就导致stringTable回收效率不高。而我们开发中会有大量的字符串被创建，回收效率低，导致永久代内存不足。放到堆里，能及时回收内存。

6.6 静态变量存放在那里？

静态引用对应的对象实体始终都存在堆空间

可以使用 jhsdb.exe，是在JDK9的时候才引入的

1. staticobj随着Test的类型信息存放在方法区。
2. instanceobj随着Test的对象实例存放在Java堆。
3. localobject则是存放在foo()方法栈帧的局部变量表中。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26

/**
 * 《深入理解Java虚拟机》中的案例：
 * staticObj、instanceObj、localObj存放在哪里？
 * @author shkstart  shkstart@126.com
 * @create 2020  11:39
 */
public class StaticObjTest {
    static class Test {
        static ObjectHolder staticObj = new ObjectHolder();
        ObjectHolder instanceObj = new ObjectHolder();

        void foo() {
            ObjectHolder localObj = new ObjectHolder();
            System.out.println("done");
        }
    }

    private static class ObjectHolder {
    }

    public static void main(String[] args) {
        Test test = new StaticObjTest.Test();
        test.foo();
    }
}

测试发现：

1. 三个对象的数据在内存中的地址都落在Eden区范围内，所以结论：只要是对象实例必然会在Java堆中分配。
2. 接着，找到了一个引用该staticobj对象的地方，是在一个java.lang.Class的实例里，并且给出了这个实例的地址，通过Inspector查看该对象实例，可以清楚看到这确实是一个java.lang.Class类型的对象实例，里面有一个名为staticobj的实例字段：

从《Java虚拟机规范》所定义的概念模型来看，所有Class相关的信息都应该存放在方法区之中，但方法区该如何实现，《Java虚拟机规范》并未做出规定，这就成了一件允许不同虚拟机自己灵活把握的事情。JDK7及其以后版本的HotSpot虚拟机选择把静态变量与类型在Java语言一端的映射class对象存放在一起，存储于Java堆之中，从我们的实验中也明确验证了这一点。

7. 方法区的垃圾回收

1. 有些人认为方法区（如Hotspot虚拟机中的元空间或者永久代）是没有垃圾收集行为的，其实不然。《Java虚拟机规范》对方法区的约束是非常宽松的，提到过可以不要求虚拟机在方法区中实现垃圾收集。事实上也确实有未实现或未能完整实现方法区类型卸载的收集器存在（如JDK11时期的zGC收集器就不支持类卸载）。

2. 一般来说这个区域的回收效果比较难令人满意，尤其是类型的卸载，条件相当苛刻。但是这部分区域的回收有时又确实是必要的。以前sun公司的Bug列表中，曾出现过的若干个严重的Bug就是由于低版本的HotSpot虚拟机对此区域未完全回收而导致内存泄漏。

3. 方法区的垃圾收集主要回收两部分内容：常量池中废弃的常量和不再使用的类型。

   1. 先来说说方法区内常量池之中主要存放的两大类常量：字面量和符号引用。字面量比较接近Java语言层次的常量概念，如文本字符串、被声明为final的常量值等。而符号引用则属于编译原理方面的概念，包括下面三类常量：
      1. 类和接口的全限定名
      2. 字段的名称和描述符
      3. 方法的名称和描述符
   2. HotSpot虚拟机对常量池的回收策略是很明确的，只要常量池中的常量没有被任何地方引用，就可以被回收。
   3. 回收废弃常量与回收Java堆中的对象非常类似。（关于常量的回收比较简单，重点是类的回收）
   4. 判定一个常量是否“废弃”还是相对简单，而要判定一个类型是否属于“不再被使用的类”的条件就比较苛刻了。需要同时满足下面三个条件：
      1. 该类所有的实例都已经被回收，也就是Java堆中不存在该类及其任何派生子类的实例。
      2. 加载该类的类加载器已经被回收，这个条件除非是经过精心设计的可替换类加载器的场景，如OSGi、JSP的重加载等，否则通常是很难达成的。
      3. 该类对应的java.lang.Class对象没有在任何地方被引用，无法在任何地方通过反射访问该类的方法。
   5. Java虚拟机被允许对满足上述三个条件的无用类进行回收，这里说的仅仅是“被允许”，而并不是和对象一样，没有引用了就必然会回收。关于是否要对类型进行回收，HotSpot虚拟机提供了-Xnoclassgc参数进行控制，还可以使用-verbose:class 以及 -XX:+TraceClass-Loading、-XX:+TraceClassUnLoading查看类加载和卸载信息。
   6. 在大量使用反射、动态代理、CGLib等字节码框架，动态生成JSP以及OSGi这类频繁自定义类加载器的场景中，通常都需要Java虚拟机具备类型卸载的能力，以保证不会对方法区造成过大的内存压力。

8. 小结以及大厂面试题

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33

百度三面：
1. 说一下JVM内存模型吧，有哪些区？
2. 分别干什么的？

蚂蚁金服：
1. Java8的内存分代改进
2. JVM内存分哪几个区，每个区的作用是什么？
3. 一面：JVM内存分布/内存结构？栈和堆的区别？堆的结构？为什么两个survivor区？
4. 二面：Eden和survior的比例分配

小米：
1. jvm内存分区，为什么要有新生代和老年代

字节跳动：
1. 二面：Java的内存分区
2. 二面：讲讲vm运行时数据库区
3. 什么时候对象会进入老年代？

京东：
1. JVM的内存结构，Eden和Survivor比例。
2. JVM内存为什么要分成新生代，老年代，持久代。新生代中为什么要分为Eden和survivor。

天猫：
1. 一面：JVM内存模型以及分区，需要详细到每个区放什么。
2. 一面：JVM的内存模型，Java8做了什么改？

拼多多：
1. JVM内存分哪几个区，每个区的作用是什么？

美团：
1. java内存分配
2. jvm的永久代中会发生垃圾回收吗？
3. 一面：jvm内存分区，为什么要有新生代和老年代？

☆