[资料]

Android热修复升级探索——代码修复冷启动方案

2017-12-7 15:02:04 3812 Android

0 前言前面一篇文档，我们提到热部署修复方案有诸多特点（有关热部署修复方案实现， Android热修复升级探索——追寻极致的代码热替换）。其根本原理是基于native层方法的替换，所以当类结构变化时，如新增减少类method/field在热部署模式下会受到限制。但冷部署能突破这种约束，可以更好地达到修复目的，再加上冷部署在稳定性上具有的独特优势，因此可以作为热部署的有利补充而存在。冷启动实现方案概述冷启动重启生效，现在一般有以下两种实现方案，同时给出他们各自的优缺点：方案一原理：为了解决Dalvik下unexpected dex problem异常而采用插桩的方式，单独放一个帮助类在独立的dex中让其他类调用，阻止了类被打上CLASS_ISPREVERIFIED标志从而规避问题的出现。最后加载补丁dex得到dexFile对象作为参数构建一个Element对象插入到dexElements数组的最前面。提供dex差量包，整体替换dex的方案。差量的方式给出patch.dex，然后将patch.dex与应用的classes.dex合并成一个完整的dex，完整dex加载得到的dexFile对象作为参数构建一个Element对象然后整体替换掉旧的dexElements数组。优点：没有合成整包，产物比较小，比较灵活。自研dex差异算法，补丁包很小， dex merge成完整dex， Dalvik不影响类加载性能， Art下也不存在必须包含父类/ 引用类的情况；缺点：Dalvik下影响类加载性能，Art下类地址写死，导致必须包含父类/引用，最后补丁包很大。dex合并内存消耗在vm heap上，容易OOM，最后导致dex合并失败。方案二原理：提供dex差量包，整体替换dex的方案。差量的方式给出patch.dex，然后将patch.dex与应用的classes.dex合并成一个完整的dex，完整dex加载得到的dexFile对象作为参数构建一个Element对象然后整体替换掉旧的dexElements数组。优点：自研dex差异算法，补丁包很小， dex merge成完整dex， Dalvik不影响类加载性能， Art下也不存在必须包含父类/引用类的情况；缺点：dex合并内存消耗在vm heap上，容易OOM，最后导致dex合并失败。我们能清晰的看到两个方案的缺点都很明显。这里对tinker方案dex merge缺陷进行简单说明一下： dex merge操作是在java层面进行，所有对象的分配都是在java heap上，如果此时进程申请的java heap对象超过了vm heap规定的大小，那么进程发生OOM，那么系统memory killer可能会杀掉该进程，导致dex合成失败。另外一方面我们知道jni层面C++ new/malloc申请的内存，分配在native heap， native heap的增长并不受vm heap大小的限制，只受限于RAM，如果RAM不足那么进程也会被杀死导致闪退。所以如果只是从dex merge方面思考，在jni层面进行dex merge，从而可以避免OOM提高dex合并的成功率。理论上当然可以，只是jni层实现起来比较复杂而已。文章的开头我们说过，我们的需求是冷启动模式是热部署模式的补充兜底方案，所以这两个方案使用的应该是同一套补丁，另外一个方面跟代码修复热部署方案一样，我们追求的是不侵入打包。上述两种方案都需要侵入应用打包过程，同时补丁的结构也不一样，这两套方案对我们来说都是不适用。所以我们需要另辟蹊径冷启动修复，寻求一种既能无侵入打包又能做热部署模式下兜底补充的解决方案，下面将对Dalvik虚拟机和Art虚拟机的冷启动方案分别进行介绍。 Dalvik下冷启动实现插桩实现的前因后果众所周知，如果仅仅把补丁类打入补丁包中而不做任何处理的话，那么运行时类加载的时候就会异常退出，接下来先来看下抛这个异常的前因后果。加载一个dex文件到本地内存的时候，如果不存在odex文件，那么首先会执行dexopt， dexopt的入口在davilk/opt/OptMain.cpp的main方法，最后调用到verifyAndOptimizeClass执行真正的verify/optimize操作。 apk第一次安装的时候，会对原dex执行dexopt，此时假如apk只存在一个dex，所以dvmVerifyClass(clazz)结果为true。所以apk中所有的类都会被打上CLASS_ISPREVERIFIED标志，接下来执行dvmOptimizeClass，类接着被打上CLASS_ISOPTIMIZED标志。 dvmVerifyClass：类校验，类校验的目的简单来说就是为了防止类被篡改校验类的合法性。此时会对类的每个方法进行校验，这里我们只需要知道如果类的所有方法中直接引用到的类（第一层级关系，不会进行递归搜索）和当前类都在同一个dex中的话， dvmVerifyClass就返回true。 dvmOptimizeClass：类优化，简单来说这个过程会把部分指令优化成虚拟机内部指令，比如方法调用指令： invoke-指令变成了invoke--quick， quick指令会从类的vtable表中直接取， vtable简单来说就是类的所有方法的一张大表（包括继承自父类的方法）。因此加快了方法的执行速率。现在假如A类是补丁类，所以补丁A类在单独的dex中。类B中的某个方法引用到补丁类A，所以执行到该方法会尝试解析类A。上面的代码很容易看出来，类B由于被打上了CLASS_ISPREVERIFIED标志，接下来referrer是类B， resClassCheck是补丁类A，他们属于不同的dex，所以dvmThrowIllegalAccessError。为了解决这个问题，一个单独无关帮助类放到一个单独的dex中，原dex中所有类的构造函数都引用这个类，一般的实现方法都是侵入dex打包流程，利用.class字节码修改技术，在所有.class文件的构造函数中引用这个帮助类，插桩由此而来。根据前面的介绍， dexopt过程中dvmVerifyClass类校验返回false，原dex中所有的类都没有CLASS_ISPREVERIFIED标志，因此解决运行时这个异常。但是插桩是会给类加载效率带来比较严重的影响的。熟悉Dalvik虚拟机的同学知道，一个类的加载通常有三个阶段， dvmResolveClass->dvmLinkClass->dvmInitClass，这个三个阶段不一一详细进行说明。 dvmInitClass阶段在类解析完毕尝试初始化类的时候执行，这个方法主要完成父类的初始化，当前类的初始化， static变量的初始化赋值等等操作。可以看到除了上面说的类初始化之外，如果类没被打上CLASS_ISPREVERIFIED/CLASS_ISOPTIMIZED标志，那么类的Verify和Optimize都将在类的初始化阶段进行。正常情况下类的Verify和Optimize都仅仅只是在apk第一次安装执行dexopt的时候进行，类的Verify实际上是很重的，因为会对类的所有方法中的所有指令都进行校验，单个类加载来看类Verify并不耗时，但是如果同一时间点加载大量类的情况下，这个耗时就会被放大。所以这也是插桩给类的加载效率带来比较大影响的后果，接下来来看下具体会给类加载带来多大的影响。插桩导致类加载性能影响上一小节的介绍，我们知道若采用插桩导致所有类都非preverify，这导致verify与optimize操作会在加载类时触发。这就会导致类加载有一定的性能损耗，微信做过一次测试，分别采用优化和不优化两种方式做过两种测试，分别采用插桩与不插桩两种方式进行两种测试，一是连续加载700个50行左右的类，一是统计应用启动完成的整个耗时。平均每个类verify+optimize（跟类的大小有关系）的耗时并不长，而且这个耗时每个类只有一次（类只会加载一次）。但由于应用刚启动时这种场景下一般会同时加载大量的类，在这个情况影响还是比较大的，启动的时候就容易白屏，这点是没法容忍的。另辟蹊径解决方案方案1 强制绕过类Verify阶段强制hook Dalvik虚拟机的dvmVerifyClass函数，让其直接返回true，从而绕过加载的时候不必要的校验机制，从而达到加快应用的启动速度的目的。实际上集团安全部已经有这样的方案。具体参考： dalvikUpSpeed技术介绍--加快android移动端低端机的启动性能但是这种方案也存在明显的缺陷：此时native hook的是一个涉及dalvik基础功能同时调用很频繁的方法，无疑可能存在比较大的风险。另外一方面这个还是需要插桩的，需要侵入打包流程，打包时修改.class字节码文件，由于我们热修复的基调是完全不侵入打包流程，所以需要寻求另外一种更优雅的解决方案。方案2 优雅实现避免插桩手Q热补丁轻量级方案给了我们实现的思路，简单来讲：怎么让dvmDexGetResolvedClass返回的结果不为null，只要调用过一次dvmDexSetResolvedClass（pDvmDex, classIdx, resClass）；就行了，举个例子简单说明下。我们此时需要patch的类是类A，所以类A被打入到一个独立的补丁dex中。那么执行到类B的test方法时，执行到A.a()这行代码时就会尝试去解析类A，此时dvmResolveClass(const ClassObject* referrer, u4 classIdx, bool fromUnverifiedConstant) referrer：实际上就是类B classIdx：类A在原dex文件结构类区中的索引id fromUnverifiedConstant：是否const-class/instance-of指令此时是调用的是A的静态a方法， invoke-static指令不属于const-class/instance-of这两个指令中的一个。不做任何处理的话， dvmDexGetResolvedClass一开始是null的。然后A是从补丁dex中解析加载， B是在原Dex中， A在补丁dex中，所以B->pDvmDex != A->pDvmDex，接下来执行到dvmThrowIllegalAccessError从而导致运行时异常。所以我们要做的是，必须要在一开始的时候，就把补丁A类添加到原来dex(pDvmDex)的pResClasses数组中。这样就确保了执行B类test方法的时候， dvmDexGetResolvedClass不为null，就不会执行后面类A和类B的dex一致性校验了。具体实现，首先我们通过补丁工具反编译dex为smali文件拿到： preResolveClz：需要patch的类A的描述符，非必须，为了调试方便加上该参数而已. --> Lcom/taobao/patch/demo/A； refererClz：需要patch的类A所在的dex的任何一个类描述符，注意这里不限定必须是引用补丁类A的某个类，实际上只要同一个dex中的任何一个类都可以。所以我们直接拿原dex中的第一个类即可. --> Landroid/support/annotation/AnimRes； classIdx：需要patch的类A在原来dex文件中的类索引id. --> 2425 然后通过dlopen拿到libdvm.so库的句柄，然后通过dlsym拿到该so库的dvmResolveClass/dvmFindLoadedClass函数指针。首先需要预加载引用类->android/support/annotation/AnimRes，这样dvmFindLoadedClass("android/support/annotation/AnimRes")才不为null， dvmFindLoadedClass执行结果得到的ClassObject做为第一个参数执行dvmResolveClass(AnimRes, 2425, true)即可。简单看下JNI层代码部分实现。实际上可以看到preResolveClz参数是非必须的。完美解决。这个思路与前面方案一的native hook方式不同，不会去hook某个系统方法，而是从native层直接调用，同时更不需要插桩。具体实现需要注意以下三点： dvmResolveClass的第三个参数fromUnverifiedConstant必须为true。 apk多dex情况下，dvmResolveClass第一个参数referrer类必须跟需要patch的类在同一个dex，但是他们两个类不需要存在任何引用关系，任何一个在同一个dex中的类作为referrer都可以。 referrer类必须提前加载。 Art下冷启动实现前面说过补丁热部署模式下是一个完整的类，补丁的粒度是类。现在我们的需求是补丁既能走热部署模式也能走冷启动模式，为了减少补丁包的大小，并没有为热部署和冷启动分别准备一套补丁，而是同一个热部署模式下的补丁能够降级直接走冷启动，所以我们不需要做dex merge。但是前面我们知道为了解决Art下类地址写死的问题， tinker通过dex merge成一个全新完整的新dex整个替换掉旧的dexElements数组。事实上我们并不需要这样做， Art虚拟机下面默认已经支持多dex压缩文件的加载了。我们分别来看下Dalvik下和Art下对DexFile.loadDex尝试把一个dex文件解析加载到native内存都发生了什么，实际上都是调用了DexFile.openDexFileNative这个native方法。看下Native层对应的c/c++代码具体实现。 Dalvik虚拟机下面： static const char* kDexInJarName = "classes.dex"；很明显Dalvik尝试加载一个压缩文件的时候只会去把classes.dex加载到内存中... 如果此时压缩文件中有多dex，那么除了classes.dex之外的其它dex被直接忽略掉。 Art虚拟机下面：方法调用链DexFile_openDexFileNative-> OpenDexFilesFromOat -> LoadDexFiles 上面代码我们大概可以看出来Art下面默认已经支持加载压缩文件中包含多个dex，首先肯定优先加载primary dex其实就是classes.dex，后续会加载其它的dex，所以补丁类只需要放到classes.dex即可。后续出现在其它dex中的"补丁类"是不会被重复加载的。所以我们得到Art下最终的冷启动解决方案：我们只要把补丁dex命名为classes.dex. 原apk中的dex依次命名为classes(2,3,4...).dex就好了，然后一起打包为一个压缩文件，然后DexFile.loadDex得到DexFile对象，最后把该DexFile对象整个替换旧的dexElements数组就可以了。一张图来看下我们的方案和方案二的不同：需要注意一点：补丁dex必须命名为classes.dex loadDex得到的DexFile完整替换掉dexElements数组而不是插入不得不说的其它点我们知道DexFile.loadDex尝试把一个dex文件解析并加载到native内存，在加载到native内存之前，如果dex不存在对应的odex，那么Dalvik下会执行dexopt， Art下会执行dexoat，最后得到的都是一个优化后的odex。实际上最后虚拟机执行的是这个odex而不是dex。现在有这么一个问题，如果dex足够大那么dexopt/dexoat实际上是很耗时的，根据上面我们提到的方案， Dalvik下实际上影响比较小，因为loadDex仅仅是补丁包。但是Art下影响是非常大的，因为loadDex是补丁dex和apk中原dex合并成的一个完整补丁压缩包，所以dexoat非常耗时。所以如果优化后的odex文件没生成或者没生成一个完整的odex文件，那么loadDex便不能在应用启动的时候进行的，因为会阻塞loadDex线程，一般是主线程。所以为了解决这个问题，我们把loadDex当做一个事务来看，如果中途被打断，那么就删除odex文件，重启的时候如果发现存在odex文件， loadDex完之后，反射注入/替换dexElements数组，实现patch。如果不存在odex文件，那么重启另一个子线程loadDex，重启之后再生效。另外一方面为了patch补丁的安全性，虽然对补丁包进行签名校验，这个时候能够防止整个补丁包被篡改，但是实际上因为虚拟机执行的是odex而不是dex，还需要对odex文件进行md5完整性校验，如果匹配，则直接加载。不匹配，则重新生成一遍odex文件，防止odex文件被篡改。小结代码修复冷启动方案由于它的高兼容性，几乎可以修复任何代码修复的场景，但是注入前被加载的类（比如：Application类）肯定是不能被修复的。所以我们把它作为一个兜底的方案，在没法走热部署或者热部署失败的情况，最后都会走代码冷启动重启生效，所以我们的补丁是同一套的。具体实施方案对Dalvik下和Art下分别做了处理： Dalvik下通过巧妙的方式避免插桩，没有带来任何类加载效率的影响。 Art下本质上虚拟机已经支持多dex的加载，我们要做的仅仅是把补丁dex作为主dex(classes.dex)加载而已。 0
举报淘帖0 只看该作者相关推荐 • RT-Thread Studio修复Renes其他芯片无法使用RA Configure Settings的问题 390 • 修复站点升级部分rt-thread settings打不开的问题 1111 • 启动GPIF机器如何修复错误？ 1266 • Android热修复技术选型 2178 • 【原创】Dex分包架构设计—实现安卓热修复 3058 • [资料分享]+Android软件安全审计及漏洞修复经验谈 3942 • grub2几种修复方法 4529 • 美国电瓶修复技术最新款电瓶修复 4265 • 电池修复蓄电池修复设备技术 4394 • dos命令修复硬盘 6942 1条评论发表评论只看该作者