[讨论]

鸿蒙内核源码分析(内存管理篇)：虚拟内存和物理内存是怎么管理的

2020-11-20 16:48:03 2981 鸿蒙系统

1 有了上篇鸿蒙内核源码分析(内存概念篇)的基础，本篇讲内存管理部分，本章源码超级多，很烧脑，但笔者关键处都加了注释。废话不多说，开始吧。初始化整个内存从main()跟踪可看内存部分初始化是在OsSysMemInit()中完成的 //kyf 内存初始化工作 UINT32 OsSysMemInit(VOID) { STATUS_T ret; OsKSpaceInit();//kyf 内核空间初始化 ret = OsKHeapInit(OS_KHEAP_BLOCK_SIZE);//kyf 内核动态内存初始化 512K if (ret != LOS_OK) { VM_ERR("OsKHeapInit fail"); return LOS_NOK; } OsVmPageStartup();//kyf page初始化 OsInitMappingStartUp();//kyf 映射初始化 ret = ShmInit();//kyf 共享内存初始化 if (ret < 0) { VM_ERR("ShmInit fail"); return LOS_NOK; } return LOS_OK; } 复制代码鸿蒙内存的布局 extern CHAR __int_stack_start; //kyf OS_SYS_FUNC_ADDR_START 开机第一条指令地址 extern CHAR __rodata_start; //kyf ROM开始地址只读 extern CHAR __rodata_end; //kyf ROM结束地址 extern CHAR __bss_start; //kyf bss开始地址 extern CHAR __bss_end; //kyf bss结束地址 extern CHAR __text_start; //kyf 代码区开始地址 extern CHAR __text_end; //kyf 代码区结束地址 extern CHAR __ram_data_start; //kyf RAM开始地址可读可写 extern CHAR __ram_data_end; //kyf RAM结束地址 extern UINT32 __heap_start; //kyf 堆区开始地址 extern UINT32 __heap_end; //kyf 堆区结束地址复制代码* 内存一开始就是一张白纸，这些extern就是给它画大界线的，从哪到哪是属于什么段。这些值大小取决实际项目内存条的大小，不同的内存条，地址肯定会不一样，所以必须由外部提供，鸿蒙内核采用了Linux的段管理方式。上图是Linux的内存布局图，鸿蒙的没看到，但应该也是这样，笔者后续将再确认(?)，有代码中有迹可循，如下： //堆区的开始位置是 bss的结束位置 UINTPTR g_vmBootMemBase = (UINTPTR)&__bss_end; //kyf 代码中可验证和Linux内存布局是一样的地方复制代码* 和Linux内存布局是一样的地方结合上图对比以下的解释自行理解下位置。 BSS段（bss segment）通常是指用来存放程序中未初始化的全局变量的一块内存区域。BSS是英文Block Started by Symbol的简称。BSS段属于静态内存分配。该段用于存储未初始化的全局变量或者是默认初始化为0的全局变量，它不占用程序文件的大小，但是占用程序运行时的内存空间。 data段该段用于存储初始化的全局变量，初始化为0的全局变量出于编译优化的策略还是被保存在BSS段。细心的读者可能发现了，鸿蒙内核几乎所有的全局变量都没有赋初始化值或NULL，这些变量经过编译后是放在了BSS段的，运行时占用内存空间，如此编译出来的ELF包就变小了。 .rodata段,该段也叫常量区，用于存放常量数据，ro就是Read Only之意。 text段是用于存放程序代码的，编译时确定,只读。更进一步讲是存放处理器的机器指令，当各个源文件单独编译之后生成目标文件，经连接器链接各个目标文件并解决各个源文件之间函数的引用，与此同时，还得将所有目标文件中的.text段合在一起。 stack栈段，是由系统负责申请释放，用于存储参数变量及局部变量以及函数的执行。 heap段它由用户申请和释放，申请时至少分配虚存，当真正存储数据时才分配相应的实存，释放时也并非立即释放实存，而是可能被重复利用。内核空间是怎么初始化的？ LosMux g_vmSpaceListMux;//kyf 互斥，共享内存部分 LOS_DL_LIST_HEAD(g_vmSpaceList);//kyf 虚拟内存空间头结点 LosVmSpace g_kVmSpace;//kyf 内核空间 LosVmSpace g_vMallocSpace; //kyf 内核堆空间 VOID OsKSpaceInit(VOID) { OsVmMapInit();//kyf 初始化虚拟内存互斥量, 个人认为这个函数名取的有点瑕疵... OsKernVmSpaceInit(&g_kVmSpace, OsGFirstTableGet());//kyf 初始化内核vm OsVMallocSpaceInit(&g_vMallocSpace, OsGFirstTableGet());//kyf 初始化堆区vm ,用户动态分配 } //内核动态内存 size = 512K STATUS_T OsKHeapInit(size_t size) { STATUS_T ret; VOID ptr = NULL; /* * roundup to MB aligned in order to set kernel attributes. kernel text/code/data attributes * should page mapping, remaining region should section mapping. so the boundary should be * MB aligned. / UINTPTR end = ROUNDUP(g_vmBootMemBase + size, MB); size = end - g_vmBootMemBase; ptr = OsVmBootMemAlloc(size); if (!ptr) { PRINT_ERR("vmm_kheap_init boot_alloc_mem faiLED! %dn", size); return -1; } m_aucSysMem0 = m_aucSysMem1 = ptr; ret = LOS_MemInit(m_aucSysMem0, size); if (ret != LOS_OK) { PRINT_ERR("vmm_kheap_init LOS_MemInit failed!n"); g_vmBootMemBase -= size; return ret; } LOS_MemExpandEnable(OS_SYS_MEM_ADDR); return LOS_OK; } 复制代码* Page是如何初始化的？ page是映射的最小单位，是物理地址<--->虚拟地址映射的数据结构的基础 VOID OsVmPageStartup(VOID) { struct VmPhysSeg seg = NULL; LosVmPage page = NULL; paddr_t pa; UINT32 nPage; INT32 segID; OsVmPhysAreaSizeAdjust(ROUNDUP((g_vmBootMemBase - KERNEL_ASPACE_BASE), PAGE_SIZE));//kfy 物理内存全部切成4K的物理页，用g_physArea保存 nPage = OsVmPhysPageNumGet(); g_vmPageArraySize = nPage sizeof(LosVmPage); g_vmPageArray = (LosVmPage )OsVmBootMemAlloc(g_vmPageArraySize); OsVmPhysAreaSizeAdjust(ROUNDUP(g_vmPageArraySize, PAGE_SIZE));//kyf 每个页头统一存放LosVmPage,这段代码很妙 OsVmPhysSegAdd();//kyf 段页绑定 OsVmPhysInit();//kyf 加入空闲链表和设置置换算法 LRU(最近最久未使用)算法 for (segID = 0; segID < g_vmPhysSegNum; segID++) { seg = &g_vmPhysSeg[segID]; nPage = seg->size >> PAGE_SHIFT; for (page = seg->pageBase, pa = seg->start; page <= seg->pageBase + nPage; page++, pa += PAGE_SIZE) { OsVmPageInit(page, pa, segID);//kfy page初始化 } OsVmPageOrderListInit(seg->pageBase, nPage);//kyf 页面回收后的排序 } } 复制代码进程是如何申请内存的？进程的主体是来自进程池，进程池是统一分配的，怎么创建进程池的去翻系列篇里的文章，所以创建一个进程的时候只需要分配虚拟内存LosVmSpace，这里要分内核模式和用户模式下的申请。 //初始化进程的用户空间或内核空间 STATIC UINT32 OsInitPCB(LosProcessCB processCB, UINT32 mode, UINT16 priority, UINT16 policy, const CHAR name) { if (OsProcessIsUserMode(processCB)) {//kyf 用户态进程分配用户空间 space = LOS_MemAlloc(m_aucSysMem0, sizeof(LosVmSpace)); if (space == NULL) { PRINT_ERR("%s %d, alloc space failedn", __FUNCTION__, __LINE__); return LOS_ENOMEM; } VADDR_T ttb = LOS_PhysPagesAllocContiguous(1); if (ttb == NULL) { PRINT_ERR("%s %d, alloc ttb or space failedn", __FUNCTION__, __LINE__); (VOID)LOS_MemFree(m_aucSysMem0, space); return LOS_ENOMEM; } (VOID)memset_s(ttb, PAGE_SIZE, 0, PAGE_SIZE); retVal = OsUserVmSpaceInit(space, ttb); vmPage = OsVmVaddrToPage(ttb); if ((retVal == FALSE) \|\| (vmPage == NULL)) { PRINT_ERR("create space failed! ret: %d, vmPage: %#xn", retVal, vmPage); processCB->processStatus = OS_PROCESS_FLAG_UNUSED; (VOID)LOS_MemFree(m_aucSysMem0, space); LOS_PhysPagesFreeContiguous(ttb, 1); return LOS_EAGAIN; } processCB->vmSpace = space; LOS_ListAdd(&processCB->vmSpace->archMmu.ptList, &(vmPage->node)); } else { //kfy 用户态进程分配用户空间 processCB->vmSpace = LOS_GetKVmSpace(); } } LosVmSpace LOS_GetKVmSpace(VOID) { return &g_kVmSpace; } 复制代码从代码可以看出，内核空间固定只有一个g_kVmSpace，而每个用户进程的虚拟内存空间都是独立的。请细品！ task是如何申请内存的？ task的主体是来自进程池，task池是统一分配的，怎么创建task池的去翻系列篇里的文章。这里task只需要申请stack空间，还是直接上看源码吧，这里用OsUserInitProcess函数看应用程序的main() 是如何被内核创建任务和运行的。 LITE_OS_SEC_TEXT_INIT UINT32 OsUserInitProcess(VOID) { INT32 ret; UINT32 size; TSK_INIT_PARAM_S param = { 0 }; VOID stack = NULL; VOID userText = NULL; CHAR userInitTextStart = (CHAR )&__user_init_entry;//kfy 代码区开始位置 CHAR userInitBssStart = (CHAR )&__user_init_bss;//kyf 未初始化数据区（BSS）。在运行时改变其值 CHAR userInitEnd = (CHAR )&__user_init_end;//kyf 结束地址 UINT32 initBssSize = userInitEnd - userInitBssStart; UINT32 initSize = userInitEnd - userInitTextStart; LosProcessCB processCB = OS_PCB_FROM_PID(g_userInitProcess); ret = OsProcessCreateInit(processCB, OS_USER_MODE, "Init", OS_PROCESS_USERINIT_PRIORITY);//kyf 初始化用户进程,它将是所有应用程序的父进程 if (ret != LOS_OK) { return ret; } userText = LOS_PhysPagesAllocContiguous(initSize >> PAGE_SHIFT);//kyf 分配连续的物理页 if (userText == NULL) { ret = LOS_NOK; goto ERROR; } (VOID)memcpy_s(userText, initSize, (VOID )&__user_init_load_addr, initSize);//kyf 安全copy 经加载器load的结果 __user_init_load_addr -> userText ret = LOS_VaddrToPaddrMmap(processCB->vmSpace, (VADDR_T)(UINTPTR)userInitTextStart, LOS_PaddrQuery(userText), initSize, VM_MAP_REGION_FLAG_PERM_READ \| VM_MAP_REGION_FLAG_PERM_WRITE \| VM_MAP_REGION_FLAG_PERM_EXECUTE \| VM_MAP_REGION_FLAG_PERM_USER);//kyf 虚拟地址与物理地址的映射 if (ret < 0) { goto ERROR; } (VOID)memset_s((VOID )((UINTPTR)userText + userInitBssStart - userInitTextStart), initBssSize, 0, initBssSize);//kyf 除了代码段，其余都清0 stack = OsUserInitStackAlloc(g_userInitProcess, &size);//kyf 初始化堆栈区 if (stack == NULL) { PRINTK("user init process malloc user stack failed!n"); ret = LOS_NOK; goto ERROR; } param.pfnTaskEntry = (TSK_ENTRY_FUNC)userInitTextStart;//kyf 从代码区开始执行，也就是应用程序main 函数的位置 param.userParam.userSP = (UINTPTR)stack + size;//kyf 指向栈顶 param.userParam.userMapBase = (UINTPTR)stack;//kyf 栈底 param.userParam.userMapSize = size;//kyf 栈大小 param.uwResved = OS_TASK_FLAG_PTHREAD_JOIN;//kyf 可结合的（joinable）能够被其他线程收回其资源和杀死 ret = OsUserInitProcessStart(g_userInitProcess, ¶m);//kyf 创建一个任务，来运行main函数 if (ret != LOS_OK) { (VOID)OsUnMMap(processCB->vmSpace, param.userParam.userMapBase, param.userParam.userMapSize); goto ERROR; } return LOS_OK; ERROR: (VOID)LOS_PhysPagesFreeContiguous(userText, initSize >> PAGE_SHIFT); OsDeInitPCB(processCB); return ret; } 复制代码所有的用户进程都是通过init进程 fork来的，可以看到创建进程的同时创建了一个task, 入口函数就是代码区的第一条指令,也就是应用程序 main函数。这里再说下stack的大小，不同空间下的task栈空间是不一样的，鸿蒙内核中有三种栈空间size,如下 #define LOSCFG_BASE_CORE_TSK_IDLE_STACK_SIZE SIZE(0x800)//kyf 内核进程，运行在内核空间2K #define OS_USER_TASK_SYSCALL_SATCK_SIZE 0x3000 //kyf 用户进程，通过系统调用创建的task运行在内核空间的 12K #define OS_USER_TASK_STACK_SIZE 0x100000//kyf 用户进程运行在用户空间的1M 复制代码* 1
2020-11-20 16:48:03　　评论淘帖0 举报相关推荐 • 鸿蒙内核源码分析(内存管理篇)：虚拟内存和物理内存是怎么管理的 2439 • 鸿蒙内核源码分析：虚拟内存和物理内存是怎么管理的 19 • 鸿蒙内核源码分析：手眼通天的虚拟内存 11 • 鸿蒙内核源码分析(内存概念篇) ：手眼通天的虚拟内存 2303 • 鸿蒙内核源码分析(内存概念篇) ：手眼通天的虚拟内存 2796 • 【HarmonyOS】鸿蒙内核源码分析(内存管理篇) 2255 • 物理内存和虚拟内存之间的转换 1257 • Linux虚拟内存和物理内存的深刻分析 1716 • Linux虚拟内存和物理内存的深刻分析 4399 • 鸿蒙内核源码分析：内存管理在管什么? 3823 1 个讨论