嵌入式Linux内核移植相关代码分析

本文通过整理之前研发的一个项目(ARM7TDMI +uCLinux)，分析内核启动过程及需要修改的文件，以供内核移植者参考。整理过程中也同时参考了众多网友的帖子，在此谢过。由于整理过程匆忙，难免错误及讲解的不够清楚之处，请各位网友指正，这里提前谢过。本文分以下部分进行介绍：
1. Bootloader及内核解压
2. 内核启动方式介绍
3. 内核启动地址的确定
4. arch/armnommu/kernel/head-armv.S分析
5. start_kernel()函数分析

1. Bootloader及内核解压
Bootloader将内核加载到内存中，设定一些寄存器，然后将控制权交由内核，该过程中，关闭MMU功能。通常，内核都是以压缩的方式存放，如zImage，这里有两种解压方法：
使用内核自解压程序。
arch/arm/boot/compressed/head.S或arch/arm/boot/compressed/head-xxxxx.S
arch/arm/boot/compressed/misc.c
在Bootloader中增加解压功能。
使用该方法时内核不需要带有自解压功能，而使用Bootloader中的解压程序代替内核自解压程序。其工作过程与内核自解压过程相似：Bootloader把压缩方式的内核解压到内存中，然后跳转到内核入口处开始执行。

2. 几种内核启动方式介绍
XIP (EXECUTE IN PLACE) 是指直接从存放代码的位置上启动运行。
2.1 非压缩，非XIP
非XIP方式是指在运行之前需对代码进行重定位。该类型的内核以非压缩方式存放在Flash中，启动时由Bootloader加载到内存后运行。
2.2 非压缩，XIP
该类型的内核以非压缩格式存放在ROM/Flash中，不需要加载到内存就能运行，Bootloader直接跳转到其存放地址执行。Data段复制和BSS段清零的工作由内核自己完成。这种启动方式常用于内存空间有限的系统中，另外，程序在ROM/Flash中运行的速度相对较慢。
2.3 RAM自解压
压缩格式的内核由开头一段自解压代码和压缩内核数据组成，由于以压缩格式存放，内核只能以非XIP方式运行。RAM自解压过程如下：压缩内核存放于ROM/Flash中，Bootloader启动后加载到内存中的临时空间，然后跳转到压缩内核入口地址执行自解压代码，内核被解压到最终的目的地址然后运行。压缩内核所占据的临时空间随后被Linux回收利用。这种方式的内核在嵌入式产品中较为常见。
2.4 ROM自解压
解压缩代码也能够以XIP的方式在ROM/Flash中运行。ROM自解压过程如下：压缩内核存放在ROM/Flash中，不需要加载到内存就能运行，Bootloader直接跳转到其存放地址执行其自解压代码，将压缩内核解压到最终的目的地址并运行。ROM自解压方式存放的内核解压缩速度慢，而且也不能节省内存空间。

3. 内核启动地址的确定
内核自解压方式
Head.S/head-XXX.S获得内核解压后首地址ZREALADDR，然后解压内核，并把解压后的内核放在ZREALADDR的位置上，最后跳转到ZREALADDR地址上，开始真正的内核启动。

arch/armnommu/boot/Makefile，定义ZRELADDR和ZTEXTADDR。ZTEXTADDR是自解压代码的起始地址，如果从内存启动内核，设置为0即可，如果从Rom/Flash启动，则设置ZTEXTADDR为相应的值。ZRELADDR是内核解压缩后的执行地址。
arch/armnommu/boot/compressed/vmlinux.ld,引用LOAD_ADDR和TEXT_START。
arch/armnommu/boot/compressed/Makefile, 通过如下一行：
SEDFLAGS = s/TEXT_START/$(ZTEXTADDR)/;s/LOAD_ADDR/$(ZRELADDR)/;
使得TEXT_START = ZTEXTADDR，LOAD_ADDR = ZRELADDR。

说明：
执行完decompress_kernel函数后,代码跳回head.S/head-XXX.S中,检查解压缩之后的kernel起始地址是否紧挨着kernel image。如果是,beqcall_kernel,执行解压后的kernel。如果解压缩之后的kernel起始地址不是紧挨着kernelimage,则执行relocate,将其拷贝到紧接着kernel image的地方,然后跳转,执行解压后的kernel。

Bootloader解压方式
Bootloader把解压后的内核放在内存的TEXTADDR位置上，然后跳转到TEXTADDR位置上，开始内核启动。
arch/armnommu/Makefile，一般设置TEXTADDR为PAGE_OFF+0x8000，如定义为0x00008000, 0xC0008000等。
arch/armnommu/vmlinux.lds，引用TEXTADDR

4. arch/armnommu/kernel/head-armv.S
该文件是内核最先执行的一个文件，包括内核入口ENTRY(stext)到start_kernel间的初始化代码，主要作用是检查CPUID，Architecture Type，初始化BSS等操作，并跳到start_kernel函数。在执行前，处理器应满足以下状态：
r0 - should be 0
r1 - unique architecture number
MMU - off
I-cache - on or off
D-cache – off

/* 部分源代码分析 */
/* 内核入口点 */
ENTRY(stext)
/* 程序状态，禁止FIQ、IRQ，设定SVC模式 */
mov r0, #F_BIT | I_BIT | MODE_SVC@ make sure svc mode
/* 置当前程序状态寄存器 */
msr cpsr_c, r0 @ and all irqs disabled
/* 判断CPU类型，查找运行的CPU ID值与Linux编译支持的ID值是否支持 */
bl __lookup_processor_type
/* 跳到__error */
teq r10, #0 @ invalid processor?
moveq r0, #'p' @ yes, error 'p'
beq __error
/* 判断体系类型，查看R1寄存器的Architecture Type值是否支持 */
bl __lookup_architecture_type
/* 不支持，跳到出错 */
teq r7, #0 @ invalid architecture?
moveq r0, #'a' @ yes, error 'a'
beq __error
/* 创建核心页表 */
bl __create_page_tables
adr lr, __ret @ return address
add pc, r10, #12 @ initialise processor
/* 跳转到start_kernel函数 */
b start_kernel

__lookup_processor_type这个函数根据芯片的ID从proc.info获取proc_info_list结构，proc_info_list结构定义在include/asm-armnommu/proginfo.h中，该结构的数据定义在arch/armnommu/mm/proc-arm*.S文件中，ARM7TDMI系列芯片的proc_info_list数据定义在arch/armnommu/mm/proc-arm6,7.S文件中。函数__lookup_architecture_type从arch.info获取machine_desc结构，machine_desc结构定义在include/asm-armnommu/mach/arch.h中，针对不同arch的数据定义在arch/armnommu/mach-*/arch.c文件中。
在这里如果知道processor_type和architecture_type,可以直接对相应寄存器进行赋值。

5. start_kernel()函数分析
下面对start_kernel()函数及其相关函数进行分析。
5.1 lock_kernel()
/* Getting the big kernel lock.
* This cannot happen asynchronously,
* so we only need to worry about other
* CPU's.
*/
extern __inline__ void lock_kernel(void)
{
if (!++current->lock_depth)
spin_lock(kernel_flag);
}
kernel_flag是一个内核大自旋锁，所有进程都通过这个大锁来实现向内核态的迁移。只有获得这个大自旋锁的处理器可以进入内核，如中断处理程序等。在任何一对lock_kernel／unlock_kernel函数里至多可以有一个程序占用CPU。进程的lock_depth成员初始化为-1，在kerenl/fork.c文件中设置。在它小于0时（恒为-1），进程不拥有内核锁；当大于或等于0时，进程得到内核锁。

5.2 setup_arch()
setup_arch()函数做体系相关的初始化工作，函数的定义在arch/armnommu/kernel/setup.c文件中，主要涉及下列主要函数及代码。
5.2.1 setup_processor()
该函数主要通过
for (list = __proc_info_begin; list __proc_info_end ; list++)
if ((processor_id list->cpu_mask) == list->cpu_val)
break;
这样一个循环来在.proc.info段中寻找匹配的processor_id，processor_id在head_armv.S文件
中设置。

5.2.2 setup_architecture(machine_arch_type)
该函数获得体系结构的信息，返回mach-xxx/arch.c 文件中定义的machine结构体的指针，包含以下内容：
MACHINE_START (xxx, “xxx”)
MAINTAINER (xxx)
BOOT_MEM (xxx, xxx, xxx)
FIXUP (xxx)
MAPIO (xxx)
INITIRQ (xxx)
MACHINE_END

5.2.3内存设置代码
if (meminfo.nr_banks == 0)
{
meminfo.nr_banks = 1;
meminfo.bank[0].start = PHYS_OFFSET;
meminfo.bank[0].size = MEM_SIZE;
}
meminfo结构表明内存情况，是对物理内存结构meminfo的默认初始化。nr_banks指定内存块的数量，bank指定每块内存的范围，PHYS_OFFSET指定某块内存块的开始地址，MEM_SIZE指定某块内存块长度。PHYS_OFFSET和MEM_SIZE都定义在include/asm-armnommu/arch-XXX/memory.h文件中，其中PHYS_OFFSET是内存的开始地址，MEM_SIZE就是内存的结束地址。这个结构在接下来内存的初始化代码中起重要作用。

5.2.4 内核内存空间管理
init_mm.start_code = (unsigned long) _text; 内核代码段开始
init_mm.end_code = (unsigned long) _etext; 内核代码段结束
init_mm.end_data = (unsigned long) _edata; 内核数据段开始
init_mm.brk = (unsigned long) _end; 内核数据段结束

每一个任务都有一个mm_struct结构管理其内存空间，init_mm 是内核的mm_struct。其中设置成员变量* mmap指向自己， 意味着内核只有一个内存管理结构，设置 pgd=swapper_pg_dir，
swapper_pg_dir是内核的页目录，ARM体系结构的内核页目录大小定义为16k。init_mm定义了整个内核的内存空间，内核线程属于内核代码，同样使用内核空间，其访问内存空间的权限与内核一样。

5.2.5 内存结构初始化
bootmem_init(meminfo)函数根据meminfo进行内存结构初始化。bootmem_init(meminfo)函数中调用reserve_node_zero(bootmap_pfn, bootmap_pages)函数，这个函数的作用是保留一部分内存使之不能被动态分配。这些内存块包括：
reserve_bootmem_node(pgdat, __pa(_stext), _end - _stext); /*内核所占用地址空间*/
reserve_bootmem_node(pgdat, bootmap_pfn/*bootmem结构所占用地址空间*/

5.2.6 paging_init(meminfo, mdesc)
创建内核页表，映射所有物理内存和IO空间，对于不同的处理器，该函数差别比较大。下面简单描述一下ARM体系结构的存储系统及MMU相关的概念。
在ARM存储系统中，使用内存管理单元(MMU)实现虚拟地址到实际物理地址的映射。利用MMU，可把SDRAM的地址完全映射到0x0起始的一片连续地址空间，而把原来占据这片空间的FLASH或者ROM映射到其他不相冲突的存储空间位置。例如，FLASH的地址从0x00000000～0x00FFFFFF，而SDRAM的地址范围是0x3000 0000～0x3lFFFFFF，则可把SDRAM地址映射为0x00000000～0xlFFFFFF，而FLASH的地址可以映射到0x90000000～0x90FFFFFF(此处地址空间为空闲，未被占用)。映射完成后，如果处理器发生异常，假设依然为IRQ中断，PC指针指向0xl8处的地址，而这个时候PC实际上是从位于物理地址的0x30000018处读取指令。通过MMU的映射，则可实现程序完全运行在SDRAM之中。在实际的应用中．可能会把两片不连续的物理地址空间分配给SDRAM。而在操作系统中，习惯于把SDRAM的空间连续起来，方便内存管理，且应用程序申请大块的内存时，操作系统内核也可方便地分配。通过MMU可实现不连续的物理地址空间映射为连续的虚拟地址空间。操作系统内核或者一些比较关键的代码，一般是不希望被用户应用程序访问。通过MMU可以控制地址空间的访问权限，从而保护这些代码不被破坏。
MMU的实现过程，实际上就是一个查表映射的过程。建立页表是实现MMU功能不可缺少的一步。页表位于系统的内存中，页表的每一项对应于一个虚拟地址到物理地址的映射。每一项的长度即是一个字的长度(在ARM中，一个字的长度被定义为4Bytes)。页表项除完成虚拟地址到物理地址的映射功能之外，还定义了访问权限和缓冲特性等。
MMU的映射分为两种，一级页表的变换和二级页表变换。两者的不同之处就是实现的变换地址空间大小不同。一级页表变换支持1 M大小的存储空间的映射，而二级可以支持64 kB，4 kB和1 kB大小地址空间的映射。

动态表(页表)的大小＝表项数＊每个表项所需的位数，即为整个内存空间建立索引表时，需要多大空间存放索引表本身。
表项数＝虚拟地址空间/每页大小
每个表项所需的位数＝Log(实际页表数)+适当控制位数
实际页表数 ＝物理地址空间/每页大小



--------------------------------------------------------------------------------
Send_linux 回复于：2007-03-06 15:44:27

下面分析paging_init（）函数的代码。
在paging_init中分配起始页（即第0页）地址：
zero_page = 0xCXXXXXXX

memtable_init(mi); 如果当前微处理器带有MMU，则为系统内存创建页表；如果当前微处理器不支持MMU，比如ARM7TDMI上移植uCLinux操作系统时，则不需要此类步骤。可以通过如下一个宏定义实现灵活控制，对于带有MMU的微处理器而言，memtable_init(mi)是paging_init()中最重要的函数。
#ifndef CONFIG_UCLINUX
/* initialise the page tables. */
memtable_init(mi);
……（此处省略若干代码）
free_area_init_node(node, pgdat, 0, zone_size,
bdata->node_boot_start, zhole_size);
}
#else /* 针对不带MMU微处理器 */
{
/*****************************************************/
定义物理内存区域管理
/*****************************************************/
unsigned long zone_size[MAX_NR_ZONES] = {0,0,0};

zone_size[ZONE_DMA] = 0;
zone_size[ZONE_NORMAL] = (END_MEM - PAGE_OFFSET) >> PAGE_SHIFT;

free_area_init_node(0, NULL, NULL, zone_size, PAGE_OFFSET, NULL);
}
#endif

uCLinux与其它嵌入式Linux最大的区别就是MMU管理这一块，从上面代码就明显可以看到这点区别。下面继续讨论针对带MMU的微处理器的内存管理。
void __init memtable_init(struct meminfo *mi)
{
struct map_desc *init_maps, *p, *q;
unsigned long address = 0;
int i;
init_maps = p = alloc_bootmem_low_pages(PAGE_SIZE);
/*******************************************************/
其中map_desc定义为：
struct map_desc {
unsigned long virtual;
unsigned long physical;
unsigned long length;
int domain:4, // 页表的domain
prot_read:1, // 读保护标志
prot_write:1, // 写保护标志
cacheable:1, // 是否使用cache
bufferable:1, // 是否使用write buffer
last:1; //空
};init_maps /* map_desc是区段及其属性的定义 */

下面代码对meminfo的区段进行遍历，在嵌入式系统中列举所有可映射的内存，例如32M SDRAM, 4M FLASH等，用meminfo记录这些内存区段。同时填写init_maps 中的各项内容。meminfo结构如下：
struct meminfo {
int nr_banks;
unsigned long end;
struct {
unsigned long start;
unsigned long size;
int node;
} bank[NR_BANKS];
};
/********************************************************/

for (i = 0; i mi->nr_banks; i++)
{
if (mi->bank.size == 0)
continue;

p->physical = mi->bank.start;
p->virtual = __phys_to_virt(p->physical);
p->length = mi->bank.size;
p->domain = DOMAIN_KERNEL;
p->prot_read = 0;
p->prot_write = 1;
p->cacheable = 1; //使用Cache
p->bufferable = 1; //使用write buffer
p ++; //下一个区段
}

/* 如果系统存在FLASH,执行以下代码 */
#ifdef FLUSH_BASE
p->physical = FLUSH_BASE_PHYS;
p->virtual = FLUSH_BASE;
p->length = PGDIR_SIZE;
p->domain = DOMAIN_KERNEL;
p->prot_read = 1;
p->prot_write = 0;
p->cacheable = 1;
p->bufferable = 1;

p ++;
#endif

/***********************************************************/
接下来的代码是逐个区段建立页表
/***********************************************************/
q = init_maps;
do {
if (address q->virtual || q == p) {

/*******************************************************************************/
由于内核空间是从某个地址开始，如0xC0000000，所以0xC000 0000 以前的页表项全部清空
clear_mapping在mm-armv.c中定义，其中clear_mapping()是个宏，根据处理器的不同，可以被展开为如下代码
cpu_XXX_set_pmd(((pmd_t *)(((init_mm )->pgd+ (( virt) >> 20 )))),((pmd_t){( 0 )}));
其中init_mm为内核的mm_struct，pgd指向 swapper_pg_dir，在arch/arm/kernel/init_task.c中定义。cpu_XXX_set_pmd定义在 proc_armXXX.S文件中，参见ENTRY(cpu_XXX_set_pmd) 处代码。
/*********************************************************************************/
clear_mapping(address);

/* 每个表项增加1M */
address += PGDIR_SIZE;
} else {

/* 构建内存页表 */
create_mapping(q);

address = q->virtual + q->length;
address = (address + PGDIR_SIZE - 1) PGDIR_MASK;

q ++;
}
} while (address != 0);

/ * create_mapping函数也在mm-armv.c中定义 */
static void __init create_mapping(struct map_desc *md)
{
unsigned long virt, length;
int prot_sect, prot_pte;
long off;

/*******************************************************************************/
大部分应用中均采用1级section模式的地址映射，一个section的大小为1M，也就是说从逻辑地址到物理地址的转变是这样的一个过程：
一个32位的地址，高12位决定了该地址在页表中的index，这个index的内容决定了该逻辑section对应的物理section；低20位决定了该地址在section中的偏移（index）。例如：从0x0～0xFFFFFFFF的地址空间总共可以分成0x1000（4K）个 section（每个section大小为1M），页表中每项的大小为32个bit，因此页表的大小为0x4000（16K）。

每个页表项的内容如下:
bit: 31 20 19 12 11 10 9 8 5 4 3 2 1 0
content: Section对应的物理地址 NULL AP 0 Domain 1 C B 1 0
最低两位（10）是section分页的标识。
AP：Access Permission，区分只读、读写、SVC＆其它模式。
Domain：每个section都属于某个Domain，每个Domain的属性由寄存器控制。一般都只要包含两个Domain，一个可访问地址空间； 另一个不可访问地址空间。