1. 項(xiàng)目背景為什么嵌入式Linux離不開BusyBox1.1 從一片空白到最小可運(yùn)行系統(tǒng)剛接觸嵌入式Linux那會(huì)兒我最直觀的困惑是開發(fā)板拿到手bootloader起來(lái)了kernel也加載了但是文件系統(tǒng)掛載失敗屏幕上一行Kernel panic - not syncing: VFS: Unable to mount root fs直接把你釘在原地。這種時(shí)候你才真正意識(shí)到內(nèi)核只是操作系統(tǒng)的一半另一半是用戶空間而用戶空間最基礎(chǔ)的那一層就是根文件系統(tǒng)。構(gòu)建根文件系統(tǒng)有很多方式你可以用Buildroot一鍵生成也可以用Yocto跑一個(gè)完整發(fā)行版。但回到原點(diǎn)思考——如果讓你徒手從一個(gè)空目錄開始把/bin、/sbin、/etc、/lib這些基礎(chǔ)骨架搭起來(lái)用什么東西填充里面的命令全用GNU coreutils那光/bin和/usr/bin下的可執(zhí)行文件加起來(lái)就幾百M(fèi)B這還不算它們各自依賴的共享庫(kù)。嵌入式設(shè)備存儲(chǔ)空間按MB計(jì)算、內(nèi)存按幾十MB計(jì)算這種方案顯然不現(xiàn)實(shí)。BusyBox就是來(lái)解決這個(gè)問(wèn)題的——它把三百多個(gè)常用的Unix命令壓縮進(jìn)一個(gè)不到1MB的靜態(tài)編譯二進(jìn)制里用一套精巧的機(jī)制響應(yīng)不同命令名的調(diào)用這就是它被譽(yù)為“嵌入式Linux的瑞士軍刀”的原因。1.2 一個(gè)二進(jìn)制文件如何撐起整個(gè)用戶空間BusyBox的核心思路用一句話說(shuō)就是“多合一”。它的實(shí)現(xiàn)方式很巧妙所有命令邏輯都編譯進(jìn)同一個(gè)可執(zhí)行文件程序啟動(dòng)時(shí)通過(guò)argv[0]也就是被執(zhí)行時(shí)使用的命令名來(lái)判斷自己應(yīng)該扮演哪個(gè)角色。當(dāng)你在終端敲ls時(shí)如果/bin/ls是一個(gè)指向/bin/busybox的符號(hào)鏈接系統(tǒng)執(zhí)行的就是BusyBox二進(jìn)制而BusyBox在初始化時(shí)判斷argv[0]是ls就路由到對(duì)應(yīng)的applet處理函數(shù)。這個(gè)設(shè)計(jì)的好處非常明顯代碼共享率高一個(gè)printf、一個(gè)malloc、一套字符串處理函數(shù)被幾百個(gè)命令共用磁盤占用極小運(yùn)行時(shí)內(nèi)存占用低因?yàn)橹噶疃沃挥幸环荨．?dāng)然也有代價(jià)——每個(gè)命令的功能都是“夠用就好”的精簡(jiǎn)版復(fù)雜參數(shù)和高級(jí)特性往往缺失性能也未必比得上原生GNU工具。但嵌入式場(chǎng)景下穩(wěn)定可靠、夠用、資源占用低這三點(diǎn)比強(qiáng)大的功能集重要得多。1.3 從最小系統(tǒng)到完整產(chǎn)品適用場(chǎng)景全梳理BusyBox適合誰(shuí)這問(wèn)題得分層面來(lái)看。如果你在做資源極度受限的IoT設(shè)備Flash只有4MB、內(nèi)存只有32MB那BusyBox不是選項(xiàng)之一而是幾乎唯一的選擇。如果你的產(chǎn)品是基于ARM Cortext-A系列的應(yīng)用處理器跑Linux做網(wǎng)關(guān)、工控HMI、邊緣計(jì)算節(jié)點(diǎn)BusyBox同樣能撐起底層的文件系統(tǒng)基礎(chǔ)上層跑Qt或AWTK等GUI框架毫無(wú)壓力。在基于AWTK的嵌入式Linux項(xiàng)目里根文件系統(tǒng)通常就是用BusyBox打底再去掉不需要的組件塞進(jìn)圖形庫(kù)和應(yīng)用程序。BusyBox很貼心地提供了CONFIG_FEATURE_*這一系列配置項(xiàng)你可以精確到“去掉traceroute”、“保留telnetd”、“把vi換成完整版”這種顆粒度。本次實(shí)戰(zhàn)我會(huì)帶著你從編譯BusyBox開始一路做到內(nèi)核NFS掛載根文件系統(tǒng)、集成Dropbear開啟SSH、用mdev管理設(shè)備節(jié)點(diǎn)最終得到一個(gè)可遠(yuǎn)程登錄、可掛載U盤、可跑應(yīng)用程序的完整嵌入式Linux環(huán)境。2. 原理拆解BusyBox的applet調(diào)度機(jī)制與動(dòng)靜編譯選擇2.1 從argv[0]到applet表一次命令調(diào)用的完整旅程很多人以為BusyBox是通過(guò)“每個(gè)命令都是硬鏈接”來(lái)區(qū)分行為的這個(gè)說(shuō)法只對(duì)了一半。先看編譯層面的設(shè)計(jì)BusyBox的源碼里有一個(gè)applet列表每個(gè)applet注冊(cè)了名字、main函數(shù)入口、幫助信息、可選特性標(biāo)志。編譯時(shí)這個(gè)列表被展開成一個(gè)查找表而busybox.c里的main()函數(shù)就是總?cè)肟?。?dāng)你在shell里敲下ls -l并回車內(nèi)核通過(guò)execve()加載/bin/busybox這個(gè)可執(zhí)行文件同時(shí)把a(bǔ)rgv[0]設(shè)置為ls。BusyBox的main函數(shù)拿到argv[0]后會(huì)先從完整路徑里提取出最后的文件名部分去掉/bin/前綴然后在applet表中做二分查找。找到對(duì)應(yīng)條目后調(diào)用該applet的main函數(shù)并把a(bǔ)rgv原封不動(dòng)傳過(guò)去。這里有個(gè)細(xì)節(jié)值得琢磨BusyBox還支持busybox ls -l這種顯式帶命令名的調(diào)用方式。也就是說(shuō)即使所有符號(hào)鏈接都不存在你仍然可以執(zhí)行任意內(nèi)置命令只要在busybox后面跟命令名就行。這在急救場(chǎng)景下特別有用——系統(tǒng)里符號(hào)鏈接壞了但busybox這個(gè)二進(jìn)制還在就能用它恢復(fù)整個(gè)/bin目錄。2.2 符號(hào)鏈接與硬鏈接之爭(zhēng)鏈接方式對(duì)存儲(chǔ)和升級(jí)的影響B(tài)usyBox安裝時(shí)make install會(huì)在目標(biāo)目錄下創(chuàng)建每個(gè)applet對(duì)應(yīng)的符號(hào)鏈接或硬鏈接。默認(rèn)是符號(hào)鏈接它指向/bin/busybox。符號(hào)鏈接的好處是清晰易懂ls -l /bin/ls一眼就能看出它指向哪里排錯(cuò)方便。壞處是在某些文件系統(tǒng)上比如FAT格式的SD卡符號(hào)鏈接支持不好或者跨文件系統(tǒng)做chroot時(shí)解析會(huì)出問(wèn)題。硬鏈接則沒(méi)有“指向”的概念/bin/ls和/bin/busybox是同一個(gè)inode的多個(gè)名字不占額外數(shù)據(jù)塊也不存在“懸空的符號(hào)鏈接”問(wèn)題。但硬鏈接不能跨文件系統(tǒng)也不行鏈接目錄這在某些場(chǎng)景下反而是限制。實(shí)際項(xiàng)目里怎么選我的經(jīng)驗(yàn)是常規(guī)ext4或jffs2根文件系統(tǒng)用符號(hào)鏈接沒(méi)問(wèn)題但如果你要把BusyBox放進(jìn)一個(gè)只讀的squashfs分區(qū)同時(shí)/bin目錄需要可寫那就會(huì)把busybox放在只讀分區(qū)在可寫分區(qū)里用符號(hào)鏈接指向它——這時(shí)候符號(hào)鏈接反而是更靈活的選擇。2.3 靜態(tài)編譯還是動(dòng)態(tài)編譯一個(gè)影響全局的決定BusyBox的編譯模式分兩種靜態(tài)鏈接和動(dòng)態(tài)鏈接。靜態(tài)編譯會(huì)把所有依賴的libc代碼直接鏈進(jìn)busybox二進(jìn)制運(yùn)行時(shí)不再依賴任何共享庫(kù)動(dòng)態(tài)編譯則依賴目標(biāo)板上的libc.so和ld-linux.so。別看只是編譯參數(shù)的區(qū)別這個(gè)選擇直接決定你的根文件系統(tǒng)怎么做。靜態(tài)編譯的busybox只有一個(gè)文件把它拷到任何位置只要有內(nèi)核就能跑非常適合ramdisk或initramfs場(chǎng)景——內(nèi)核加載完initramfs后里面的busybox不需要任何外部依賴立刻就能啟動(dòng)init進(jìn)程。代價(jià)是二進(jìn)制體積偏大一般是動(dòng)態(tài)版的1.5到2倍。動(dòng)態(tài)編譯的busybox大約只有三百多KB但代價(jià)是你必須在根文件系統(tǒng)里帶上相應(yīng)的C庫(kù)。用glibc的話庫(kù)文件加起來(lái)一百多MB用musl的話只需要一個(gè)libc.so約700KB左右非常精致。我個(gè)人的建議如果Flash和內(nèi)存都寬裕64MB以上直接用glibc動(dòng)態(tài)編譯工具鏈兼容性最好調(diào)試階段也少很多因?yàn)閹?kù)缺失導(dǎo)致的怪問(wèn)題。如果資源緊張不如放棄glibc整體切到musl而不是在glibc體系里糾結(jié)精簡(jiǎn)。2.4 剪裁的藝術(shù)config配置平臺(tái)的組合優(yōu)化BusyBox沿用了內(nèi)核的Kconfig配置體系make menuconfig進(jìn)去能看到和內(nèi)核配置幾乎一樣的交互界面。這里面有幾個(gè)關(guān)鍵的配置分組Busybox Settings - Build Options靜態(tài)編譯開關(guān)、交叉編譯前綴都在這里Coreutils、Shells、Networking等分類按需勾選命令Busybox Settings - Applets是否允許以busybox 命令名方式調(diào)用Busybox Settings - General Configuration是否啟用unicode支持、是否啟用long options剪裁原則是“跑起來(lái)優(yōu)先然后按需迭代”。第一次編譯不必執(zhí)著于最小化先保證系統(tǒng)能通過(guò)串口或網(wǎng)絡(luò)登錄、能執(zhí)行基礎(chǔ)的ls/cat/mount/ifconfig再根據(jù)業(yè)務(wù)需要增加或刪除。我曾經(jīng)為了把根文件系統(tǒng)壓縮到1MB以內(nèi)一臺(tái)設(shè)備一個(gè)命令一個(gè)命令地刪刪到telnetd能用、boa能起、業(yè)務(wù)進(jìn)程能跑就行——但那屬于后期產(chǎn)品定型階段的精細(xì)化工作初學(xué)者不要在這個(gè)階段花太多時(shí)間。3. 實(shí)戰(zhàn)準(zhǔn)備交叉工具鏈、目錄骨架與庫(kù)依賴3.1 工具鏈選型與編譯環(huán)境搭建動(dòng)手之前先確保主機(jī)上有交叉編譯工具鏈。最常見(jiàn)的選項(xiàng)是gcc-arm-linux-gnueabihfARM 32位硬浮點(diǎn)或aarch64-linux-gnu-gccARM 64位。Ubuntu上安裝非常直接sudo apt install gcc-arm-linux-gnueabihf安裝完驗(yàn)證一下arm-linux-gnueabihf-gcc --version輸出正常后把交叉編譯器的bin目錄加進(jìn)PATH。接下來(lái)準(zhǔn)備一個(gè)工作目錄我習(xí)慣這樣組織mkdir -p ~/embedded/rootfs/{bin,sbin,etc,proc,sys,dev,lib,usr,tmp,var,mnt} cd ~/embedded這個(gè)目錄結(jié)構(gòu)基本就是最終根文件系統(tǒng)的骨架。先建出來(lái)后續(xù)編譯完往里填內(nèi)容就行。3.2 BusyBox交叉編譯一份可以直接照抄的配置流程從官網(wǎng)下載穩(wěn)定版BusyBox源碼目前常用的版本是1.33.x到1.36.x。解壓后進(jìn)入目錄tar xf busybox-1.36.1.tar.bz2 cd busybox-1.36.1執(zhí)行make menuconfig之前先設(shè)置環(huán)境變量指定交叉編譯前綴export ARCHarm export CROSS_COMPILEarm-linux-gnueabihf- make menuconfig在菜單里重點(diǎn)改這幾項(xiàng)Busybox Settings - Build Options - Build BusyBox as a static binary如果想省事直接編譯成靜態(tài)版可以避免后面處理庫(kù)依賴但要跑動(dòng)態(tài)應(yīng)用如AWTK程序還是要?jiǎng)討B(tài)編譯并正確指定CONFIG_SYSROOT退出保存后編譯make -j$(nproc) make install CONFIG_PREFIX~/embedded/rootfsCONFIG_PREFIX指定安裝路徑執(zhí)行完你就會(huì)看到rootfs目錄的bin、sbin下堆滿了指向busybox的符號(hào)鏈接。到這里BusyBox本身已經(jīng)部署完畢但要讓系統(tǒng)完整跑起來(lái)還有幾件事必須做。3.3 動(dòng)態(tài)庫(kù)依賴分析別讓“No such file or directory”坑了你動(dòng)態(tài)編譯模式下把busybox拷到目標(biāo)板執(zhí)行時(shí)最經(jīng)典的問(wèn)題不是“command not found”而是“No such file or directory”——文件明明存在卻報(bào)這個(gè)錯(cuò)根因是動(dòng)態(tài)鏈接器路徑不對(duì)或依賴的共享庫(kù)缺失。用交叉工具鏈的readelf檢查依賴arm-linux-gnueabihf-readelf -d ~/embedded/rootfs/bin/busybox | grep NEEDED輸出會(huì)列出libc.so.6、ld-linux-armhf.so.3等依賴項(xiàng)。把對(duì)應(yīng)的庫(kù)文件從交叉工具鏈的sysroot里拷貝到根文件系統(tǒng)的/lib目錄。sysroot一般在這個(gè)路徑下arm-linux-gnueabihf-gcc -print-sysroot找到后把lib目錄下的libc.so.6、ld-linux-armhf.so.3、libm.so.6拷過(guò)去。需要注意的是某些庫(kù)是符號(hào)鏈接cp -a保留鏈接屬性別用普通cp把它們拍平了。3.4 /etc目錄初始化inittab、fstab與系統(tǒng)啟動(dòng)腳本Linux用戶空間的啟動(dòng)起點(diǎn)是init進(jìn)程。BusyBox內(nèi)置了init實(shí)現(xiàn)它的配置在/etc/inittab語(yǔ)法比SysVinit簡(jiǎn)單得多。一個(gè)最小可用的inittab長(zhǎng)這樣::sysinit:/etc/init.d/rcS ::askfirst:-/bin/sh ::restart:/sbin/init ::ctrlaltdel:/sbin/rebootsysinit行在系統(tǒng)啟動(dòng)最早階段執(zhí)行rcS腳本askfirst在串口上拉起一個(gè)交互shellrestart和ctrlaltdel則是常規(guī)的信號(hào)處理。fstab文件也建議創(chuàng)建雖然BusyBox的mount不一定讀取它但很多腳本和工具比如mount -a依賴這個(gè)文件的存在proc /proc proc defaults 0 0 sysfs /sys sysfs defaults 0 0 tmpfs /tmp tmpfs defaults 0 0 devtmpfs /dev devtmpfs defaults 0 03.5 設(shè)備節(jié)點(diǎn)devtmpfs與mdev的雙保險(xiǎn)設(shè)備節(jié)點(diǎn)是Linux用戶空間訪問(wèn)硬件的接口歷史上需要手動(dòng)mknod創(chuàng)建每一個(gè)設(shè)備節(jié)點(diǎn)極為繁瑣。現(xiàn)代內(nèi)核支持devtmpfs掛載/dev時(shí)內(nèi)核自動(dòng)填充常見(jiàn)設(shè)備節(jié)點(diǎn)這已經(jīng)解決90%的問(wèn)題。BusyBox還提供了一個(gè)叫mdev的守護(hù)進(jìn)程或觸發(fā)式工具用于熱插拔管理和動(dòng)態(tài)加載驅(qū)動(dòng)。在rcS腳本里加上這兩行就能啟用echo /sbin/mdev /proc/sys/kernel/hotplug mdev -s第一行告訴內(nèi)核當(dāng)設(shè)備熱插拔發(fā)生時(shí)調(diào)用/sbin/mdev來(lái)做用戶空間處理第二行讓mdev掃描并創(chuàng)建設(shè)備節(jié)點(diǎn)。如果你的內(nèi)核開啟了CONFIG_DEVTMPFS_MOUNT甚至這一步都可以省但很多嵌入式內(nèi)核配置精簡(jiǎn)所以保留mdev機(jī)制是更穩(wěn)妥的做法。4. 深度實(shí)操?gòu)腘FS掛載根文件系統(tǒng)到系統(tǒng)自啟動(dòng)全流程4.1 宿主機(jī)NFS服務(wù)配置與內(nèi)核啟動(dòng)參數(shù)調(diào)試階段最推薦的方式是NFS掛載根文件系統(tǒng)rootfs放在開發(fā)機(jī)上開發(fā)板通過(guò)網(wǎng)絡(luò)加載內(nèi)核后掛載開發(fā)機(jī)上的rootfs目錄。這樣做的好處是迭代速度極快——修改rootfs里的任何文件開發(fā)板重啟即生效不需要反復(fù)燒寫Flash或制作SD卡鏡像。在開發(fā)機(jī)上安裝并配置NFS服務(wù)sudo apt install nfs-kernel-server編輯/etc/exports加入一行/home/yourname/embedded/rootfs *(rw,sync,no_root_squash,no_subtree_check)no_root_squash很關(guān)鍵它允許開發(fā)板上的root用戶對(duì)rootfs目錄擁有完整權(quán)限否則板上創(chuàng)建設(shè)備節(jié)點(diǎn)會(huì)失敗。然后導(dǎo)出并確認(rèn)sudo exportfs -ra showmount -e開發(fā)板的U-Boot啟動(dòng)參數(shù)里加上“root/dev/nfs nfsroot服務(wù)器IP:路徑, v3 ipdhcp”等根據(jù)你的實(shí)際網(wǎng)絡(luò)環(huán)境調(diào)整。我的常用啟動(dòng)參數(shù)組合是setenv bootargs consolettyS0,115200 root/dev/nfs nfsroot192.168.1.100:/home/user/embedded/rootfs,v3,tcp ipdhcp如果網(wǎng)絡(luò)環(huán)境固定也可以設(shè)靜態(tài)IP減少DHCP帶來(lái)的不確定性ip192.168.1.50:192.168.1.100:192.168.1.1:255.255.255.0::eth0:off4.2 首次啟動(dòng)的排障要點(diǎn)從串口日志定位問(wèn)題NFS掛載根文件系統(tǒng)常見(jiàn)的坑不少串口日志是最好的朋友。內(nèi)核輸出中如果看到VFS: Mounted root (nfs filesystem) on device 0:15說(shuō)明掛載成功后面就交給BusyBox的init了。比較典型的報(bào)錯(cuò)是Root-NFS: no NFS server responded字面意思是開發(fā)板沒(méi)收到NFS服務(wù)的響應(yīng)。排查順序是先ping開發(fā)機(jī)IP通了之后在開發(fā)板上用mount -t nfs 192.168.1.100:/path /mnt手動(dòng)掛一次這樣能快速區(qū)分是網(wǎng)絡(luò)問(wèn)題還是NFS配置問(wèn)題。還有一層容易忽略的是防火墻Ubuntu默認(rèn)的ufw可能攔掉了NFS端口臨時(shí)關(guān)掉或放行端口都能解決。另一個(gè)容易踩的坑是NFS版本不一致。BusyBox的mount命令和內(nèi)核的NFS客戶端支持v3和v4但某些環(huán)境下v4的掛載會(huì)報(bào)Operation not supported。我傾向于在nfsroot參數(shù)里顯式加v3兼容性最好。4.3 rcS腳本編排系統(tǒng)服務(wù)的啟動(dòng)順序與依賴根文件系統(tǒng)掛載成功、內(nèi)核啟動(dòng)init后第一個(gè)真正交給用戶的腳本就是/etc/init.d/rcS。這個(gè)腳本的編寫質(zhì)量直接決定系統(tǒng)的穩(wěn)定性。我習(xí)慣把rcS按功能段劃分#!/bin/sh # 1. 基礎(chǔ)文件系統(tǒng)掛載 mount -a # 2. 設(shè)備節(jié)點(diǎn)與熱插拔 echo /sbin/mdev /proc/sys/kernel/hotplug mdev -s # 3. 網(wǎng)絡(luò)配置 ifconfig eth0 up udhcpc -i eth0 # 4. 啟動(dòng)Dropbear SSH服務(wù) /usr/sbin/dropbear -R # 5. 啟動(dòng)業(yè)務(wù)進(jìn)程 /usr/bin/my_app “啟動(dòng)順序”這件事看似平常實(shí)際上有很多講究。mount -a必須最先執(zhí)行因?yàn)楹罄m(xù)很多操作依賴/proc和/sys下的信息mdev的初始化要在任何涉及設(shè)備操作的進(jìn)程之前完成否則設(shè)備節(jié)點(diǎn)缺失會(huì)導(dǎo)致后面流程靜默失敗。業(yè)務(wù)進(jìn)程放最后保證底層環(huán)境已就緒。另外要注意rcS里的后臺(tái)進(jìn)程要加否則會(huì)阻塞后續(xù)腳本的執(zhí)行。4.4 U盤測(cè)速方案用BusyBox自帶工具完成性能驗(yàn)證拿到一個(gè)根文件系統(tǒng)很多人會(huì)懷疑它的實(shí)際I/O性能。BusyBox提供的dd命令雖然參數(shù)精簡(jiǎn)但做簡(jiǎn)單的讀寫測(cè)速綽綽有余。U盤插入開發(fā)板后先看內(nèi)核日志確認(rèn)設(shè)備名然后用dd跑一輪# 寫入測(cè)速寫入100MB數(shù)據(jù) time dd if/dev/zero of/mnt/usb/testfile bs1M count100 convfsync # 讀取測(cè)速?gòu)拇疟P讀回并丟棄 time dd if/mnt/usb/testfile of/dev/null bs1M count100注意convfsync不能省它強(qiáng)制把緩存刷到物理介質(zhì)否則寫測(cè)速會(huì)虛高。讀取測(cè)速時(shí)也可用iflagdirect繞過(guò)Page Cache獲得更真實(shí)的裸盤速度。測(cè)出來(lái)的數(shù)字只是參考我在實(shí)際項(xiàng)目中會(huì)交替測(cè)三次取中位數(shù)并且在不同的文件系統(tǒng)格式ext4/exfat/vfat下分別測(cè)試——同一個(gè)U盤格式不同寫入速度能差好幾倍這個(gè)偏差往往比U盤本身的優(yōu)劣更大?；诖宋覟楫a(chǎn)線自測(cè)設(shè)計(jì)過(guò)一個(gè)簡(jiǎn)單腳本用dd測(cè)完自動(dòng)記錄數(shù)據(jù)并判定是否達(dá)標(biāo)比人工記數(shù)字準(zhǔn)確得多。4.5 集成Dropbear讓開發(fā)板擁有安全的SSH登錄能力BusyBox自帶了一個(gè)telnetd調(diào)試用沒(méi)問(wèn)題但生產(chǎn)環(huán)境明文傳輸始終不放心。更專業(yè)的方案是集成Dropbear——一個(gè)專為嵌入式環(huán)境優(yōu)化的輕量SSH服務(wù)端。Dropbear依賴zlib和libtomcrypt等庫(kù)直接交叉編譯時(shí)需要先編譯這些依賴wget https://matt.ucc.asn.au/dropbear/releases/dropbear-2022.83.tar.bz2 tar xf dropbear-2022.83.tar.bz2 cd dropbear-2022.83 ./configure --hostarm-linux-gnueabihf --disable-zlib \ CCarm-linux-gnueabihf-gcc make -j$(nproc) make install DESTDIR~/embedded/rootfs--disable-zlib是為了省事如果對(duì)傳輸壓縮沒(méi)硬性需求可以砍掉這層依賴。Dropbear跑起來(lái)之前還需要rootfs里有/etc/dropbear目錄來(lái)存放主機(jī)密鑰mkdir -p ~/embedded/rootfs/etc/dropbear啟動(dòng)時(shí)用-R參數(shù)讓它自動(dòng)生成主機(jī)密鑰。第一次啟動(dòng)會(huì)生成RSA和ED25519密鑰對(duì)可能需要幾秒鐘。配置完成后在開發(fā)機(jī)上執(zhí)行ssh root開發(fā)板IP就能登錄配合前面rcS里的dropbear啟動(dòng)行整個(gè)系統(tǒng)就具備了遠(yuǎn)程管理能力。不用再依賴串口線工作效率提升一個(gè)檔次。5. 系統(tǒng)功能擴(kuò)展與調(diào)試技巧vfs、sync與業(yè)務(wù)軟件部署5.1 理解VFS層為什么mount之后一切才真正開始BusyBox的mount命令內(nèi)部調(diào)用的是內(nèi)核的VFS接口。VFSVirtual File System是Linux內(nèi)核的抽象層讓用戶空間不用關(guān)心底層具體是什么文件系統(tǒng)——ext4、vfat、tmpfs還是nfs大家都以統(tǒng)一的文件和目錄方式呈現(xiàn)。理解這層關(guān)系對(duì)排障很重要。比如NFS掛載根文件系統(tǒng)后在開發(fā)板上執(zhí)行df -h看到的根分區(qū)容量其實(shí)是宿主機(jī)NFS導(dǎo)出目錄的容量如果開發(fā)機(jī)上rootfs所在分區(qū)滿了開發(fā)板會(huì)莫名報(bào)“No space left on device”。這就是VFS抽象帶來(lái)的“障眼法”不追到宿主機(jī)那一層很難發(fā)現(xiàn)根因。BusyBox的mount命令還支持-t指定類型、-o指定掛載選項(xiàng)。在rcS里執(zhí)行mount -a時(shí)它會(huì)逐個(gè)解析/etc/fstab并掛載尚未掛載的文件系統(tǒng)。想讓某個(gè)文件系統(tǒng)只讀掛載就在fstab里加ro選項(xiàng)如果調(diào)試時(shí)希望快速看到文件更新NFS掛載選項(xiàng)加noac可以關(guān)閉屬性緩存代價(jià)是性能下降但調(diào)試期換來(lái)的一致性非常值得。5.2 sync與數(shù)據(jù)安全掉電保護(hù)的第一道防線嵌入式設(shè)備最怕的是突然斷電丟數(shù)據(jù)。sync命令的作用是把內(nèi)核緩沖區(qū)的數(shù)據(jù)強(qiáng)制寫回磁盤避免掉電導(dǎo)致文件系統(tǒng)損壞或數(shù)據(jù)丟失。在內(nèi)核層面page cache是異步寫回的sync會(huì)阻塞直到所有臟頁(yè)寫完。在BusyBox體系里有幾處經(jīng)常用到sync。一處是應(yīng)用寫重要配置文件后的顯式調(diào)用另一處是關(guān)機(jī)腳本里先sync再reboot。很多嵌入式系統(tǒng)直接靠斷電關(guān)機(jī)沒(méi)有執(zhí)行關(guān)機(jī)流程這種情況下如果之前寫入的數(shù)據(jù)還在cache里沒(méi)刷盤那這部分?jǐn)?shù)據(jù)就丟了。雖然主流Flash文件系統(tǒng)如ubifs、jffs2有日志或?qū)憰r(shí)復(fù)制機(jī)制斷電后能保證文件系統(tǒng)整體一致但已經(jīng)寫入但未落盤的數(shù)據(jù)不一定能找回。所以我在實(shí)際項(xiàng)目里有一條鐵律任何一次關(guān)鍵寫入掉電需保留的配置、運(yùn)行日志后業(yè)務(wù)代碼里都要調(diào)用sync()系統(tǒng)調(diào)用或者調(diào)用BusyBox的sync命令。這一點(diǎn)在量產(chǎn)階段的可靠性測(cè)試中體現(xiàn)得非常明顯做了sync的設(shè)備和沒(méi)做的設(shè)備掉電后配置文件損壞率完全不是一個(gè)量級(jí)。5.3 業(yè)務(wù)程序部署動(dòng)態(tài)鏈接、運(yùn)行庫(kù)與AWTK應(yīng)用的整合構(gòu)建好的根文件系統(tǒng)最終要承載業(yè)務(wù)程序。以AWTK為例它是ZLG開源的一套嵌入式GUI框架交叉編譯后會(huì)生成動(dòng)態(tài)庫(kù)和可執(zhí)行程序。把整個(gè)AWTK的bin、lib、resources放進(jìn)rootfs對(duì)應(yīng)目錄然后在rcS里啟動(dòng)系統(tǒng)就從一個(gè)“能登錄的Linux”變成“能顯示界面的產(chǎn)品”。這里有幾個(gè)經(jīng)驗(yàn)之談。第一AWTK等GUI應(yīng)用建議使用動(dòng)態(tài)鏈接因?yàn)殪o態(tài)鏈接會(huì)讓可執(zhí)行文件體積膨脹數(shù)倍而且升級(jí)維護(hù)很不方便。第二資源文件的路徑要嚴(yán)格遵守應(yīng)用預(yù)期比如AWTK默認(rèn)從./assets或指定路徑讀取資源如果把路徑配錯(cuò)應(yīng)用啟動(dòng)時(shí)會(huì)靜默失敗或只顯示白屏。第三運(yùn)行庫(kù)一并拷貝用ldd檢查目標(biāo)程序依賴把缺失的.so也放進(jìn)rootfs。我踩過(guò)最疼的一個(gè)坑是目標(biāo)板上程序啟動(dòng)報(bào)libstdc.so.6: cannot open shared object file因?yàn)榻徊婢幾g工具鏈的libstdc沒(méi)有進(jìn)rootfs。查了整整一個(gè)下午才發(fā)現(xiàn)是--sysroot路徑配置問(wèn)題。所以建議在一開始就明確lib庫(kù)來(lái)源最好維護(hù)一個(gè)rootfs依賴清單每次編譯和更新都對(duì)照清單走不要靠眼睛一個(gè)個(gè)比。5.4 調(diào)試階段的高效操作主機(jī)-開發(fā)板文件互傳與快速驗(yàn)證開發(fā)階段文件傳輸頻率很高。NFS掛載已經(jīng)解決了rootfs內(nèi)文件直接共享的問(wèn)題但有些場(chǎng)景繞不開“打包拷貝”比如燒寫生產(chǎn)鏡像前的最終驗(yàn)證。我常用的三件套是TFTPU-Boot下載內(nèi)核、NFSrootfs調(diào)試、scp通過(guò)Dropbear傳文件。這三者配合節(jié)奏非常舒服。另外BusyBox的wget在很多嵌入式環(huán)境下可用。如果開發(fā)板能上網(wǎng)或者局域網(wǎng)內(nèi)有文件服務(wù)器在板上直接用wget http://192.168.1.100/myapp -O /usr/bin/myapp chmod x /usr/bin/myapp就可以完成程序更新比反復(fù)插拔SD卡或拆機(jī)接串口高效太多。這個(gè)操作在生產(chǎn)現(xiàn)場(chǎng)遠(yuǎn)程升級(jí)時(shí)同樣適用只要把升級(jí)包放到內(nèi)置Web服務(wù)器上設(shè)備端拉取后校驗(yàn)、替換、重啟就是一套最簡(jiǎn)單的OTA流程。6. 常見(jiàn)問(wèn)題速查與排障實(shí)例6.1 高頻問(wèn)題與針對(duì)性解決方案問(wèn)題現(xiàn)象根本原因解決辦法串口登錄后敲命令報(bào)not found/bin下的符號(hào)鏈接未創(chuàng)建或路徑不在PATH中make install CONFIG_PREFIX...重裝echo $PATH確認(rèn)目錄No such file or directory但文件存在動(dòng)態(tài)鏈接器缺失或路徑不對(duì)readelf -d查看依賴補(bǔ)拷ld-linux.so到/libinit: must be run as PID 1手動(dòng)執(zhí)行了/bin/init確認(rèn)內(nèi)核init參數(shù)指向正確路徑cant open /dev/ttyS0: No such file or directory串口設(shè)備節(jié)點(diǎn)未創(chuàng)建mdev -s掃描或手動(dòng)mknod對(duì)應(yīng)主次設(shè)備號(hào)NFS掛載卡住或Operation not supportedNFS版本不匹配nfsroot參數(shù)強(qiáng)制加v3或v4開啟端口ifconfig: SIOCGIFFLAGS: No such device內(nèi)核未編譯對(duì)應(yīng)網(wǎng)卡驅(qū)動(dòng)內(nèi)核menuconfig中啟用網(wǎng)卡驅(qū)動(dòng)確認(rèn)設(shè)備樹正確telnet連接成功但無(wú)法登錄未配置密碼或inittab中沒(méi)有askfirst檢查/etc/passwd、/etc/shadow用passwd設(shè)置密碼程序啟動(dòng)報(bào)Permission denied可執(zhí)行文件沒(méi)有x權(quán)限chmod x如果是腳本檢查首行#!/bin/shmount -a后df看不到新掛載fstab格式錯(cuò)誤或不支持該文件系統(tǒng)類型手動(dòng)mount定位問(wèn)題檢查內(nèi)核是否編譯對(duì)應(yīng)文件系統(tǒng)驅(qū)動(dòng)6.2 實(shí)戰(zhàn)排障實(shí)錄一NFS掛載成功的假象我之前接過(guò)一個(gè)現(xiàn)場(chǎng)問(wèn)題開發(fā)板啟動(dòng)后根文件系統(tǒng)是在NFS上但應(yīng)用層的配置始終寫不進(jìn)去報(bào)Read-only file system。排查第一反應(yīng)是查fstab和掛載選項(xiàng)發(fā)現(xiàn)rootfs的掛載選項(xiàng)里并沒(méi)有ro。繼續(xù)查發(fā)現(xiàn)宿主機(jī)NFS導(dǎo)出目錄時(shí)/etc/exports里的父目錄權(quán)限是只讀子目錄雖然rwx但NFS的導(dǎo)出層級(jí)限制了權(quán)限繼承。最后在exports里把具體子目錄單獨(dú)加了一行rw導(dǎo)出才解決。這個(gè)案例給我的教訓(xùn)是NFS權(quán)限問(wèn)題不只在開發(fā)板側(cè)排查宿主機(jī)的目錄權(quán)限、exports配置、SELinux/AppArmor都要納入檢查范圍。做一個(gè)checklist按 網(wǎng)絡(luò)通不通→掛載行對(duì)不對(duì)→宿主機(jī)權(quán)限→目標(biāo)板權(quán)限 的順序逐層排查能省下大量踩坑時(shí)間。6.3 實(shí)戰(zhàn)排障實(shí)錄二init找不到 —— VFS panic的完整追查過(guò)程另一個(gè)常見(jiàn)場(chǎng)景是內(nèi)核起來(lái)后報(bào)Kernel panic - not syncing: VFS: Unable to mount root fs on unknown-block(0,0)。這個(gè)報(bào)錯(cuò)有兩個(gè)常見(jiàn)原因一是內(nèi)核確實(shí)沒(méi)編譯對(duì)應(yīng)文件系統(tǒng)驅(qū)動(dòng)如NFS、ext4的驅(qū)動(dòng)沒(méi)編進(jìn)去二是root參數(shù)指定的設(shè)備不存在或路徑寫錯(cuò)。我遇到的情況是兩者疊加根文件系統(tǒng)在NFS上但內(nèi)核配置里CONFIG_ROOT_NFS沒(méi)開同時(shí)bootargs里root/dev/nfs的寫法在內(nèi)核某版本上解析有差異。解決辦法很樸素確認(rèn)內(nèi)核編了NFS客戶端和CONFIG_ROOT_NFS再把bootargs改為明確設(shè)備路徑的寫法。改完后串口輸出的日志從panic變成正常執(zhí)行init那種感覺(jué)比什么都有成就感。6.4 實(shí)用排障技巧以最小化思維定位“僵尸啟動(dòng)”系統(tǒng)起不來(lái)的時(shí)候不要急著懷疑BusyBox或內(nèi)核先做減法。假設(shè)你已經(jīng)通過(guò)串口看到內(nèi)核輸出但卡在某個(gè)階段那么思路應(yīng)該是先確認(rèn)內(nèi)核解壓完成、跳轉(zhuǎn)執(zhí)行用戶空間init時(shí)有沒(méi)有報(bào)錯(cuò)然后用init/bin/sh讓內(nèi)核直接拉起shell繞過(guò)init進(jìn)程所有的腳本邏輯這樣如果shell能起來(lái)說(shuō)明內(nèi)核和rootfs基本沒(méi)問(wèn)題問(wèn)題出在腳本層接著在shell里手動(dòng)執(zhí)行rcS的每一行定位具體哪條命令導(dǎo)致啟動(dòng)卡死或重啟最后修復(fù)后再恢復(fù)init/sbin/init正常啟動(dòng)。這種方法看起來(lái)笨卻是效率最高的排查路徑。它把一個(gè)大問(wèn)題分解成多個(gè)可驗(yàn)證的小節(jié)點(diǎn)每一步都確認(rèn)“到這一步一定是好的”就能快速收斂問(wèn)題范圍。這套思路不管是對(duì)付NFS掛載、BusyBox init還是業(yè)務(wù)進(jìn)程崩潰都屢試不爽。7. 性能優(yōu)化與生產(chǎn)級(jí)加固7.1 精簡(jiǎn)rootfs體積從30MB到3MB的步步為營(yíng)嵌入式產(chǎn)品的Flash容量往往是硬件選型時(shí)就鎖死的因此rootfs體積直接決定你能否在一個(gè)給定的Flash上裝下整個(gè)系統(tǒng)。精簡(jiǎn)單可以從這樣幾個(gè)方向做編譯BusyBox時(shí)關(guān)閉所有用不到的applet和feature能去掉vi就絕不留著能不用ip就換ifconfig和routestrip所有可執(zhí)行文件的符號(hào)表C庫(kù)從glibc切換到musl把不常用的庫(kù)和應(yīng)用從rootfs中挪出去需要時(shí)再動(dòng)態(tài)掛載。這三個(gè)動(dòng)作做完30MB的體積壓到3MB以內(nèi)是完全可行的。7.2 系統(tǒng)可靠性加固只讀文件系統(tǒng)、A/B分區(qū)與掉電保護(hù)精簡(jiǎn)到極致之后還要考慮生產(chǎn)環(huán)境下的可靠性。一個(gè)被驗(yàn)證過(guò)多次的做法是把根文件系統(tǒng)做成只讀的squashfs把Bootloader、內(nèi)核、rootfs放在獨(dú)立分區(qū)所有需要運(yùn)行時(shí)寫入的數(shù)據(jù)/var、/tmp、日志掛載到tmpfs或單獨(dú)的data分區(qū)。這樣做的好處是不管怎么斷電根文件系統(tǒng)永遠(yuǎn)不會(huì)因?yàn)橐馔鈱懭攵鴵p壞系統(tǒng)起不來(lái)就重?zé)龜?shù)據(jù)區(qū)單獨(dú)處理。更進(jìn)一步就是A/B分區(qū)方案兩份固件一份正在運(yùn)行一份備用升級(jí)時(shí)寫備用區(qū)啟動(dòng)時(shí)校驗(yàn)并切換。這個(gè)方案會(huì)讓系統(tǒng)整體復(fù)雜度上一個(gè)臺(tái)階但帶來(lái)的可靠性回報(bào)非常明顯尤其是對(duì)無(wú)法接受OTA失敗變磚的設(shè)備。7.3 裁剪的邊界理解“夠用”不等于“能用”精簡(jiǎn)rootfs的時(shí)候一定把握好度。我的經(jīng)驗(yàn)是保留一份能力完整的備用rootfs用于開發(fā)調(diào)試產(chǎn)品量產(chǎn)時(shí)再切換到精簡(jiǎn)版。否則為了省幾百KB換來(lái)開發(fā)時(shí)處處碰壁反而拖慢整個(gè)項(xiàng)目進(jìn)度。比如BusyBox里ps命令在精簡(jiǎn)模式下可能不顯示完整參數(shù)排查問(wèn)題時(shí)很難受top甚至可能被砍掉——這種時(shí)候省下的100KB就變得毫無(wú)意義。8. 結(jié)語(yǔ)從啃文檔到構(gòu)建屬于你的第一個(gè)系統(tǒng)回想我?guī)н^(guò)的幾個(gè)AWTK項(xiàng)目新人最容易卡住的地方反而不是寫業(yè)務(wù)代碼而是“不知道根文件系統(tǒng)是怎么來(lái)的”。從裸機(jī)到完整系統(tǒng)中間隔著的這一段正是BusyBox和其他基礎(chǔ)組件存在的地方。當(dāng)你自己動(dòng)手編譯一次BusyBox、配好inittab、用NFS掛載起整個(gè)系統(tǒng)、再?gòu)拇诤蚐SH分別登進(jìn)開發(fā)板時(shí)嵌入式Linux的面紗才算真正揭開了一角——它不神秘就是一套由無(wú)數(shù)清晰環(huán)節(jié)構(gòu)成的完整體系。如果你打算從零開始我的建議是先把這篇文章里的流程親手做一遍遇到問(wèn)題就按第6節(jié)的思路排查。等你能順利看到一個(gè)BusyBox的shell提示符出現(xiàn)時(shí)你已經(jīng)超過(guò)了很多只會(huì)改改調(diào)調(diào)的應(yīng)用工程師。后續(xù)真正要下功夫的無(wú)非是把這份“骨架”越填越豐滿讓自己的系統(tǒng)從能開機(jī)升級(jí)到穩(wěn)定、安全、可維護(hù)。這條路上有一段話我一直很喜歡系統(tǒng)不是某個(gè)天才設(shè)計(jì)出來(lái)的而是無(wú)數(shù)個(gè)細(xì)節(jié)一層層堆疊出來(lái)的。BusyBox就是這些細(xì)節(jié)里最基礎(chǔ)的一塊拼圖希望這篇實(shí)戰(zhàn)筆記能幫你把它拼進(jìn)你自己的系統(tǒng)版圖里。