免费国产精品自在自线-91精品国产色综合久久久浪潮-99热久久免费频精品-国产精品国模在线观看-久久亚洲国产精品成人?V秋霞-久久国产一级A片免费播放-亚洲国产欧洲综合97久久-久久国产白嫩美女呻吟高潮

ARTICLE DETAIL

資訊詳情

深耕商務建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

Linux/Unix syslog編程指南:從協(xié)議到rsyslog實戰(zhàn)避坑

Linux/Unix syslog編程指南:從協(xié)議到rsyslog實戰(zhàn)避坑 簡介面向Linux/Unix系統(tǒng)開發(fā)者的syslog編程學習包聚焦系統(tǒng)日志的采集、過濾與上報場景適合正在學習系統(tǒng)編程或需要為應用集成日志功能的工程師。壓縮包內(nèi)僅有2個文件分別是C源文件與配套頭文件整體容量僅5KB屬于輕量級示例代碼便于直接閱讀和修改。目前已有270人學習下載可作為快速上手syslog接口的參考。借助syslog.h中的函數(shù)聲明與syslog.c的實現(xiàn)示例可掌握openlog、syslog、closelog等核心調(diào)用的參數(shù)配置與優(yōu)先級設置并理解如何將自定義消息按不同級別寫入系統(tǒng)日志。同時資源也展示了與syslogd協(xié)同工作的基本模式有助于開發(fā)者根據(jù)實際需求擴展日志處理邏輯提升應用的健壯性與可維護性。1. syslog.rar_Linux/Unix編程_Unix_Linux_ 里裝的到底是什么先說結(jié)論再動手如果你在一個項目交接包里見到 syslog.rar 這個名字大概率不是病毒而是一份 Linux/Unix 編程的 syslog 示例源碼或講課工程。它要解決的是個很樸素卻容易翻車的問題程序里的日志怎么才能統(tǒng)一送進系統(tǒng)日志體系而不是散在各自的 stdout 文件里。syslog 在 Unix 時代就是標準通道到今天 rsyslog、systemd-journal 和各類集中日志平臺都還在兼容它。下面我從一個壓縮包怎么解壓、怎么編譯講起把 syslog 的協(xié)議、代碼、參數(shù)和坑一次說清。適合正在寫 C 服務、嵌入式 Linux 程序或者要搭日志采集的讀者。2. syslog 協(xié)議與編程選型先把“日志發(fā)到哪里”這件事拆清楚2.1 三種接入方式libc 封裝、UDP socket 與 Unix domain socket寫 Linux/Unix 日志程序第一件事不是寫代碼而是選入口。常見做法是三種很多新手只會用第一種等日志要跨機器時就卡住了。接入方式目標可靠性典型延遲適用場景syslog() / openlog()本地 /dev/log本地緩存滿了會丟微秒級單機調(diào)試、常規(guī)服務日志UDP socket遠端 rsyslog 的 514/5514盡力而為丟包不重傳網(wǎng)絡 RTT 量級跨機器集中采集Unix domain socket/var/run/log、/dev/log本機可靠但緩沖區(qū)有限微秒級高性能本地日志、代理轉(zhuǎn)發(fā)TCP/TLS socket遠端 6514 等可靠但可能頭阻塞略高審計、支付等高價值日志syslog() 是 glibc 對 /dev/log 的封裝開發(fā)者不用管 socket 生命周期調(diào)用 openlog 設置程序名然后 syslog() 一條條發(fā)。缺點是它只往本機送程序要跨機器上報日志還是得自己建 socket。嵌入式環(huán)境如果用的是 musl、uClibcsyslog() 也存在但有些裁剪版 libc 可能不帶這時直接 socket 反而是最穩(wěn)的。直接 socket 發(fā) UDP 不復雜但要注意默認系統(tǒng)日志服務只監(jiān)聽 /dev/log并不監(jiān)聽 514 端口。你往內(nèi)網(wǎng)某臺機器的 514 塞數(shù)據(jù)對方?jīng)]開 imudp 模塊就靜默丟棄TCP 會立刻被 resetUDP 連報錯都沒有這是后面排障時最典型的黑匣子。2.2 facility 與 severity消息為什么會“消失”在系統(tǒng)側(cè)syslog 消息的第一部分叫 PRI由 facility 乘以 8 加 severity 得到。facility 決定消息歸屬哪類子系統(tǒng)severity 決定緊急程度。C 代碼里你寫LOG_USER|LOG_INFOfinally 到達 rsyslog 時規(guī)則匹配的就是這兩個維度。facility 值關(guān)鍵字常見用途0LOG_KERN內(nèi)核日志用戶態(tài)不要用1LOG_USER用戶進程默認歸屬5LOG_AUTH認證安全相關(guān)12LOG_NTP時間同步服務16~23LOG_LOCAL0~LOCAL7留給應用自定義severity 從 0 到 7 分別是 EMERG、ALERT、CRIT、ERR、WARNING、NOTICE、INFO、DEBUG。這個順序很關(guān)鍵rsyslog 的*.info表示“info 及以上”如果規(guī)則寫user.*user 下所有級別都收如果只寫user.infodebug 和 notice 的處理方式就完全取決于下一條規(guī)則可能被丟。很多人以為 syslog() 返回 0 就等于日志落盤了其實它只代表消息進了內(nèi)核 socket 緩沖區(qū)。之后 rsyslog 按配置決定寫哪個文件、轉(zhuǎn)給誰或者直接丟棄。我在項目里見過最隱蔽的一次程序里打LOG_LOCAL0|LOG_INFO系統(tǒng)默認規(guī)則把 LOCAL0 定向到一個沒建好的目錄日志全被 rsyslog 靜默吞掉應用側(cè)完全無感知。2.3 RFC3164 與 RFC5424日志頭里藏著年份和時區(qū)的坑老式 syslog 消息長這樣PRIOct 11 22:14:15 hostname tag[pid]: message這是 RFC3164 格式。問題在于沒有年份、沒有時區(qū)??缒昱耪蠒r日志一多你分不清去年十月和今年十月跨時區(qū)轉(zhuǎn)發(fā)接收端拿到的“22:14:15”到底按哪邊解釋全看接收端配置。你要做日志審計或者對接集中平臺我建議直接用 RFC5424 頭1651 2025-10-11T22:14:15.123Z myhost myapp 1234 - - message它帶版本號、ISO8601 時間戳、帶時區(qū)還有結(jié)構(gòu)化數(shù)據(jù)段。代價是很多老系統(tǒng)日志分析器不認但現(xiàn)代 rsyslog、journald、ELK 都兼容。自己寫發(fā)送端時別偷懶用 RFC3164除非對方平臺明確只支持老格式。2.4 系統(tǒng)日志服務rsyslog、syslog-ng 與 busybox syslogd 的配合方式應用層 syslog() 只負責把消息丟給本機日志守護進程真正落盤、轉(zhuǎn)發(fā)、過濾的是那三個服務。Debian/Ubuntu 默認 rsyslogRHEL 早期常帶 syslog-ng嵌入式設備多半是 busybox syslogd。它們的協(xié)議一致但配置語言完全不同。rsyslog 在 Debian 系只監(jiān)聽 /dev/log不監(jiān)聽網(wǎng)絡端口這是近二十年安全默認。要收遠端 UDP 日志得在配置里顯式打開# /etc/rsyslog.d/remote.conf module(loadimudp) input(typeimudp port5514)其中imudp是 rsyslog 的 UDP 輸入模塊port是監(jiān)聽端口。注意 Linux 上進程綁定小于 1024 的端口需要 root 權(quán)限或文件 capabilities測試階段用 5514 這類高位端口不要一上來就 sudo 跑程序。改成 514 后重啟systemctl restart rsyslog用ss -lunp | grep 514確認監(jiān)聽成功這是最直接的驗證。syslog-ng 的對應配置則是source s_net { udp(ip(0.0.0.0) port(5514)); };語法差很遠。busybox 更簡單syslogd -R 192.168.1.10:5514就能把日志轉(zhuǎn)發(fā)出去但基本沒有規(guī)則過濾能力。3. 把 syslog.rar 里的工程跑起來Linux 下最小 C 收發(fā) Demo 與三處參數(shù)3.1 解包與工具鏈準備解壓 rar 常用的幾個 linux 命令拿到 syslog.rar先別急著改代碼把環(huán)境檢查做干凈否則后面查問題會讓你懷疑人生。解壓這一步在坑里排第一因為 Windows 壓縮包常帶 CRLF 換行符和中文文件名。# 1. 查看壓縮包內(nèi)容 unrar l syslog.rar # 2. 完整解壓 unrar x syslog.rar # 3. 如果發(fā)行版沒帶 unrar裝 unar 也能解 # sudo apt install unar # unar syslog.rar # 4. 看工程結(jié)構(gòu) ls -l syslog/ # 5. 確認編譯器 gcc --version make --versionunrar l只列出內(nèi)容不釋放文件適合先看包內(nèi)目錄是否混亂。unrar x解壓時保留完整路徑e則把所有文件攤到當前目錄千萬別用錯。解壓后第一件事是看文件行尾file src/*.c cat -v src/syslog_sender.c | head -5如果看到大量^M這樣的字符說明文件是 CRLF 行尾gcc 能編過但字符串字面量如果跨行或者消息拼接處帶\r日志解析會出怪問題。批量處理# 把當前工程下所有 .c/.h 的 Windows 行尾轉(zhuǎn)成 Unix find syslog -name *.c -o -name *.h | xargs sed -i s/\r$//這步做完再編譯。很多 Unix 上編譯失敗其實不是代碼問題是行尾和 Makefile 的 Tab 字符被改壞Makefile 要求命令行以 Tab 開頭Windows 編輯器常把 Tab 轉(zhuǎn)成空格。3.2 發(fā)送端syslog() 一行接入的最小 C 代碼最簡發(fā)送端其實不長核心是 openlog 的三個參數(shù)。我一般會在每個工程里單獨寫一個 log.c避免業(yè)務代碼到處裸調(diào) syslog。#define _GNU_SOURCE #include syslog.h #include stdio.h #include string.h #include errno.h int main(void) { /* ident 是程序名LOG_PID 讓 tag 帶上進程號 */ openlog(myapp, LOG_PID | LOG_CONS | LOG_NDELAY, LOG_USER); syslog(LOG_INFO, hello syslog, seq%d, 1); syslog(LOG_ERR, something failed: %s, strerror(ENOENT)); closelog(); return 0; }編譯運行g(shù)cc -Wall -O2 -o sender sender.c ./senderopenlog 的第二個參數(shù)里LOG_PID會把進程號打印成myapp[1234]:多實例部署時靠它區(qū)分是哪個進程。LOG_CONS表示本地 /dev/log 通路失敗時把消息直接寫到控制臺調(diào)試期有用生產(chǎn)上開了可能干擾終端交互。LOG_NDELAY讓 openlog 立刻連接 /dev/log否則第一次 syslog() 時才會連接那一次的延遲會略高。第三個參數(shù)是默認 facility。注意 syslog() 的第一個參數(shù)既包含 facility 又包含 severity你可以寫syslog(LOG_DAEMON|LOG_ERR, ...)臨時覆蓋 openlog 里設定的 facility但一般建議固定一個 facility方便 rsyslog 規(guī)則歸類。3.3 接收端能跑在用戶態(tài)的 UDP 最小 C 實現(xiàn)把工程里的接收端核心邏輯抽出來一個最小 UDP receiver 就這么長#include stdio.h #include string.h #include sys/socket.h #include netinet/in.h #include arpa/inet.h #include unistd.h #define PORT 5514 int main(void) { int fd socket(AF_INET, SOCK_DGRAM, 0); struct sockaddr_in addr; memset(addr, 0, sizeof(addr)); addr.sin_family AF_INET; addr.sin_addr.s_addr htonl(INADDR_ANY); addr.sin_port htons(PORT); if (bind(fd, (struct sockaddr *)addr, sizeof(addr)) 0) { perror(bind); return 1; } char buf[4096]; /* 一次 recvfrom 只收一條 UDP 數(shù)據(jù)報 */ int n recvfrom(fd, buf, sizeof(buf) - 1, 0, NULL, NULL); if (n 0) { buf[n] \0; printf(%s\n, buf); } close(fd); return 0; }這里的SOCK_DGRAM對應 UDP收到的是完整數(shù)據(jù)報如果改成SOCK_STREAM就是 TCPrecvfrom 要換成 recv。bind 到INADDR_ANY表示監(jiān)聽所有網(wǎng)卡地址生產(chǎn)環(huán)境建議 bind 到業(yè)務內(nèi)網(wǎng) IP。端口用 5514 而不是 514原因是 1024 以下端口綁定需要特權(quán)測試階段沒必要往 sudo 火坑里跳。bind 失敗最常見兩個原因端口被占用可以用ss -lunp | grep 5514查另一個是權(quán)限換成 5514 基本就能避開。別在生產(chǎn)環(huán)境為了綁定 514 給整個程序 setcap那是給日志接收服務權(quán)限過大風險不值。驗證一下./receiver printf 14Oct 11 22:14:15 myapp[1]: test\n | nc -u -w1 127.0.0.1 5514如果終端打印出消息說明網(wǎng)絡通路通了接下來可以接系統(tǒng)的 rsyslog。3.4 從自定義收端換回 rsyslog把消息真正落到系統(tǒng)日志最小 receiver 只是給你驗證協(xié)議格式真正干活的是 rsyslog。改配置# /etc/rsyslog.d/remote.conf module(loadimudp) input(typeimudp port5514)重啟并確認監(jiān)聽systemctl restart rsyslog ss -lunp | grep 5514 logger -n 127.0.0.1 -P 5514 remote logger test然后另一個終端看日志tail -f /var/log/syslog看到 “remote logger test” 說明全鏈路通了。這里有三處參數(shù)要盯住imudp模塊有沒有加載成功rsyslog 日志里會有模塊加載報錯port和發(fā)送端目標端口必須一致ruleset 如果沒有單獨指定默認規(guī)則決定消息落哪個文件。很多系統(tǒng)里/var/log/messages和/var/log/syslog兩個文件的規(guī)則不一樣別只盯一個文件。注意 rsyslog 的 legacy 語法在老版本配置里很常見$ModLoad imudp、$UDPServerRun 514。如果接手的項目配置還是這種寫法改的時候要保留原樣不能混用新舊語法兩套rsyslog 對混用會給出警告但行為可能不符合預期。4. 從 Demo 到可用日志服務多線程、隊列與 UDP 丟包的取舍4.1 多線程程序里的 syslog線程安全不等于不丟不亂glibc 的 syslog() 內(nèi)部有鎖多線程調(diào)用不會崩但別高興太早。日志風暴時全局鎖會讓所有業(yè)務線程排隊等日志線程業(yè)務延遲突然飆升更隱蔽的是syslog() 只記錄進程號多個線程寫日志你分不清消息來自哪個線程。常見做法是包一層#include pthread.h #include syslog.h #include stdarg.h #include stdio.h static pthread_mutex_t log_lock PTHREAD_MUTEX_INITIALIZER; void app_log(int prio, const char *fmt, ...) { char buf[512]; va_list ap; va_start(ap, fmt); vsnprintf(buf, sizeof(buf), fmt, ap); va_end(ap); pthread_mutex_lock(log_lock); syslog(prio, %s, buf); pthread_mutex_unlock(log_lock); }這個封裝把線程號帶進消息里比如調(diào)用前拼一個pthread_self()進去同時用鎖保證一行消息不會被其他線程截斷。但鎖本身是性能瓶頸所以更靠譜的結(jié)構(gòu)是隊列。4.2 隊列設計業(yè)務線程不阻塞日志線程慢慢發(fā)生產(chǎn)級日志庫的思路通常是業(yè)務線程把日志塞進一個有界環(huán)形隊列專門的日志線程批量發(fā)送。隊列滿就丟丟之前計數(shù)。我常用下面這個結(jié)構(gòu)#define LOG_QUEUE_SIZE 8192 #define LOG_MSG_MAX 256 struct log_msg { char data[LOG_MSG_MAX]; int len; }; static struct log_msg ring[LOG_QUEUE_SIZE]; static _Atomic unsigned int head, tail; static _Atomic unsigned long dropped; int log_enqueue(const char *data, int len) { unsigned int h atomic_load_explicit(head, memory_order_relaxed); unsigned int t atomic_load_explicit(tail, memory_order_relaxed); if (len LOG_MSG_MAX || h - t LOG_QUEUE_SIZE) { atomic_fetch_add_explicit(dropped, 1, memory_order_relaxed); return -1; } struct log_msg *slot ring[h (LOG_QUEUE_SIZE - 1)]; memcpy(slot-data, data, len); slot-len len; atomic_store_explicit(head, h 1, memory_order_relaxed); return 0; }隊列參數(shù)有兩個隊列長度 8192 條、單條消息上限 256 字節(jié)算下來約 2MB 內(nèi)存對服務器和嵌入式主控都算可控。隊列滿時返回 -1上層可以選擇忽略也可以臨時降級成把消息寫到本地文件。注意這個無鎖隊列是單生產(chǎn)者多消費者才會真正無鎖多線程并發(fā)寫還是需要原子 CAS 或者直接退化成互斥鎖別把注釋里的簡化當真。日志線程從 tail 取消息再用 UDP socket 批量發(fā)送。批量發(fā)送的意思是攢 10 條或 10 毫秒發(fā)一次減少系統(tǒng)調(diào)用。日志不能因為發(fā)送超時反過來把業(yè)務卡死所以 send 要用非阻塞模式int flags fcntl(fd, F_GETFL, 0); fcntl(fd, F_SETFL, flags | O_NONBLOCK);這樣 socket 緩沖區(qū)滿時 send 返回 EAGAIN日志線程可以把這批消息繼續(xù)留在隊列里或者丟棄。沒有這個設置UDP 在極端情況下也會把進程拖住。4.3 UDP 丟包是常態(tài)用序列號打出第一個“空洞”UDP 514 傳日志默認就是丟。網(wǎng)上很多集中日志方案都遇到過機房間 0.1% 到 1% 的丟包率這不是網(wǎng)線問題是網(wǎng)卡緩沖、socket 緩沖和接收端處理速度三者不匹配造成。把日志都改 TCP日志流量一大TCP 的隊頭阻塞反而會讓堆積更嚴重。先做個壓測看清楚丟包。發(fā)送端用 bash 的 linux 腳本就行#!/bin/bash # 發(fā)送 20000 條 UDP 日志到本機 5514 total20000 start$(date %s%N) for ((i1; itotal; i)); do printf 14$(date %b %e %T) perf seq%d\n $i \ | nc -u -w1 127.0.0.1 5514 done end$(date %s%N) echo sent $total in $(( (end-start)/1000000 )) ms接收端用 python 統(tǒng)計序號空洞import socket import re s socket.socket(socket.AF_INET, socket.SOCK_DGRAM) s.bind((127.0.0.1, 5514)) seen set() while True: data, _ s.recvfrom(2048) m re.search(rbseq(\d), data) if m: seen.add(int(m.group(1))) if len(seen) % 1000 0: missing len(seen) and (max(seen) - min(seen) 1 - len(seen)) print(fgot {len(seen)}, missing {missing})參數(shù)里nc -u走 UDP-w1是等待收尾的超時防止循環(huán)卡死。這個腳本會把內(nèi)核 socket 緩沖打滿丟包率會真實暴露???missing 值如果穩(wěn)定增長說明要么發(fā)送端太快要么接收端處理不過來。先調(diào)接收端緩沖參數(shù)sysctl -w net.core.rmem_max8388608 sysctl -w net.core.rmem_default8388608再不行就要考慮在發(fā)送端做批量合并。真正關(guān)鍵的高價值日志直接走 TCP 或者 RELP不要指望 UDP 重傳日志場景下重傳只會加劇擁塞。4.4 嵌入式 Linux 下的 syslog 差異嵌入式系統(tǒng)資源少rsyslog 太重常見的是 busybox syslogd。它沒有 rsyslog 的規(guī)則引擎facility 和 severity 過濾能力很弱所以程序內(nèi)自己做級別裁剪更重要。busybox syslogd 常用參數(shù)syslogd -n -s 64 -b 1 -R 192.168.1.10:5514-n表示不 fork 到后臺適合交給 init 或 systemd 管理-s 64限制單個日志文件最大 64KB-b 1保留 1 個輪轉(zhuǎn)備份-R指定遠端日志服務器。嵌入式 Flash 存儲有限別貪心設大日志文件否則設備跑幾個月后壞塊先找上門。內(nèi)核日志和用戶日志在嵌入式上很容易混在一起。dmesg看的是內(nèi)核日志來自 /proc/kmsg用戶的 printk 由 console_loglevel 控制落不落串口。程序里的 syslog 消息別往 /dev/kmsg 寫那是內(nèi)核專屬權(quán)限要求也高。調(diào)試串口日志太多時調(diào)dmesg -n而不是去停業(yè)務程序的日志輸出。5. syslog 編程避坑5 個讓日志丟在路上的真實場景5.1 syslog() 返回 0系統(tǒng)日志里卻什么都沒有現(xiàn)象C 程序調(diào)用 syslog() 一切正常返回值是 0但 tail /var/log/syslog 看不到一條自己的消息。原因rsyslog 的規(guī)則把該 facility 定向到了別的文件*.info的默認規(guī)則根本沒匹配上你寫的 facility或者等級低于規(guī)則門檻比如規(guī)則只收 info你打的是 debug。日志從應用進 /dev/log 只是第一步后面 rsyslog 過濾是第二個黑匣子。解決先用 logger 做對照實驗區(qū)分是應用問題還是系統(tǒng)配置問題。logger -p user.info probe from logger logger -p local0.info probe local0 tail -f /var/log/syslog如果 logger 的 user.info 能看見local0 看不見就去查 local0 被哪條規(guī)則接管grep -rn local0 /etc/rsyslog.conf /etc/rsyslog.d/常見處理是把規(guī)則指到業(yè)務自己的日志文件比如local0.* /var/log/myapp.log。改了配置記得systemctl restart rsyslog。5.2 跨年后時間錯亂遠程日志相差 8 小時現(xiàn)象日志里時間顯示無年份跨年的兩天日志翻起來順序顛倒內(nèi)網(wǎng)多臺機器日志時間差一個時區(qū)。原因RFC3164 的頭部沒有年份和時區(qū)。設備時間如果是 UTC接收端按本地時間解讀東八區(qū)自然差 8 小時。這個坑在 syslog.rar 這類老工程里幾乎是必踩的。解決盡量讓發(fā)送端直接發(fā) RFC5424 格式時間戳帶時區(qū)或者高價值日志在消息體里自己拼一個 epoch 字段。統(tǒng)一所有服務器系統(tǒng)時區(qū)為 UTC展示時再轉(zhuǎn)本地時間這是集中日志平臺的標準做法。不要在應用層把時間先轉(zhuǎn)成字符串再發(fā)接收端格式化才是正路。5.3 日志一多業(yè)務調(diào)用跟著變慢現(xiàn)象日志量從每分鐘幾百條漲到幾萬條后業(yè)務接口耗時漲了三分之一strace 發(fā)現(xiàn)卡在 sendto 附近。原因syslog() 默認是阻塞寫 /dev/log內(nèi)核緩沖滿后寫操作等待glibc 內(nèi)部還有鎖日志風暴時所有調(diào)用 syslog() 的線程互相排隊。rsyslog 接收端如果解析慢連鎖反應又讓緩沖堆積。解決先看實際緩沖壓力。cat /proc/net/unix | grep /dev/log ss -lnp | grep :5514臨時調(diào)內(nèi)核緩沖只能緩解sysctl -w net.core.wmem_max4194304 sysctl -w net.core.wmem_default4194304根治是 4.2 的隊列方案業(yè)務線程只入隊發(fā)送線程批量處理發(fā)送 socket 設 O_NONBLOCK緩沖滿直接丟并記 dropped 計數(shù)。記住一個原則日志可以丟業(yè)務不能卡。5.4 容器或新環(huán)境里連 /dev/log 報 Permission denied現(xiàn)象程序部署進容器后syslog() 打通了但系統(tǒng)日志目錄里收不到strace 顯示打開 /dev/log 時 Permission denied。原因容器里沒有宿主機的 /dev/log或者掛載了但權(quán)限不對。宿主機 /dev/log 通常是 socket 文件屬主 root:root權(quán)限 622普通用戶能寫嗎很多場景是不能的??釉谌萜骼飸门茉诜?root 用戶又沒有把宿主機的 /dev/log 掛進來。解決臨時方案是容器啟動時掛載宿主路徑docker run -v /dev/log:/dev/log ...但這會把宿主日志 socket 直接暴露給容器干凈的做法是容器內(nèi)應用把日志寫 stdout交給 docker logging driver要進系統(tǒng)日志就起一個輕量 syslog 代理進程把容器內(nèi) /dev/log 轉(zhuǎn)發(fā)到宿主機 rsyslog 的 5514 端口。注意容器內(nèi)起 syslogd 前先確認 socket 路徑不同基礎鏡像的 /dev/log 位置不一致。5.5 代碼在 Linux 編譯通過換個 Unix 就鏈接失敗現(xiàn)象同一個工程在 Linux 上gcc -o sender sender.c順利產(chǎn)出放到 Solaris 或老 AIX 上編譯鏈接階段報 undefined reference tosocket、bind。原因Linux 把網(wǎng)絡函數(shù)全塞在 libc 里傳統(tǒng) Unix 不是它們把 socket 相關(guān)函數(shù)放在 libsocket網(wǎng)絡解析相關(guān)放在 libnslMakefile 里沒鏈接這兩個庫。解決Makefile 里加一行。LIBS -lsocket -lnsl對應代碼里syslog()本身在 libc真正需要這兩個庫的是 3.3 那種直接建 socket 的收發(fā)端。順帶提一個同源坑壓縮包里的源碼如果從 Windows 解壓出來CRLF 行尾會讓 syslog 消息的 tag 后面多一個\r接收端正則匹配 tag 全失敗日志看起來是亂的。批量sed -i s/\r$//之后再對工程做一次 diff確認沒有內(nèi)容被誤傷。6. 用端到端時間戳驗證 syslog 鏈路一套能堅持到第二年的檢查習慣驗證 syslog 工程不能只看“消息出來了”還要看消息花了多久、有沒有靜默丟失。我的做法是給發(fā)送端打上本地納秒時間戳和自增序號接收端記錄差值。發(fā)送端關(guān)鍵行struct timespec ts; clock_gettime(CLOCK_REALTIME, ts); syslog(LOG_INFO, benchmark ts%ld.%09ld seq%d, ts.tv_sec, ts.tv_nsec, seq);接收端不要靠肉眼直接統(tǒng)計# 接收端命令過濾 bench 行算當前時間與 ts 的差值 tail -f /var/log/syslog | grep benchmark | \ awk {print $NF} | head -1000真正的鏈路延遲應該是發(fā)送端調(diào) syslog 到接收端磁盤落盤的間隔只有同一臺機器上同時跑收發(fā)端才能近似測出跨機器測的是網(wǎng)絡延遲加接收端處理延遲中間有時間校準誤差別把數(shù)字報得太精確。我現(xiàn)在的習慣是每改完一版日志代碼先跑十分鐘壓測留下 CSV 記錄再看 99 分位延遲而不是平均延遲。平均延遲會把定時批量發(fā)送攤得很平掩蓋偶發(fā)的緩沖打滿。壓測腳本就是第 4 章那個 bash 循環(huán)稍微收一下速率改成每秒 5000 條跑到穩(wěn)定再算 missing。另一個堅持到現(xiàn)在的習慣升級 rsyslog、換內(nèi)核版本、調(diào)整過 socket 緩沖參數(shù)之后必然用logger -n做一次冒煙回歸否則這類黑匣子會在半年后某次大促時突然發(fā)作。日志鏈路不值得炫技但它能決定你排障時是十分鐘定位還是熬一個通宵。希望幫到你。本文還有配套的精品資源點擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
伊人日日干| 夜夜撸日日操| 人人爽人人爽人人爽人人爽| 丝袜大香蕉| 日韩精品一区二区三区,四区,五区视频| 99精品小视频| 婷婷十月丁香| 人妻肉射免费观看| 蜜桃婷婷五月| 五月天激情综合在线| 日韩人人操| 五月婷婷影| 99热免费看| 99在线观看亚洲| AV大片在线观看| 亚洲午夜av| 五月天婷婷在线视频| 日韩草草草草草草草草草草草草| 婷婷色在线观看| AV中文字幕夜夜操b天天摸bb | 久久一品区| 日本少妇裸体做爰高潮片| 99丁香五月婷| 久久婷婷久久| 五月丁香婷草| 草一草avb| 久久五月天婷婷| 爱草视频在线观看| 五月丁香成人| 婷婷丁香五月六月激情| 天堂婷婷丁香六月网| 啪啪色激情五月天| 丁香五月天信号| 无码髙清| 97操操操| 五月婷婷色欲| 五月丁香亭亭电影久久| 狠狠久久婷五月综合色| 综合在线观看99| 大学生高潮无套内谢视频| 色六月婷婷| 色偷偷五月天| 天天操无码| 婷婷激情视频| 丁香五月天综合| 五月天大香蕉| 伊人激情AV一区二区三区| 五月丁香六月婷婷啪啪| 中文字幕乱码亚洲精品一区| 婷婷综合中文字幕| 色色丁香五月天社区| 色色亚洲99com| 日本黄色三级片内射| 99精品成人无码A片观看金桔| 五月丁香免费看| www色五月| 五月婷婷人人人操| 色色色色综合网| 九九综合久久| www.99色在线| 偷拍91九色| 98色花堂98t.R| 综合99综合久久久久久久| 色婷久久| www,婷婷五月天777me,com| 天天狠狠插| 啪啪啪啪五月天| 五月婷婷丁香大陆免费| 亚洲精品午夜国产va久久成人| 婷婷五月天电影区小说区| 婷婷五月视屏| 深爱激情五月网| 欧美25p| 亚洲国产99| 99综合网| 98热精品| 婷婷她六月天| 久久丁香五月婷| 日日干日日| 六月丁香综合| 久久婷婷五月综合色欧美| 六月婷婷综合网2| 久久99三级在线视频| 天天干,天天操,天天射| 九九视频这里只有精品在线播放| 另类激情五月天| 天天操夜夜操| 亚洲人妻av伦理| 97色五月婷婷在线| 亚洲AV综合在线观看| 婷婷和五月天| 天天干天天干天天干天天干天| 色五月丁香婷婷久草| 人人操99| OYIWbGcPu8H| 日韩欧美一道四区中文字幕| 在线五月色播| 久久综合中文字幕| 一级片操逼视频| 国产亚洲av片| 五月丁香六月婷婷在线小说视频| 99爱视频| 啪啪九九色| 婷婷丁香宗合888| 五月伊人综合| 美国十月色婷婷在线观看| 五月综合视频| 色老久久| 日本五月视频| 色婷婷激情| 六月丁香婷婷综合影院| 97色伦另类图片小说视频 | 亚洲激情网站无码| 99热这里都是精品| 日韩 mm 不卡| 不卡影院午夜理论片| 久9视频免费播放| 被强行糟蹋的女人A片| 国产亚洲色婷婷久久99精品91 www.riverspirits.org www.hnnun.com www.changh | 天天做天天爱天天高潮| 久久久91| 五月丁香偷拍| 中文AⅤ大全| 成人在线视频网| 99热在线观看这里只有精品| 午夜少妇在线观看视频| 综合亚洲六月婷婷在线| 91九色视频| 婷婷丁香激情五月天色色色| 停停色综合伊人| 91精品久久久久久久久| 1024你懂的欧美曰韩| 五月婷婷新网站| 综合图片色色| 国产性爱色| 日韩欧美四五区| 欧美大香蕉视频| 五月天开心色色网| 色婷婷五月网| 日比网免费国产| 成人视频一区| 婷婷色在线观看| 激情五月天婷婷色色色色色色色色色色色 | 久久99久久99精品免观看软件 | 丁香五月电影| 久久香视频| 开心婷婷五月天电影院| 97福利视频| 99热久草| 五月婷婷久久久| 欧美人人超级碰| 婷婷五月天成人综合网| 精品热九九| 婷婷色五月综合丁香| 婷婷色色丁香五月天| 丁香婷婷浪潮AV久久综合| 狠狠干狠狠干狠狠干狠狠干| 婷婷五月天99综合网站| 69色色视频| 国产毛片精品一区二区色欲黄A片| 色区久久| 特级西西4444www无码| 99re在线精品视频| 丁香五月天堂| 五月婷婷开心色伊人| 99在线热| 激情六月丁香综合| 色五月激情五月| 99这里精品| 亚洲天天| 国产淫熟妇| 亚洲乱码日产精品BD| 五月丁香激情综合啪| 九九碰九九爱97超碰| 色九月婷婷综合| 狠狠色97| 这里只有视频精品| 91碰免费视频| 婷婷娌伦网| 色婷婷在线影院| 久草热在线视频| 五月丁香综合影院| 五月天色婷婷综合| 丁香婷婷色五月天| 天堂成人久久| 久色网| 婷婷五月天伊人在线| 99精品在线观看| 99热这里有精品6| 超碰AV在线| 99热思思在线观看| 亚洲丁香婷婷| 影音先锋色婷婷| 久99久视频| 欧美日综合| 婷婷热婷婷色| 中文字幕婷婷在线| 久久精品这里只有精品免费首页| 亚洲九九九九| 99久久精品国产色欲| 九九aV| wuyuedingxiang99| 久久ri精品视频| 久色大| 婷婷的99视频网站| 青青草大香| 五月天开心激情综合网| 99在线免费视| 久热久re| 五月婷婷综合网| 婷婷丁香五月天中文字幕| 欧美日韩日韩成人| 婷婷五月成人| 思思热在线观看| 婷婷色中文字幕| 秋霞免费视频| 欧美综合123区| 色色热99| 天天色99| 色综合99无码 | 99热啪啪| 99色免费观看全部| 亚洲第一色网站| 婷婷五月天丁香综合网| 丁香婷婷五月| 影音先锋偷偷色男人站| 人妻操操色| 91超级碰在线| 天堂二区| 五月丁香成人网| 天天综合中文| 操逼福利视频| 婷婷亚洲天堂| 久久超级碰视频| 人人草人人舔| 综合色五月| 五月综合激情视频| 亚洲美女婷婷五月天| 九月婷婷综合在线| 中国丰满熟女A片免费观| 99热亚洲| 啪到高潮激情丁香五月| 亚洲综合干| 五月丁香在线观看99| 天天弄天天操| 99这里只有精品|v| 久久 婷婷 五月天| 色综合色色色| 丁香五月乱中文字幕| 色婷婷黄色网络| 亚洲婷婷综合视频| 97超级碰| 热91久| 另类天堂| 9久国产精品| 日本成人小说婷婷六月| 91啪级电影| 色一情一乱一乱一区91| 热99精品视频五月| 丁香激情五月| 丁香五月婷婷欧美激情-中文天堂最新版在线观看 | 色五月天激情| 香蕉婷婷色五月| 婷婷丁香色女人| 色婷婷99| 婷婷综合视频| 五月天开心网| 99在线精品视频| 99热综合网| 五月开心激情| 五月丁香免费看| 丰满人妻一区三区三区| 狠狠狠激情网| 精品人妻久久久久久久| 五月婷综合网| 激情综合色五月丁香六月亚洲| 夜夜骑操AV| 久久五月视频| 丁香婷婷人妻| 丁香五月婷婷综合视频| 五月亚洲激情| 天天操天天操综合| 激情五月婷婷综合网| caopeng超碰| 五月丁香六月色婷婷综合五月天| 久久婷婷五月国产色综合激情| 任你爽精品免费视频6| 涩涩婷婷五月| 九九综合精品| 九九爱这里只有精品| 九九热a| 九九综合九九| 久久婷婷激情五月天一区二区| 五月丁香免费视频| 色激情综合狠狠婷婷| 激情网战码亚洲A| 婷婷丁香六月| 精品一区二区三区四区五区六区介绍| 五月婷婷久久激情| 日本熟女一区二区| 丁香五月婷婷在线观看| 色你久久| 97色婷| 国产亚洲精品AAAA片APP| 色播五月婷婷| 亚洲黄色操逼| 日韩在线99| 996er热| 337p大胆噜噜噜噜噜91Av| 99久热在线精品| 五月天婷a在线| 色爱99| 开心五月婷| Www.激情| 91久久久久久| 大香蕉久久青青| 亚洲AV久久久久久久久久久久久久久久| 成人免费超碰| 一起草Av| 插插五月天| 久热网在线视频| 丁香五月激情网| 婷婷五月天激情小说| 色色色色网| 中文字幕丰满孑伦无码专区| 六月丁香成人| 99re熱| 亚洲九九99精品视频在线播放| 五月丁香六月婷婷国产视频| 综合色五月| 丰满老熟妇BBBBB搡BBB| 伊人网啪啪| 亚洲久热| 五月丁香天堂网| 久久作爱| 日本www免费九九| 日本九九网| 色热久资源| 开心色播色五月婷婷| 久久五月丁香| 国外亚洲成AV人片在线观看| 玖玖婷婷婷丁香五月| 激情图片亚洲| 538在线精品| 欧美成人A片AAA片在线播放| 熟妇天天综合| 久久久久久久综合狠狠综合| 噜噜狠狠色综无码久久合欧美| 国产一级片| 婷婷99狠狠躁天天久久久九九九| 99九九在线精品热动漫| 狠狠五月综合在线| AA丁香综合激情| 9色在线视频精品观看| 亚洲AV成人在线| 这里只有九九精品| 99热精品中文字幕| 色九月国产| 日日操夜夜爽天天天| 久久久久久人妻| 丰满老熟妇BBBBB搡BBB| 91狠狠色| 久久久久人妻| AV在线免费观看不卡| 91色色色| 五月激情网站| 日本欧美999久久久三级片| 五月五婷婷网| ww久久| 玖玖伊人网| 六月婷婷网| AA丁香综合激情| 九九99九九精品免费| 国产欧美第五十五页| 亚洲色亚洲精品| 丁香五月五月婷婷| 九色自拍| 操逼三区| 91精产一区三区免费观看| 国产一区男女| 免费做A爰片77777| 丁香婷婷精品视频| 天天肏夜夜肏| 操操天堂| 九九热视频99| 亚洲小电影在线观看黄999| 五月婷网站| 五月天色综合| WWW色五月天| 激情综合亚洲| 日本3级片偷拍网站| 亚洲va在线∨a天堂va欧美va| 香蕉久久国产AV一区二区| 色五月天激情| 久久新地址| 在线99色| 色婷婷天堂| 久久一品区| 99日这里只有精品| 免费一区二区三区| 丁香五月婷婷激情中文| 午夜激情四射影院| 九九色综合九九色| 久久久人人操A V| 婷婷五月天首页| 亚洲乱码日产精品BD| 99热在线里有精品| 校花娇喘呻吟校长陈若雪视频| 天天搽天天射| AA片在线观看视频在线播放| 69er小视频| 国产欧美精品AAAAAA片| 五月婷婷九| 五月丁香六月激情网站| 久热这里只有精品视频免费观看| Av中文在线| 国产成人+亚洲+欧洲| 97操资源婷婷| 五月综合激情视频在线| AV成人在线播放| 色私五月婷婷| 伊人春天av| 色欲天天综合网| 99rewww| 少妇性按摩无码中文A片| 婷婷亚洲激情在线观看视频| 伊人网色婷婷五月天| 丁香五月在线看| 婷婷五月综合免费在线| 99玖玖免费视频| 99ri在线观看视频| 国产精品人成A片一区二区| 五月婷婷网久久| 精品久久穴| 五月婷婷五月天亚洲无码| 99精品久| 操碰99| 天天玩夜夜操天天爽| 亚洲人妻av伦理| 俺去啦综合网| 激情婷婷在线中文字幕| 深爱五月婷婷| 丁香婷婷五月| 天天做天天爱天天搞| 色色色网站| 激情综合色婷婷啪啪六月天| 六月丁香六月婷婷欧美| 丁香激情网| 欧美va欧美va差| 久久新| 婷婷五月天色| 亚洲综合五月天婷婷| 99久在线精品| 99精品视频免费观看近期发布| 五月的色婷婷高潮| 激情五月开心五月在线视频| 涩婷婷视频快播人妻| 日韩人妻在线观看| 五月天色婷伊人| 69五月天视频| 婷婷日| 五月婷婷与六月丁香图片激情| 丁香六月啪啪啪| 亚洲综合五月天婷婷丁香| 中文字幕av久久爽| 婷婷六月丁香开心深深爱| 五月天另类小说久久小说网| 亚洲日日操| 五月婷婷综合天天操| 中文字幕综合网| www.五月天。com| 五月天丁香成人| 色噜噜狠狠色综无码久久合欧美| 五月婷婷丁香啪啪| 开心五月色婷婷综合开心网| www五月| 91九色无码内射| av婷婷丁香 六月| 丁香婷婷六月男男| 五月天大香蕉av| 91一起操| 亚洲成人中心| 99久久天堂婷婷| bbwcuckold精品熟妇| 亚洲激情五月天| 免费看欧美成人A片无码| 激情婷婷久久| 26uuu| AA片在线观看视频在线播放| 丁香婷婷六月激情文学| 五月婷婷久久大香蕉| www.91热久久| 伊人丁香五月| 99色在线| 五月丁香婷婷色色| 五月婷婷激情| www.玖玖婷婷在线| 极品五月天| 九九Av| 婷婷精品在线| 国产激情在线| 91丨九色丨老农村| 久久这里有精品视频| 女人高潮内射99精品| 99热老司机| 九九在线精品| 亚州第一A片| 久久久99精品| 亚洲乱码日产精品BD| AV堂狠狠干| 美女网黄| 色欲影香| 九月婷婷色色| 婷婷五月丁香花综合| 吉澤明步Av一區二區| 爱99干99| 日日噜狠狠色综合久久| 欧美性生交xXxX久久久| 嫩草综合网| 另类视频五月天| 激情五月丁香五月| 99久久激情视频| 丁香婷婷六月天| 欧美色色色色色色色色色色| 国产精品色婷婷99久久精品| 国产三级片91| 91超碰在线播放| 亚洲性爱电影| 超碰免费成人| 久机视频这只有精品| 99九九在线| 久久精典| 日韩色色色色色| 久久ab| 操人91| 日本九九九九| 99re熱| 色色亚洲| 婷婷五月丁香基| 成人视频网| 就爱啪啪婷婷| 色综合视频在线| 99热视精品| 在线不卡AC| 激情五月天伊人av| 婷婷玖玖五月天| 99ri精品在线| 九九碰九九爱97| 99热6精品| 天天做综合| 成人在线视频网| 综合欧美五月婷婷| 爱爱网址9| 天天爽夜夜爽天天爽夜夜爽| sewuyuetingtingiii| 99a级片| 丁香色婷婷| 99热自拍| 亚洲噜色| 色婷婷激情四射视频| 伊人久久99| 五月综合视频在线| 婷婷亚洲在线| 狠狠色噜噜狠狠| 任你爽视频| 激情五月婷婷| 99视频在线精品免费观看2| 91丁香| 久久久18| 久久婷婷五月天激情| 超级碰碰碰久久网站| 极品另类| 99热在这里只有免费精品| tingtingcaobi| 丁香六月久久| 激情四射五月天偷偷看婷婷| 新激情婷婷| 婷婷五月色激情欧美激情| 97婷婷色| 超碰cap| 久久电影4399| 丁香五月婷婷成人综合| 综合亚洲AV| 丁香五月六月综合激情| 久热播这里只有精品| 超碰a女人的天堂| 激情色播| 亚洲成人五月| 色噜噜伊人| 偷拍99在线视频观看| 五月丁香啪啪激情| 99热精品一| www.五月婷婷.com| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 能看的AV网站| 五月天婷婷爱| 国产免费性爱| 欧洲不卡视频| 五月天婷婷黄色| 色婷婷丁香综合中文字幕| 农村熟妇高潮精品A片| 久久a热| 丁香五月激情天AV无码| 国产精品成人网站| 五月天开心网| 久大香蕉| 日本激情五月天‘| 激情深爱五月婷婷| 婷婷色基地在线看 | 五月婷婷无码专区| 五月婷啪| 强奸幻女毛片| 久久在线视频免费观看| 久操激情| 天天高潮夜夜爽| 久久婷婷成人视频| 99a级片| 久久婷婷五月综合色丁香花| 日日色综合| 草综合14| 五月婷婷六月奇米网丁香| 色九网| 久久婷婷综合色丁香| 久久综合99| 国产.亚洲.欧洲视频在线| 99爱最新免费视频在线观看| 无码se| 六月婷婷视频| 97超喷视频在线观看| 色色激情五月天| 久99久在线观看| 79色色| 五月婷婷久久内射| 99热这里只有99| 久99久视频免费观看| 婷婷亚洲在线| 97在线观视频免费观看| 丁香五月欧美| 亚洲超碰在线| 99热综合色图| 天天激情欧美美女| 噜噜久| 久久奄也去色色网站| 91狠狠综合久久久| 五月丁香激情婷婷| 无码动漫av| 9色操| 一区二区成人电影免费播放| 国产一区二区三区影院| 丁香成人五月天| 久操综合| 丁香婷婷九月| 成人婷婷| 啪啪操超碰| 99精品视频免费观看| 婷婷色av| 可以免费看AV网站| 伊人久久丁香婷婷六月五月综合| 五月丁香婷婷婷婷综合网| 六月婷婷无码| 可以免费看av网站| 欧美婷婷六月丁香综合色连续高潮抽搐 | 婷婷久久天堂网| 伊人大香蕉爱聚| 五月成人丁香av91| 天堂久久丁香| 伊人久久丁香狠狠婷婷综合香蕉 | 国产67194| 99久热在线精品| www.97碰碰com| 天天人人人人人人人人人人人| 亚洲成人婷婷| 亚洲五月停停| 免费看成人747474九号视频在线观看| 日本狠狠色| 五月天婷婷AV| 五月婷婷99热| 婷婷丁香十月| 天天干一干| 无码少妇高潮喷水A片免费| 日日干夜夜干| 婷婷五月欧美综合| tingtingseav| 97超碰欧美中文字幕| 综合五月丁香97| 99热丁香五月| 日本三级韩三级99久久| 99色在线视频观看| 婷婷五月天在线综合导航| 五月婷婷这里都是精品| 国产精品A片| 久久偷拍综合五月天| 精品久久99码| 午夜激情综合| 婷婷综合视频| 亚洲三A| 婷婷丁香五月综合久久| 久久五月婷婷视频| 91日本在线| 香蕉婷婷色五月| 六月丁香综合网| 激情五月www| 色五月 五月婷婷| 亚洲成人影视在线观看| 69精品人人人人| 牛牛澡牛牛爽| 亚洲无码成人网| 秋霞性爱AV| 在线五月色播| 婷婷欧美激情| 日本一道久久| 99在线精品免费视频| 日韩五月婷婷久久| 色婷婷五月在线| 丁香五月婷婷久久久| 青青草六月丁香| 人妻啪啪啪| 操操碰| 中文字幕免费高清电视剧| 色婷婷久久9.com| 五月婷婷色综图片| 婷婷久久夜| 丁香午夜天| 天天色综网| 婷婷五月天VI| 久久总和99| 丁香五月婷婷六月婷| 六月色播| 开心五月激情网| 丁香操逼| 久久狠狠欧美| 开心激情网五月| 久热9| 久久婷婷超碰| 五月婷色色| 99人人操人人摸| 五月丁香婷婷在线| 婷婷大香焦| 大香蕉婷婷色| 五月婷婷九月婷婷九月婷婷| 91性高潮久久久久久久久| 久久久久久久11111111111| 97亚洲婷婷| 97色五月天| 色五月激情综合| 高潮毛片又色又爽免费| 五月婷婷狠狠干| 亭亭五月天黑人2014| www.色99| 激情五月天色色色| 九九热只有这里是精品| 婷婷激情人妻| 艹B高清无码| 亚洲精品成人| 四色99久久| 狠狠干综合| 五月丁香激情综合啪啪| 五月婷婷久久网| 亚洲永久四色| 日韩成人电影av| 伊人六月丁香婷婷| 国产成人+综合亚洲+天堂| 久久久噜噜噜操操操| 色五月成人婷婷| 中文在线成人| 26uuu成人网| 青青操绿aaa一区日v| www.五月天婷婷| 国产一级黄色影片,| 婷婷在线观看五月天在线视频| 九九精品免费| Www.sesese丁香| 日日日日做夜夜夜夜无码| 色99色| 日本久碰| 5月婷婷六月丁香| 久久五月丁香| 五月丁香婷婷综合久久| 丁香六月欧美| 国产激情一区| 九九草热在线观看| 天天操天天插| 午夜天堂啪啪| 久碰婷婷视频| 狠狠爱婷婷色| 五月草影视| 99热99艹在线观看| 99热精品少| 天天操天天曰| 超碰人人干| 六月婷婷久久| 日亚二欧美| 五月婷婷六月丁香综合| 91五月花丁香| 男女久久婷婷五月天| AA片在线观看视频在线播放| 婷婷激情小说网| 九热...av| 国产97色在线 | 日韩| 天天日本夜夜谢| 99久久婷婷综合| AV79| 伊人激情综合| 丁香五月婷婷综合网| 99免费超碰在线| 狠狠色狠狠鲁| av国产精品| 5月丁香综合网| 男女啪啪做爰高潮无遮挡| 天天日天天干天天爱| 激情五月天 婷婷| 99综合免费视频| 亭亭色色五月天| 丁香五月综合| 99精在线| 欧日美女Va| 天天综合色| ss五月天激情| 欧美性猛交 XXXX 乱大交| 丁香 婷婷五月| 日本欧美成人片AAAA| 天天综合干| 国产午夜精品一区二区三区四区| 开心日韩丁香婷婷五月| 五月天网址在线刘玥| 久久有码| 国产在线网址1| 五月第四色| 大香蕉人人网| 激情综合99| 99操久久| 成人午夜无码视频| 色婷婷综合五月| 婷婷丁香红五月91C| 色情综合网| 色99超碰| 99操逼视频| 思思99热热热99| 国产精品扒开腿做爽爽爽A片唱戏| 丁香婷婷六月天| 国产毛片操B| 国产视频婷婷| 久草视频一,二三四| 天天日,天天插| 丁香五月色播中文在线播放| 97久久久久久久久久久| 婷婷五月激情在线视频| 人妻激情视频| 日日天天干| 欧美黑人巨大猛烈cuckold| 97色 五月天丁香| 亚洲成人五月| 婷婷五月激情网| 极品少妇高潮啪啪AV无码| 五月婷婷狠狠干| 伊人玖玖综合| 九热视频| 26UUU在线观看| 91九色在线观看免费| 黄色成人网站在线播放| 秋霞黄色一级久久| 婷婷五月天性色| 999热这里只有精品| 久婷婷| 丰满少妇乱A片无码| 99在线精品在线视频| 丁香激情四射| 日本欧美成人片AAAA| 婷婷丁香综合| 影音先锋四区| 日本精品人妻无码77777| 丁香五月婷婷在线观看| 五月丁香香蕉| 桃色五月婷婷| 欧美日本国产欧美日本韩国99| av 一区三区四区| 青青草99re| 久久久18| 欧美激情综合色综合色| www.婷婷六月天| 日本人妻伦在线中文字幕| 亚洲色五月天| 欧洲亚洲免费视频9| 亚洲啪啪精品| 天天射影院| 天天做天天爱天天要| 久久久人妻人伦| 91精选国| 四色五月婷婷| 激情丁香五月天图片| 久热久色| 激情五月婷婷她| 五月综合色| 五月丁香六月情| 日韩五月婷婷| 91热网址| 婷婷在线网| 日日噜狠狠| 丁香五月激情图片| 婷婷激情肏屄网| 激情av网| 国产精品第一国产精品| 在线视频99| 99热精品9| 99久久九九| 毛片蕉地一二| 欧美性猛交99久久久久99按摩| 夜夜躁婷婷AV| 五月天伊人手机在线播放AV| 99啪啪| 99玖玖人人| 欧美色片中文字幕久久久久| 久久婷五月天| 丁香婷婷基地| 开心五月综合激情综合五月| 丁香五月影院| 碰碰操91| 综合狠久久| 国产一级片| 亚洲最大在线| 色五月激情| 丁香五月天激情综合网| 天天爽在线视频| 午夜婷婷久久| 五月丁香激情综合网官网| 天天综合网站| 91色久| 丁香五月伊人| 五月天色视频| 成人婷婷深爱综合网| 狠狠综合| 日韩色久| 91色碰| 雪千夏麻豆| 国产成人精品一区二三区熟女在线 | 色色色色色综合| 亚洲精品小视频| 色五月综合婷婷久久综合婷婷久久综合婷婷久久综合婷婷久久 | 九九热在线精品| 97热这里精品在线视频| 婷婷五月天高清无码| 天天干天天 亚洲| 深爱 五月天| 久热欧美| 五月丁香啪啪综合| 色一情一乱一乱一区9| 五月婷婷综合天天操| 五月天电影网| 99精品久久| 这里只有精品视频在线| 99综合在线| 大香蕉欧美在线| 直接看的av| 男人的天堂五月丁香| 79色色免费| 99色丁香婷婷综合网| 99精品视频在线6| 五月丁香A片| 亚洲中文字幕AV| 六月婷婷av| 欧美色久| 亚洲成人AV在线播放| 六月激情婷婷综合| 1999天天操夜夜操| 黄久久久| 色综合久久88| 久久久久久久8| 99视频久久久| 91色在线 | 日韩| 久久jiuwww| 色综合色色色色| 五月间天堂综合| 男人的天堂97| 五月丁香色综合| 五月婷婷色啪| 色吧婷婷| 91婷婷丁香| 久久综合99| 婷五月丁香俺| 丁香六月婷婷综合色| 国产99美少妇| 激情播丁香| 丁香婷婷人妻综合网| 我要色综合五月婷婷| 白天AV月月| 丁香五月天视频在线播放| 久久久精品色色色| 很很干天天干| 色欲久久久久久综合网综合网| 五月婷婷,狠狠操| 熟女激情网| 夜夜爽天天干| 国产精品色| 色婷婷呢狠禁久禁| 婷婷五月天亚洲综合网| 一区二区三区XXXXXX| 99婷婷国产最新视频| 色人久久| 色97综合婷婷天天色| 涩涩网五月天| 精品久久久人妻| 美国十月色婷婷在线观看| 丁香激情网| 五月天丁香| 北京熟妇搡BBBB搡BBBB| 99色人| 影音先锋男人资源站一区二区| 99riAv1国产在线观看| 日韩色色色色色| 五月在在观看| 五月第四色| 9久热在线视频精品| 99热精品在线在线| 日韩黄在免| 激情婷婷网| 色五月丁香五月| 五月丁香拍拍激情综合| 色五月天本日| 特黄三级片| 无码少妇高潮喷水A片免费| 高清免费在线视频| www.henhenl| 婷婷另类开心| 激情五月天小说|五月天开心激情网|亚洲精品国产自在现线|黄色五月天 | 超碰a女人的天堂| 欧美欧盟性爱网| 人人人操B超碰| 久超超碰| 国产欧美精品AAAAAA片| 99国产欧美视频| 人妻av在线| 亚洲精品五月| 五月婷婷色综图片| 久久视频在线视频| 人人叉久| 开心五月激情| 激情丁香六月| 亚洲综合激情五月久久| 一本色道久久综合狠狠躁一二三| 99狠狠| 五月激情偷拍婷婷| 久久玖玖综合| 亚洲精品国产熟女久久久| 久热伊人9| 99re这里只有精品国产99| 久久人妻伦理| 丁香成人五月天| 9久9久9久女女女九九九一九| 超碰人人射| 欧洲免费视频色| 99精色| 五月婷九九草| 天天插天天插天天日| 99免费热视频在线| 激情五月综合| 97热久久| 26UUU在线观看| 九九九九综合| 1024欧美看片| 丁香五月婷婷久久综合激情网 | 亚洲天堂aaaa| 开心激情站| 麻豆雪千夏| 天天擼久久擼在线| 色婷婷www| 97久久超视频| 丁香五月婷婷成人综合| 任你爽免费视频| 秋霞九九无码| 色欲婷婷夜夜| 日韩av在线免费观看| 色综色网| 五月丁香六月婷婷,婷| 五月丁香在线| 婷婷五月天99综合网站| 四月婷婷五月色综合| 五月婷婷天天| 丁香花社区av| 丁香五月综合色婷婷| 婷婷五月电影| 成人视频免费观看高清完整版在线观看| ri电影在线| 色噜噜狠狠色综合成人99| 丁香操逼| 六月五月久久丁香| 99热在这里只有精品| 色婷婷激情四射视频| 国产在线另类五月婷婷| 五月天激情四射| 久热黄色| 26uuu精品一区二区| 97久久久久久久久久久| 狠狠草天天草| 99人人干| 中文字幕激情综合| 思思热精品在线观看| 国外亚洲成AV人片在线观看| www.zbzhongsen.com| 亚洲人人操| 欧美婷婷色五月网| 丁香五月六月激情| 天天射影院| 九九成人精品免费视频| 99欧州偷拍视频| 99资源在线| 这里只有精彩亚洲视频推荐| 少妇高潮呻吟A片免费看软件| 99小视频在线| www.五月婷婷| 婷婷五月丁香欧洲| 色色色色色色网| 久久久久久婷| 丁香婷在线| 色六月 婷婷| 99热在线这里只有精品| 被强行糟蹋的女人A片| 激情色中文| 人妻久久久久久久| 五月婷婷性爱| 99热网站| 六月婷婷色综合| 色九九综合| 日本超碰在线| 日本久久婷| 色播婷婷大香蕉| 爱操人妻| 黄网在线播放| 久久99久久99久久99人受| 特黄三级片| 成人视屏在线观看| 日本91在线| 九九av| 婷婷丁香社区网| 狠狠狠狠狠狠| 五月天激情站| 99re在线播放| 五月婷婷 六月丁香| 嫩草AV久久伊人妇女超级A| 深爱激情小说五月婷婷| 成人无码精品1区2区3区免费看| 激情婷婷丁香色五月综合| 日本欧美成人片AAAA| 99久久综合网| 久777| 婷婷激情社区| 色婷亚洲五月丁香| 久久99激情| 久久久WWW| 综合网激情| 亚洲avjiujiur91| 丁香五月五月婷婷欧美大香蕉| 婷婷五月丁香色情| av免费在线观看0| 日韩AV大全| 91chinese 在线| 九九99免费理论| 99热大全在线观看| 免费看欧美成人A片无码| 婷婷五月天激情视频| 五月婷婷激情啪啪| 五月天成人综合| 亚洲操逼片| 中文字幕在线观看视频www| 久久996re热这里只有精品无码| 丁香五月影| 九九婷婷五月天| 天天干天天干天天干天天干天天干| 在线sebiav精品视频| 五月婷婷六月情| 久操人妻| 欧美槡BBBB槡BBB少妇| 国产成人va在线| 久久九九re热| 超碰人人干| 婷久看人爽| 五月丁香色色色| 丁香五月人妻| WWW.夜夜操.com| 九九色婷| 射久久丁香五月| 婷婷放心五日爱| 影音先锋自拍网| www.夜夜操.com| 五月天激情小说| 91紱請| 五月丁香网站| 精品视频这里只有精品| 久久婷婷五月综合色丁香花| 五月丁香成人小说| 五月婷婷免费在线| 亚洲成人影视在线| 99热这里只有精| 久久视屏这里只有久久| 99色综合久久| 色99在线观看| 午夜性爱影视一区77| 成人在线高清| 久色激情| 五月激情久久| 色色色综合网| 无码字幕中文| 99久久综合网| 五月丁香欧美综合免费视频| 91 原创 在线 九色| 婷婷色五月激情| 激情VA视频| 精品久久二6| 婷婷五月天久| 五月天桃色深爱网| 综合久久六月| 婷婷偷拍网| www.婷婷五月天,com| 亚洲综合激情五月久久| 丁香五月综合在线观看| 亚洲色综合| 九月色婷婷婷| 久久精彩视频| 五月丁香成人视频| 色9色| 国产无人区大片| 五月丁久久| 91热久久| av中文网站| 综合五月丁香久久| 九九人人看| 国产人妻777人伦精品HD| 五月丁香好婷婷A片网| 九九热这里只有国产精品| 激情婷婷色色| 九九热内射| 婷婷在线视频| 久久看婷婷| 九九久久视频| 婷婷五月亚洲激情| 91chinese 在线| 五月天丁香婷婷网| 色色日本| 日日撸夜夜操| 大香蕉院线| 秋霞三级色戒| 成人中文字幕在线| 精品视频二级九九| 婷婷伊人网| 99碰网站| 丁香六月无码播放| 深爱激情小说五月婷婷| 欧洲综合视频| 91精品国产综合久久蜜芽解析速度| 欧美电影在线播放| 五月天大香蕉| 婷婷五月成人| 狠狠操性爱av| 激情婷婷综合| 97资源碰碰| 婷婷激情综合色五月久久图片| 婷婷婷婷午夜| 99热这里只有精| 六月丁香久久| 色爱综合网| 99热这里只有精品免费观看| a v色婷婷| 九月丁香婷婷综合激情| 人人妻人人澡| 女人天堂久久| 日本久久极品| av免费在线观看0|