由于移動(dòng)應(yīng)用技術(shù)的持續(xù)性的快速發(fā)展現(xiàn)實(shí)生活中人們大多數(shù)都是通過(guò)移動(dòng)手機(jī)、電腦等智能設(shè)備來(lái)完成生活中的事務(wù)。因此許多的人工傳統(tǒng)行業(yè)也開(kāi)始與互聯(lián)網(wǎng)結(jié)合不再一味的依靠人工勞動(dòng)努力打造半自動(dòng)數(shù)字化甚至是全自動(dòng)數(shù)字化模式。于是以用戶(hù)購(gòu)物行為分析作為例子利用Python爬蟲(chóng)技術(shù)獲取商品金額分析、年齡段分析的數(shù)據(jù)并對(duì)這些數(shù)據(jù)進(jìn)行處理 然后對(duì)這些數(shù)據(jù)進(jìn)行可視化分析和預(yù)測(cè)。給人們提供一些客觀的數(shù)據(jù)方便他們參考這給今后的大數(shù)據(jù)系統(tǒng)維護(hù)帶來(lái)了便利同時(shí)也為將來(lái)開(kāi)發(fā)類(lèi)似的大數(shù)據(jù)系統(tǒng)提供了參考和幫助。Python爬蟲(chóng)技術(shù)目前來(lái)說(shuō)是比較常用的從網(wǎng)頁(yè)獲取數(shù)據(jù)的方法之一。而 Python語(yǔ)言也是比較受歡迎尤其是在人工智能和大數(shù)據(jù)領(lǐng)域有著廣泛的應(yīng)用。特別是 Python的第三方庫(kù)讓人們能夠通過(guò)簡(jiǎn)單的代碼解決更多的難題。同時(shí)對(duì)數(shù)據(jù)的處理也比較方便快捷。其中主要通過(guò) RequestsBeautifulsoup 進(jìn)行網(wǎng)頁(yè)分析和數(shù)據(jù)爬取 然后再使用 NumpyMatplotlibPandas 對(duì)所爬取的數(shù)據(jù)進(jìn)行可視化分析。還通過(guò)聚類(lèi)算法依據(jù)所爬取的數(shù)據(jù)進(jìn)行一個(gè)總結(jié)使我們了解用戶(hù)購(gòu)物行為分析的基本特征和分布情況。幫助那些需要的人做出決策。概要設(shè)計(jì)用戶(hù)購(gòu)物行為分析是基于Web服務(wù)模式采用面向?qū)ο蟮某绦蛟O(shè)計(jì)方法實(shí)現(xiàn)一個(gè)具有通用功能的模型結(jié)構(gòu)。使用該系統(tǒng)的條件僅是需要具備連上互聯(lián)網(wǎng)的能力并能夠通過(guò)移動(dòng)設(shè)備登錄系統(tǒng)。本系統(tǒng)分為前端和后端具體實(shí)現(xiàn)的系統(tǒng)功能結(jié)構(gòu)圖如圖4.1所示管理員點(diǎn)擊爬蟲(chóng)數(shù)據(jù)在爬蟲(chóng)數(shù)據(jù)頁(yè)面中對(duì)主鍵、商店id、標(biāo)題、關(guān)鍵詞、價(jià)格、店鋪、評(píng)論數(shù)量可以點(diǎn)擊新增、編輯或刪除等操作。如圖5.11所示