在智能互聯(lián)產(chǎn)品誕生之前，數(shù)據(jù)的產(chǎn)生主要源于內(nèi)部運營和價值鏈上各個職能之間的內(nèi)部交付，例如訂單處理、供應(yīng)商互動、銷售互動和客戶服務(wù)拜訪等。企業(yè)可以通過問卷調(diào)查、市場研究和其他外部資源處所獲得的信息從而能夠?qū)@些數(shù)據(jù)進行補充。將這些數(shù)據(jù)進而綜合到一起，企業(yè)就會掌握一定的客戶、需求和成本信息，但其程度將會遠遠低于它們對自己產(chǎn)品功能的了解。

　　各個職能部門中通常分散了對數(shù)據(jù)進行定義以及分析的職責，造成了豎井效應(yīng)。盡管部門與部門之間也會分享數(shù)據(jù)。就好像銷售數(shù)據(jù)會用來管理備件的庫存，但這些分享規(guī)模有限，并且存在不定期的情況。從關(guān)注產(chǎn)品信息為入口

　　現(xiàn)如今，企業(yè)在上述傳統(tǒng)數(shù)據(jù)源之外，斬獲了一種全新的數(shù)據(jù)來源——即產(chǎn)品本身。智能互聯(lián)產(chǎn)品能實時產(chǎn)生數(shù)據(jù)，其容量之大和種類之豐富都可謂前所未有。今時今日數(shù)據(jù)已經(jīng)成為人才、技術(shù)和資本之外的又一項企業(yè)核心資源，在很多行業(yè)中，數(shù)據(jù)也許將成為決定性的資源。

　　這些產(chǎn)品數(shù)據(jù)本身價值就相當可觀。當它們與交易歷史、庫存地理位置、大宗商品價格和交通信息等其他數(shù)據(jù)融合到一起的時候，它們的價值將呈指數(shù)級增長。例如，在農(nóng)業(yè)生產(chǎn)中，濕度傳感器和天氣預(yù)報相互結(jié)合到一起，就能對灌溉系統(tǒng)進行優(yōu)化并節(jié)省水資源。

　　以車隊管理為例子，獲得每輛汽車或卡車的維護需求和地理位置信息，維修部門就能提前準備配件、預(yù)約保養(yǎng)時間并提高維修效率。當企業(yè)獲得產(chǎn)品使用和性能數(shù)據(jù)，保修數(shù)據(jù)的價值就會越發(fā)凸顯。就像在保修期內(nèi)，如果用戶使用產(chǎn)品過于頻繁的話，有可能導(dǎo)致設(shè)備受到損壞，那么公司就可以預(yù)先進行保養(yǎng)，以免日后產(chǎn)品損壞再進行保修導(dǎo)致更昂貴的維修成本。利用互聯(lián)網(wǎng)架構(gòu)化采集多元數(shù)據(jù)

　　數(shù)據(jù)基本就是兩類，一類是人類軌跡產(chǎn)生的數(shù)據(jù)，另一類機器自動產(chǎn)生的數(shù)據(jù)。這兩類數(shù)據(jù)構(gòu)成了我們今天的大數(shù)據(jù)多結(jié)構(gòu)化數(shù)據(jù)源。自工業(yè)革命以來，為了改進運營，制造商一直以來都在有意采集并存儲數(shù)據(jù)。

　　隨著時間的推移，數(shù)據(jù)在制造業(yè)分析的需求將越來越大。然在過去的250年間，利用數(shù)據(jù)的根本動因并沒有改變，但有數(shù)據(jù)的復(fù)雜性增強，以及將數(shù)據(jù)轉(zhuǎn)化為情報的能力將有越來越大的需求。從產(chǎn)品數(shù)據(jù)到企業(yè)智能運營的數(shù)字化過程中，企業(yè)管理者需要有系統(tǒng)化的架構(gòu)。

　　產(chǎn)品的最終是由客戶在使用，而所有的產(chǎn)品經(jīng)營管理過程中，有相當一部分是需要客戶的數(shù)據(jù)。通過互聯(lián)網(wǎng)，特別是移動互聯(lián)網(wǎng)上的相關(guān)工具包括社交媒體等平臺來收集客戶產(chǎn)品信息對于提升管理等各個環(huán)節(jié)非常關(guān)鍵。

　　網(wǎng)頁數(shù)據(jù)搜集系統(tǒng)的系統(tǒng)架構(gòu)其主要功能包括數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)洞察三個主模塊。整個系統(tǒng)采用分布式架構(gòu)設(shè)計。前端的數(shù)據(jù)采集模塊采用基于消息隊列構(gòu)建的爬蟲服務(wù)集群，中間的數(shù)據(jù)處理模塊采用分布式文件系統(tǒng)結(jié)合搜索引擎，后端的數(shù)據(jù)洞察模塊則通過分布式的內(nèi)存計算框架提供實時數(shù)據(jù)分析服務(wù)。自動高效與開放性

企業(yè)要實現(xiàn)網(wǎng)頁信息獲取的自動化，高效完成信息的搜集。網(wǎng)絡(luò)爬蟲數(shù)據(jù)搜集系統(tǒng)主要有兩點值得注意。第一，主要數(shù)據(jù)來源是企業(yè)外部，以互聯(lián)網(wǎng)信息為主。其次，爬蟲作業(yè)在前期進行初始化全量抓取時期工作量較大，后期的增量抓取工作量顯著減小，月數(shù)據(jù)量約為首月的3%~5%。針對這些特點，我們在構(gòu)建系統(tǒng)時需要考慮平臺的開放性。

　　由于爬蟲系統(tǒng)所采集的數(shù)據(jù)均來源于外部的公開信息，所以平臺本身的信息安全性要求不如其他系統(tǒng)那么高。所以我們在系統(tǒng)的使用策略應(yīng)該要完全基于云平臺來構(gòu)建。借助云平臺的靈活性，可以在系統(tǒng)運行的不同階段實現(xiàn)按需配置的目的。

　　從網(wǎng)頁爬蟲數(shù)據(jù)搜集系統(tǒng)的數(shù)據(jù)量來看，隨著時間的推移數(shù)據(jù)量不斷膨脹。所以對于這樣的系統(tǒng)平臺，從數(shù)據(jù)的抓取、數(shù)據(jù)的存儲、數(shù)據(jù)的處理、數(shù)據(jù)的運算和可視化能力都需要跟上數(shù)據(jù)膨脹的速度。所以系統(tǒng)的所有模塊采用了分布式架構(gòu)比較合理，可以非常方便地根據(jù)數(shù)據(jù)量的情況進行靈活的擴展。未來物聯(lián)網(wǎng)將匯聚來自智能資產(chǎn)通過大量感應(yīng)器和傳感器所聚集的生產(chǎn)制造所有相關(guān)的環(huán)境數(shù)據(jù)，而這些智能設(shè)備數(shù)據(jù)與我們的制造流程以及產(chǎn)品的客戶反饋數(shù)據(jù)聚合后，就形成了企業(yè)經(jīng)營管理大數(shù)據(jù)和分析能夠介入的著手點。制造業(yè)流程繁多且非常復(fù)雜，我們現(xiàn)在可以利用大數(shù)據(jù)和分析，對此前未解釋清楚的變量的影響進行評估，并結(jié)合起來理解它們對質(zhì)量問題的影響。對制造全環(huán)境進行信息收集，轉(zhuǎn)化為數(shù)字環(huán)境并分析的方法公然挑戰(zhàn)了傳統(tǒng)的注重關(guān)鍵少數(shù)的品質(zhì)思維?！?/P>