時間:2024-02-06 10:07:38
序論:好文章的創作是一個不斷探索和完善的過程,我們為您推薦十篇數據分析分析技術范例,希望它們能助您一臂之力,提升您的閱讀品質,帶來更深刻的閱讀感受。
云計算技術可以給提供計算機數據傳遞與共享的條件,融合軟硬件數據保存,促進計算機處理工作更好的開展。云計算技術可以給用戶提供良好的網絡環境與保存空間,處理數據傳遞環節的各項問題。與傳統大數據分析技術相比,云計算計算可以提高大數據分析質量。人們借助云計算技術獲得云終端的數據,切實滿足人們對于數據的需求。現階段計算機市場形成完善的結構體系,圍繞云計算技術推動計算機大數據分析工作的開展,奠定后期云計算技術發展的基礎。目前,人們生活中全面運用云計算技術,基于云計算技術研發的服務器及操作系統方便人們處理各類信息技術。同時,云計算技術數據保存有著較強的安全性,極小可能出現數據丟失情況,滿足人們的實際需求,直接體現出云計算技術的優勢。優化云計算環境下計算機的數據處理中心,就可以不斷提升計算機的云計算能力,讓云計算不僅為網絡信息所用,還在計算機網絡安全中發揮極為重要的作用。目前,計算機的使用人群更為注重的是在高速發達的信息社會,自己的信息,也就是使用計算機網絡的安全性能是否能得到保障,這時候考驗的就是云計系統的完善性。目前存在的最主要計算機安全問題就是黑客問題和系統漏洞問題。系統漏洞這一人為因素可以通過不斷檢索進行漏洞的發現和修補,面對黑客的攻擊,能夠做的就是防患于未然,不斷地升級和優化系統,最終達到完善的數據處理效果。
2云計算技術下計算機大數據分析面臨的問題
2.1網絡技術安全
由于相關技術的不斷發展,云計算環境下的網絡安全技術正在朝著穩定和成熟的方向發展,但在具體的應用過程中依然表現出一定的網絡安全問題,因此用戶在使用過程中應該做好相關的應對工作。網絡安全問題具體表現在用戶在使用信息傳輸的過程中,一旦出現服務性中斷問題,難以保證數據的安全性,啟動被動保護模式的情況使信息的安全性更加難以保障,這也成為云計算模式下的網絡技術安全中的重點問題,一旦得不到及時有效的解決,用戶在使用過程中就會受到不同程度的威脅。
2.2網絡環境安全
網絡環境安全是保證網絡正常使用,信息傳輸質量有保證的重要前提,一旦網絡環境存在不安全因素,將會引發病毒的入侵和黑客的攻擊。因此網絡環境安全也是云計算技術價值得以發揮的重要前提。計算機在使用過程中如果長期受到病毒的困擾和黑客的威脅,將會降低人們對計算機的信賴性,甚至在工作和生活中將會在網絡環境安全方面投入更多的成本。
3計算機大數據分析中云計算技術的具體應用
3.1數據傳輸安全分析
在云計算的作用下,云安全含義逐漸形成,具體來說,云安全主要指在用戶借助云計算技術來實現計算機大數據分析時,讓數據安全性得到了保證。用戶端數據和數據安全往往呈現出正比關系,隨著應用群體數量的增多,涉及的計算機數據范疇將不斷擴充,假設計算機遭受病毒的攻擊,可以在云計算技術的作用下實現病毒的攔截,以此讓計算機數據安全性得到保證。從云計算技術自身角度來說,其提供的各個服務均是由IaaS基礎設施級服務以及PaaS平臺級服務兩項內容構建而成。首先,IaaS基礎設施級服務其作用在于,可以給用戶提供對應的服務,也就是對各個計算機基礎設備進行操作和應用,其中包含了CPU處理、數據保存、數據傳遞等。其次,PaaS平臺級服務則是指,把云計算中各個服務器及開發環境當作服務,通過PaaS平臺用戶能夠結合自身需求實現對應操作流程的部署和應用。
3.2監督數據資源共享
網絡資源在傳輸過程中遭遇到的安全威脅是用戶時時刻刻關注的問題,因此在具體的工作和管理中,需要提高云計算網絡安全技術的應用程度,通過不斷創新安全模式,完善相應的防護體系,從而有效消除安全性問題,提升數據傳輸的安全性和穩定性。具體在應用過程中,可以借助云計算技術的優勢,對數據傳輸的整個路徑進行監控,保證傳輸通道環境的安全性,一旦出現問題及時進行預警,有效預防黑客的攻擊,降低網絡安全事故發生的概率。對此,有關部門應該提高重視程度,同時完善相應的監督管理制度,采用科學的管理方式,實現預期的監測目標。
3.3提高數據使用安全
計算機用戶本身的安全意識也是當前需要關注的重要方面,為了進一步提升用戶數據信息和計算機系統的安全系數,需要重視身份認證工作的提升,具體可以使用實名制的方式進行認證處理,從而不斷提升整個網絡結構的安全性。對于網絡應用過程中涉及到的安全問題,可以通過實名追蹤的方式進行可疑目標鎖定,從而有效控制惡意攻擊情況的發生。但在應用過程中也需要重視假人名情況的出現,提高網絡數據信息竊取的預防水平。計算機網絡環境算是一種相對開放的環境,在使用過程中會面向大量的用戶,通過重視用戶的身份認證,可以有效避免用戶對數據的非法訪問。同時在使用者進行計算機登錄和使用的時候,需要對用戶名和密碼進行核實。按照權限的不同,確保數據庫信息的安全有效性。通過對數據庫信息加密處理,可以確保數據庫信息的安全性。這種加密處理可以在原有數據信息的基礎上進行算法的處理改進,使用者可以通過自身的權限獲取想要了解的信息,如果沒有解密方式,不法分子將會難以獲取數據的原始信息。
3.4網絡安全等級防護
在云計算環境下的安全管理中心具備系統管理、安全管理和安全審計等功能,能夠滿足不同云計算環境下不同安全等級的保護要求,并且通過服務層的安全保護框架,實現對不同等級云服務客戶端的安全保護,為使用者提供安全可靠的資源訪問服務。在訪問云服務商時,用戶可通過通信網絡、API接口和Web服務方式訪問云服務器,但是用戶終端系統的安全防護不在網絡安全等級保護框架體系內。在保護框架體系內,資源層和服務層安全是云計算環境安全保護的重點,資源層包括物理資源安全和虛擬資源安全,應按照安全設計要求構建資源層安全保護框架。云計算環境下的網絡安全等級保護要針對不同等級云計算平臺確定不同的安全目標,一般情況下安全保護等級最低為二級,并根據安全目標和等級要求實施安全設計步驟,具體包括:第一步,根據云平臺的租戶數量和業務系統情況確定云計算安全保護標準,制定云計算平臺的安全保護策略,以避免在云計算平臺上發生安全事件;第二步,細化安全技術要求,針對安全計算環境、安全區域邊界、安全通信網絡以及安全管理中心制定出相應的安全保護策略;第三步,根據云計算功能框架中的各層功能和保護要求,制定安全技術機制,使其滿足云計算功能框架的安全保護要求。在完成云計算環境下的網絡安全等級保護設計之后,還應增加虛擬化安全、鏡像安全、接口安全等安全控制點,并采用訪問控制技術、身份識別技術等安全防護技術,實現與云計算平臺上各功能層次的對接,提出各層的安全保護措施。
3.5重視相應程序開發
中圖分類號:F503 文獻標識碼:A 文章編號:1674-098X(2014)04(a)-0021-01
對于數據分析來說,其主要的目的就是通過對數據的分析去發現問題或預測趨勢。從數據鉆取、大規模分析的技術手段、以及算法執行上來說,大規模分析是和小規模數據在技術上是有很大差異的。想要探究大數據下的智能數據分析技術,首先要對數據分析這一概念進行深入研究。
1 數據分析
數據分析的過程其實簡單的說就是做報告,做什么樣的報告反映什么樣的指標。最開始的時候基本上是data processing。例如零售行業來說,最主要的指標就是庫存、銷售同比增長情況、利潤同比增長情況、促銷率等等。對于不同的行業會有不同的相關的KPI需要跟蹤,所以報告的內容也會有所側重,但是只要你一個行業做久了,熟悉了套路之后,基本上就是以同樣的方法開展。
對于數據分析,如果公司部門分的比較細的(例如可能有建模組),那么做數據分析可能永遠都是做data processing了。對于模型的分析,需要你對業務有了深入的了解就可以建立一些模型出來(例如推薦模型)等等。
數據分析主要涉及的技能:
(1)數據庫的能力。越全面越好,如果不是理工科的,最起碼要會select那些簡單的查詢語句。
(2)EXCEL、PPT的能力。報告的呈現一般都是Excel+PPT的形式,最好VBA,這樣就可以將很多人工的工作轉化為自動化的能力,提高工作效率,領導也對你刮目相看,自己也有更多空余的時間準備其他方面的知識。
(3)市場分析能力。學會觀察市場的走向和關注的內容,例如零售行業,現在大家都對CRM很熱衷,那相關的分析方法和方式是怎么樣的,你要自己去了解。從來不會有人手把手的將所有東西都告訴你,你必須自己學會去增長知識。
(4)一些會計的知識。因為通過以上分析,就是會計管理的一部分內容,最后還是公司盈利問題。有興趣的也可以去看看戰略管理方面的,對于做數據分析也很有好處的說。
綜合來看,可以說數據分析=技術+市場+戰略。
2 如何培養數據分析能力
理論:
基礎的數據分析知識,至少知道如何做趨勢分析、比較分析和細分,不然拿到一份數據就無從下手;
(2)基礎的統計學知識,至少基礎的統計量要認識,知道這些統計量的定義和適用條件,統計學方法可以讓分析過程更加嚴謹,結論更有說服力;
(3)對數據的興趣,以及其它的知識多多益善,讓分析過程有趣起來。
實踐:
(1)明確分析的目的。如果分析前沒有明確分析的最終目標,很容易被數據繞進去,最終自己都不知道自己得出的結論到底是用來干嘛的;
(2)多結合業務去看數據。數據從業務運營中來,分析當然要回歸到業務中去,多熟悉了解業務可以使數據看起來更加透徹;
(3)了解數據的定義和獲取。最好從數據最初是怎么獲取的開始了解,當然指標的統計邏輯和規則是必須熟記于心的,不然很容易就被數據給坑了;
(4)最后就是不斷地看數據、分析數據,這是個必經的過程,往往一個工作經驗豐富的非數據分析的運營人員要比剛進來不久的數據分析師對數據的了解要深入得多,就是這個原因。
3 大數據
大數據就是通過統計分析計算機收集的數據,在人們可能不知道“為什么”的前提下,了解到事物的狀態、趨勢、結果等“是什么”。
對于大數據,一直來說,數據規模導致的存儲、運算等技術問題從來不是最重要的瓶頸。瓶頸只在于前端數據的收集途徑,以及后端商業思想引領的模型和算法問題。早期的各類OLAP工具已經足夠了,后來類似海杜普這樣的研究則徹底降低了分布式數據的架構成本和門檻,就徹底將大數據帶入了一個普及的領域。
從技術層面說,大數據和以前的數據時代的最大差異在于,以前是數據找應用/算法的過程(例如各大銀行的大集中項目,以及數據建倉),而大數據時代的重要技術特征之一,是應用/算法去找數據的過程,因為數據規模變成了技術上最大的挑戰。
大數據的特點:
(1)大數據不等同于數據大,我們處理問題是根據這個問題的所有數據而非樣本數據,即樣本就是總體;不是精確性而是混雜性;不是因果關系而是相關關系。
(2)大數據應用的幾個可能:當文字變成數據,此時人可以用之閱讀,機器可以用之分析;當方位變成數據,商業廣告,疫情傳染監控,雅安地震時的谷歌尋人;當溝通變成數據,就成了社交圖譜。一切都可以量化,將世界看作可以理解的數據的海洋,為我們提供了一個從來未有過的審視現實的視角。
(3)數據創新的價值:數據的再利用。例如重組數據:隨著大數據出現,數據的總和比部分更有價值,重組總和和本身價值也比單個總和更大;可擴展數據:在設計數據收集時就設計好了它的可擴展性,可以增加數據的潛在價值;數據的折舊值:數據會無用,需淘汰更新;數據廢氣:比如語音識別,當用戶指出語音識別程序誤解了他的意思,實際上就有效的訓練了這個系統。
總之,大數據是因為對它的分析使用,才產生和體現它的價值,而不是因為其用到了突出的技術和算法才體現了它的價值。
4 大數據下的智能數據分析
在大數據的背景下,必須考慮數據之間的關聯性。一個單獨的數據是沒有意義的,實際中,選擇處在兩個極端的數據往往更容易找出它們之間的聯系,把它們放在一個框架中看才能發現問題。因此,可以用以下四種方法在大數據背景下進行智能數據分析:
(1)從解決問題的角度出發收集數據;
(2)把收集的數據整理好,放入一個框架內,并利用這個框架幫助決策者做出決定;
(3)評估決定與行動的效果,這將告訴我們框架是否合理;
(4)如果有新的數據出現,我們將考察能否利用它對前面三步做出改進,以及我們今天是否還需要收集更多種類的數據。
5 結語
數據分析的最終目的是幫助業務發現問題并解決問題,提升公司價值,而這些是從數據發覺的,而不是盲目下結論。每家公司都有自己業務生產的數據,通過數據分析、同比環比、漏斗分析及模型等,發現業務上存在的問題,幫助公司業務的優化。
參考文獻
1.1信息安全分析引入大數據的必要性
大數據具有“4V”的特點:Volume、Variety、Velocity和Value,可實現大容量、低成本、高效率的信息安全分析能力,能夠滿足安全數據的處理和分析要求,將大數據應用于信息安全領域能夠有效的識別各種攻擊行為或安全事件,具有重大的研究意義和實用價值。隨著企業規模的增大和安全設備的增加,信息安全分析的數據量呈指數級增長。數據源豐富、數據種類多、數據分析維度廣;同時,數據生成的速度更快,對信息安全分析應答能力要求也相應增長。傳統信息安全分析主要基于流量和日志兩大類數據,并與資產、業務行為、外部情報等進行關聯分析。基于流量的安全分析應用主要包括惡意代碼檢測、僵木蠕檢測、異常流量、Web安全分析等;基于日志的安全分析應用主要包括安全審計、主機入侵檢測等。將大數據分析技術引入到信息安全分析中,就是將分散的安全數據整合起來,通過高效的采集、存儲、檢索和分析,利用多階段、多層面的關聯分析以及異常行為分類預測模型,有效的發現APT攻擊、數據泄露、DDoS攻擊、騷擾詐騙、垃圾信息等,提升安全防御的主動性。而且,大數據分析涉及的數據更加全面,主要包括應用場景自身產生的數據、通過某種活動或內容“創建”出來的數據、相關背景數據及上下文關聯數據等。如何高效合理的處理和分析這些數據是安全大數據技術應當研究的問題。
1.2安全大數據分析方法
安全大數據分析的核心思想是基于網絡異常行為分析,通過對海量數據處理及學習建模,從海量數據中找出異常行為和相關特征;針對不同安全場景設計針對性的關聯分析方法,發揮大數據存儲和分析的優勢,從豐富的數據源中進行深度挖掘,進而挖掘出安全問題。安全大數據分析主要包括安全數據采集、存儲、檢索和安全數據的智能分析。(1)安全數據采集、存儲和檢索:基于大數據采集、存儲、檢索等技術,可以從根本上提升安全數據分析的效率。采集多種類型的數據,如業務數據、流量數據、安全設備日志數據及輿情數據等。針對不同的數據采用特定的采集方式,提升采集效率。針對日志信息可采用Chukwa、Flume、Scribe等工具;針對流量數據可采用流量景象方法,并使用Storm和Spark技術對數據進行存儲和分析;針對格式固定的業務數據,可使用HBase、GBase等列式存儲機制,通過MapReduce和Hive等分析方法,可以實時的對數據進行檢索,大大提升數據處理效率。(2)安全數據的智能分析:并行存儲和NoSQL數據庫提升了數據分析和查詢的效率,從海量數據中精確地挖掘安全問題還需要智能化的分析工具,主要包括ETL(如預處理)、統計建模工具(如回歸分析、時間序列預測、多元統計分析理論)、機器學習工具(如貝葉斯網絡、邏輯回歸、決策樹、隨機森利)、社交網絡工具(如關聯分析、隱馬爾可夫模型、條件隨機場)等。常用的大數據分析思路有先驗分析方法、分類預測分析方法、概率圖模型、關聯分析方法等。可使用Mahout和MLlib等分析工具對數據進行挖掘分析。綜上,一個完備的安全大數據分析平臺應自下而上分為數據采集層、大數據存儲層、數據挖掘分析層、可視化展示層。主要通過數據流、日志、業務數據、情報信息等多源異構數據進行分布式融合分析,針對不同場景搭建分析模型,最終實現信息安全的可管可控,展現整體安全態勢。
2安全大數據分析的典型應用
2.1基于用戶行為的不良信息治理
中國移動開展了基于大數據的不良信息治理工作,主要針對垃圾短信和騷擾詐騙電話開展基于異常行為的大數據分析。通過開源工具Hadoop、HDFS、Pig、Hive、Mahout、MLlib搭建大數據分析平臺,采集用戶的行為數據,構建用戶行為分析模型;分別提出了異常行為分類預測模型、統計預測分析模型、社交網絡分析模型等,將用戶的行為數據輸入到模型中,可以精準地挖掘出違規電話號碼,并且發現違規號碼與正常號碼之間存在大量相異的行為特征。通過用戶的行為,構建多維度的用戶畫像數據庫,支撐全方位的大數據不良信息治理服務,支撐大數據不良內容的智能識別等。實踐表明,大數據分析技術能夠挖掘出更多潛在的違規號碼,是對現有系統的有效補充。除此之外,中國移動還將大數據技術應用在安全態勢感知、手機惡意軟件檢測和釣魚網站的分析中,提升了現有系統的分析能力。
2.2基于網絡流量的大數據分析
在互聯網出口進行旁路流量監控,使用Hadoop存儲及Storm、Spark流分析技術,通過大數據分析技術梳理業務數據,深度分析所面臨的安全風險。主要分析思路是采集Netflow原始數據、路由器配置數據、僵木蠕檢測事件、惡意URL事件等信息,采用多維度分析、行為模式分析、指紋分析、孤立點分析及協議還原等方法,進行Web漏洞挖掘、CC攻擊檢測、可疑掃描、異常Bot行為、APT攻擊、DDoS攻擊挖掘等分析。
2.3基于安全日志的大數據分析
基于安全日志的大數據分析思路主要是融合多種安全日志,進行數據融合關聯分析,構建異常行為模型,來挖掘違規安全事件。主要的安全日志包含Web日志、IDS設備日志、Web攻擊日志、IDC日志、主機服務器日志、數據庫日志、網管日志、DNS日志及防火墻日志等,通過規則關聯分析、攻擊行為挖掘、情景關聯分析、歷史溯源等方法,來分析Web攻擊行為、Sql注入、敏感信息泄露、數據分組下載傳輸、跨站漏洞、嘗試口令破解攻擊等應用場景。基于安全日志的大數據分析已經在國際上有廣泛的應用。如IBMQRadar應用整合分散在網絡各處的數千個設備端點和應用中的日志源事件數據,并將原始安全數據進行標準化,以區別威脅和錯誤判斷;IBMQRadar還可以與IBMThreatIntelligence一起使用,提供潛在惡意IP地址列表,包括惡意主機、垃圾郵件和其它威脅等;IBMQradar還可以將系統漏洞與事件和網絡數據相關聯,劃分安全性事件的優先級等。ZettaSet海量事件數據倉庫來分析網絡中的安全漏洞和惡意攻擊;Zettaset主要包括Orchestrator和SDW(SecurityDataWarehouse,安全數據倉庫)。Orchestrator是端到端的Hadoop管理產品,支持多個Hadoop分布;SDW是構建在Hadoop的基礎上,并且基于Hive分布式存儲。SDW于2011年BlackHat網絡安全會議面世,SDW可從網絡防火墻、安全設備、網站流量、業務流程以及其它事務中挖掘安全信息,確定并阻止安全性威脅。處理的數據質量和分析的事件數量比傳統SIEM多;對于一個月的數據負載,傳統SIEM搜索需要20~60min,Hive運行查詢只需1min左右。
2.4基于DNS的安全大數據分析
基于DNS的安全大數據分析通過對DNS系統的實時流量、日志進行大數據分析,對DNS流量的靜態及動態特征進行建模,提取DNS報文特征:DNS分組長、DNS響應時間、發送頻率、域名歸屬地離散度、解析IP離散度、遞歸路徑、域名生存周期等;基于DNS報文特征,構建異常行為模型,來檢測針對DNS系統的各類流量攻擊(如DNS劫持、DNS拒絕服務攻擊、DNS分組異常、DNS放大攻擊等)及惡意域名、釣魚網站域名等。
2.5APT攻擊大數據分析
高級可持續性威脅(APT)攻擊通過周密的策劃與實施,針對特定對象進行長期的、有計劃的攻擊,具有高度隱蔽性、潛伏期長、攻擊路徑和渠道不確定等特征。現已成為信息安全保障領域的巨大威脅。“震網”潛伏3年,造成伊朗納坦茲核電站上千臺鈾濃縮離心機故障。收集業務系統流量、Web訪問日志、數據日志、資產庫及Web滲透知識庫等,提取系統指紋、攻擊種類、攻擊時間、黑客關注度、攻擊手段類型、行為歷史等事件特征,再基于大數據機器學習方法,發現Web滲透行為、追溯攻擊源、分析系統脆弱性,加強事中環節的威脅感知能力,同時支撐調查取證。
中圖分類號:TP392 文獻標識碼:A 文章編號:1671-7597(2012)0220084-02
0 引言
聯機分析處理(OLAP)技術是近幾年來信息領域中的技術熱點,人們普遍認為它將是數據倉庫在數據庫技術方面的的重要發展方向。因為傳統數據庫的應用系統是面向事務設計的,在尋找業務的具體數據上特別有效,但在為領導決策者提供總結性數據結果時則顯得力所不及,這就凸顯出了聯機分析處理(OLAP)技術重要性,OLAP是一項提供給數據分析人員以靈活、可用并及時的方式構造、處理和表示綜合數據的技術[1-2]。
1 聯機分析處理(OLAP)
1.1 基本概念
聯機分析處理(OLAP)技術與數據倉庫有著非常緊密的聯系,它是數據倉庫的檢驗型分析工具。它將分析決策者所需要的大量數據從傳統的環境中解離出來,清理、轉換成統一的信息,幫助決策者進行有效及時的分析、判斷和預測,獲得更大的效率[3]。
OLAP建立在多維的視圖基礎之上,強調執行效率和對用戶命令的及時響應的能力,并且其數據來源是數據倉庫。它是一種軟件技術,使得分析人員及管理人員通過對信息的多側面、多角度、多層次的觀察,支持其決策。
1.2 技術特點
1)快速性,以相當快的速度向用戶提交信息。可在5秒內向用戶提交。2)可分析性,OLAP能處理和應用任何統計分析和邏輯分析。用戶不用過多編程就可以定制新的專門計算,它將其作為分析中的一部分,并以理想的方式輸出報告。3)共享性,在大量用戶之間實現潛在地共享秘密數據所必需的安全性豁求。4)多維性,系統對數據提供分析和多維視圖,包括對層次維和多重層次維的支持。事實上,多維分析是分析企業數據最行之有效的方式方法,是OLAP的核心。5)信息性,無論數據量多大,數據存儲在哪里,OLAP均能及時獲取信息,并大容量管理信息。
1.3 OLAP的多維數據結構
多維數據結構是數據倉庫存儲結構的一種類型。它是為提高數據庫查詢能力設計的,內部包含等待分析的數據,且使用數據維分類數據。此結構更可稱為立方體數據結構。多維結構里的數據資源既可以按雪花型結構分布,也可以按星型結構排列。
1)維。維是指人們對事務觀察的角度。人們在觀察數據的同時,對某些特定角度還可以在細節上有不同程度的多個描述層次,這些層次稱為維的層次。維的一個取值稱為該維的一個維成員。若維已經被分成若干層次,則其成員為不同維層次值的組合。
一個立方體數據結構是由很多數據維組成,一維即為某一類的數據。維定義為相同類數據的集合。數據維內的數據限制在某一問題領域之中。在Microsoft OLAP Service中立方體數據結構可包含1-64個數據維。在立方體結構里至少包含一個數據維,在一個數據維里則又至少包含一個層次,且一個層次至少要包含一個級別。而每個級別里,又可以包括多個成員。在事實表關鍵字與數據維成員交叉的地方,每個成員都至少有某一個數據值出現在這個位置上。
一切同質的度量值和其關聯的維成員都構成一個多維數據集。在多維數據集中,它能支持各種類型的查詢,為OLAP的核心組成部分。多維數據集還可以用多維數據庫來實現,更可用關系數據庫來實現。
父子維度是基于兩個維度的表列,這兩列共同定義了維成員中的沿襲關系。其中一列稱為成員鍵列,它標識每個成員;而另一列則稱為父鍵列,其標識每個成員的父代。父代為層次結構中的上層節點。此兩列都有相同的數據類型,且都在同一個表內,故可用于創建父子鏈表。父子維度的深度隨它的層次結構分支變化,故父子維度的層次結構常常為不均衡的。
虛擬維度與常規維度在給出定義時的級別數目就已經決定了最終用戶所觀察到的級別數目;但父子維度不同,它是應用特殊類型單個級別來定義的,該特殊類型常常也會產生最終用戶所看到的多個級別。其中存儲成員鍵和父鍵列的內容將會決定顯現出的級別數目。故當更新該維度表,并進一步處理和使用此維度的多維數據集時,其級別數目還可能會更改。
2)度量。事實表的成員值被稱為“度量”,為進行數值分析時所需要尋找的數量信息。度量為具有可加性和數值性的。度量值為觀察事物的焦點,故一般具有加和性。在多維數據集中,度量值存在于多維數據集的事實數據表中。最終用戶所請求的信息類型稱為選擇其的決定因素。
在數據庫的數據維表里直接獲得的成員被稱為輸入成員;在包含其他成員的表達式里獲得的成員被稱為導出成員。導出成員是在運行中計算得到的,且當只有那些計算成員的表達式存儲在多維數據庫里時,一個導出成員才可作為數據維成員,更可作為度量成員。在系統中根據用戶的需求設計導出成員,能有效的提高系統分析能力,拓展完善系統的其他功能。
3)虛擬維度。虛擬維度是基于物理維度的邏輯維度。此類內容可以是物理維度中的現有成員的屬性,更可為物理維度表中的列。應用虛擬維度,可基于多維數據集中的維度成員的成員屬性來對多維數據集數據進行分析比較,并且不需占用額外的磁盤空間或處理時間。虛擬維度更沒有聚合數據,更不能影響多維數據集的處理時間,這是由于它們的計算是需要時在內存中進行的。
虛擬數據維不需存儲在計算機的硬件設備上。虛擬維在立方體中是可以提供更加多的維分析,故虛擬維的設計可能要減少立方體存儲空間,但更會增加查詢時間。虛擬維的設計能使用戶靈活地使用實際維的多重屬性來減少維的多重顯示。
多個立方體結構組合在一起形成了一個虛擬立方體結構來供用戶查詢信息。在數據倉庫中應用虛擬立方體結構,還可允許用戶在多個結構中交叉訪問信息,且用戶不用建立數據倉庫就可把此類立方體結構存儲在該數據倉庫里。其實應用虛擬立方體數據結構不僅可以為用戶提供信息,還可節省磁盤空間。此外,虛擬立方體數據結構更能用來提供一定級別的保密能力。
2 OLAP的功能結構及其基本分析操作
2.1 功能結構
OLAP的功能結構主要是由數據存儲服務、OLAP應用服務以及用戶描述服務等三方面組成的三層客戶或者說三層服務器結構(如圖1所示),我們說應用邏輯并不簡單,它所處的位置是被集中存放在應用服務器上的,主要工作原理是由服務器給予迅速地數據存儲,之后進行后臺處理以及報表的預處理。為什么說它的它的工作效率高其主要原因是:首先,OLAP服務器的使用足以規范和能夠加強決策支持方面的服務工作;其次,能夠集中和簡化原
有客戶端以及DW服務器的某些工作;最后,充分降低了系統數據傳輸量。因此,我們說OLAP服務器的工作效率更高。如何將數據倉庫中的綜合數據組合在一起以及滿足前端用戶的多維分析是OLAP服務器設計的重點。
圖1 OLAP的三層客戶/服務器結構圖
2.2 基本分析操作
OLAP的基本操作過程包括對多維數據進行的切片、切塊、旋轉、鉆取等四部分分析操作過程。這些分析操作過程促使用戶可以從不同的角度和不同的側面觀測數據庫中產生的數據,進而對包含在數據中的信息有了更加深入地了解。
1)切片。我們在其中的某一個維上確定一個屬性成員,但在其他的維上選取一定區間的屬性成員或者所有的屬性成員來觀測數據的分析方式這一操作過程我們稱之為切片操作。2)切塊。在各種維上參與一定區間的成員屬性或者所有成員屬性都來參與進行觀測數據的一種分析方式,我們說是切塊操作。為此,切片與切塊的關系我們可以這樣理解:切片――它是切塊的特例,切塊――它是切片的擴展。3)鉆取。鉆取包括向下鉆和向上鉆上卷兩個不同操作。下鉆指的是以概括性的數據為出發點進而獲取相對應的比較詳細的數據結果,上鉆則恰恰相反。鉆取的深度是與維度所劃分出來的的層次相對應的。4)旋轉。旋轉就是指能夠改變一個報告或者頁面凸顯的維方向。旋轉有可能會含有交換的行和列,它不是把其中的某一個行維轉移到列中去,就是把頁面凸顯中的其中一個維和頁面之外的維進行互換。
3 OLAP的新發展――OLAM
OLAM的簡稱是“聯機分析挖掘”,它是將OLAP (聯機分析處理技術)和DM(數據挖掘技術)有機地組合起來進而形成的一種嶄新的技術。OLAM不僅具有OLAP多維分析的在線性、靈活性還有DM對數據處理的深入性等特點,因此對信息的分析和篩選要求有了更高層次上的滿足。我們說,OLAM具有以下幾種特性:
OLAM具有強大的挖掘力量。它能偶借助OLAP的支持挖掘出任何需要的數據;OLAM不僅能給予靈活的挖掘算法選擇機制而且能夠給予與外部挖掘算法的通用接口;OLAM的挖掘計算是以多維數據模型為基礎的,它能夠和OLAP的操作靈活結合,并具有計算的回溯功能。
本著客戶/服務器體系結構的根本,它不僅具有較高的執行效率而且還有較快的響應速度,并且可以調整執行效率和挖掘結果的準確度。一旦用戶交互式執行效率低,而用戶都已經選定了挖掘算法和數據空間,那么應當確保最終結果的準確性。
4 結束語
數據倉庫的關健技術OLAP,是以多維數據為基礎,與用戶進行交互和快速響應,用戶積極參與分析過程,動態地提出分析要求、選擇分析算法,對數據進行由淺及深的驗證型分析工具。
參考文獻:
[1]楊光等,OLAP技術及其發展[J].計算機應用研究,1999.7.
1數據源準備
數據源是數據分析技術應用的重要前提,數據來源關系到各種業務分析所需要的數據是否齊全、原始數據質量是否可靠、數據提供的性能方面是否滿足相關要求等。對于不同的行業領域,數據來源的渠道各不相同,對于數據分析應用而言,也需要在眾多的數據中選取合適的部分進行后續加工和處理。對于大多數信息化技術應用比較廣泛的企業而言,主要的業務運營數據源都可以從自身的信息管理系統中取得,如業務支撐系統、企業資源規劃和管理系統以及流水線作業信息管理系統等。有部分數據信息是從非常專業的系統中直接采集到的,如專業調度系統、電話交換機以及生產線控制系統等。從這些系統中,可以取得企業運營過程中的基礎信息和關鍵數據,這些數據通常是最能真實客觀地反映企業運行情況。此外,數據獲取的成本也比較低,穩定性和質量比較好,并且易于管理和重構。然而,就經營分析的角度而言,從企業內部提供的數據還不能滿足全方位分析的需要,需要從企業外部獲取必要的信息。比如為了深入了解客戶的信息,就需要進行相應的市場調研工作,設計一些調查問卷,搜集與業務開展和經營相關的重要信息。另外,在某些特定的場合下,還有可能還需要從其它一些外部渠道去集中獲得一些有關客戶和市場的數據信息,目前有不少機構專門從事市場信息數據提供的服務工作。從企業外部獲得的業務數據往往是針對性較強,有較高利用價值的信息。但這些信息的真實性、穩定性程度就比內部的數據源要低,并且數據獲得的成本相對比較高。
2數據倉庫技術的應用
目前,數據倉庫技術對于大多數經營業務數據分析任務而言,是必備的基礎條件之一,尤其是對于規模較大、業務開展較廣泛的企業。由于日常運營涉及到的數據來源和種類較多、數據量較大,在進行數據分析處理時需要對原始的信息進行大量的加工處理工作,因此數據倉庫技術的應用就是必然的選擇。應用數據倉庫技術的主要目的是將原始的數據源按相應的要求進行轉換并按專門設計的數據結構進行存儲。數據倉庫技術對原始數據加工處理流程目前一般稱為ETL,即抽取(Extract)、轉換(Transform)和加載(Loading)。抽取過程是指從各類原始的數據源獲取數據的過程,綜合考慮信息系統的處理性能和數據時效性以及分析應用需求等因素,數據抽取過程可以是實時的,也可以是非實時的。對于抽取出的數據需要進行一定的轉換處理,才能夠進行后續的應用,轉換過程主要是根據后期應用需求將原始的數據進行過濾、異常處理后再進行格式變換、維度調整以及初步分類匯總等處理。數據加載過程就是將處理后的數據裝載到倉庫模型中,并根據應用需求進行數據關聯關系的調整以及性能優化。在一些專題分析應用場合,還可以將已經加載至數據倉庫中的數據進行進一步的歸納處理,形成相關主題的數據集市,以提高數據的可用程度。
數據分析方案的設計和實施
數據倉庫建設完成之后,為了實現業務分析的目標,就可以考慮實施一些數據分析方案,選擇合適的分析方法和工具建立相應的模型,對數據進行處理,最終得到能夠支持業務經營分析的關鍵信息,這一步對于整個業務數據分析工作而言是一個關鍵點。數據分析建模工作不僅需要掌握相關分析方法技術,更需要對業務背景和業務分析目標有充分的認識。因為數據分析挖掘建模方法沒有嚴格的定律可以遵循,往往需要在實踐中運用一些基本的方法去探索影響業務目標的關鍵因素,并且需要長期跟蹤業務發展情況,不斷地完善模型、調整相關參數,才能夠得到能正確輔助經營決策制定的方案。此外,隨著業務運營模式的調整和市場環境的變化,業務分析模型還可能隨時需要重構并且反復驗證。目前用于數據挖掘分析的方法有很多,從基本的數理統計方法到目前研究比較廣泛的神經網絡、遺傳算法等。但是并不是越復雜的算法效果越好。在很多場合下,應用較為簡便的方法得出的結論更易于描述業務信息,便于理解以及實踐操作。現在市場上用于進行數據挖掘和統計分析產品也比較豐富,比較典型的分析工具如SPSS、SAS、STAT等,在一些行業應用領域,還有更加專業的數據分析工具和軟件包可供使用。在實際運用過程中,可以根據數據分析的需求和應用范圍進行選擇。
互動點播業務的業務分析需求
以及數據分析方案設計目前,有線電視運營商在互動點播業務開展過程中關注最多的經營目標是如何提高用戶對服務的認可程度、擴大用戶規模、避免用戶流失以及提升用戶的業務貢獻價值等方面。在這個過程中同時也需要對點播內容的使用情況進行分析,判斷哪些產品的點播頻率比較高,以便進行內容安排方面的調整。為了支撐互動點播業務經營分析的目標,首先需要初步選擇可能對點播業務使用頻率影響比較大的一些關鍵性因素,并且判斷哪些信息是有手段可以收集到的,以及從哪些渠道收集等等。這個過程通常需要對基礎業務有一定的認識,此外還需要對信息數據的分布和管理有相應的了解。通常情況下,對于大多數有線電視運營商而言,目前都在建設和使用業務支撐系統。互動業務分析所需要的基礎信息大多數都可以從業務支撐系統中獲取,例如從客戶關系管理平臺中可以收集到用戶的基本信息,如客戶名稱、聯系方式、業務使用的地址等。另外,客戶開通的業務信息以及訂購的各種產品信息、業務變更記錄信息以及終端信息等基本上都可以從業務支撐系統中獲取到。經過一些信息轉換和匯總,我們就可以了解到用戶業務的在網時間、消費情況、訂購記錄、離網情況等。從這些基本信息里面可以選擇一些業務上感興趣的因素進行統計分析,以歸納總結出經營分析相關的業務特征。對于互動點播業務相關的另外一些信息,如客戶的點播行為記錄,一般就不是直接從業務支撐平臺上進行采集到。這些數據的來源通常是在互動業務管理平臺中,用戶在終端上進行點播操作后,互動業務管理平臺會記錄下與用戶點播操作相關的信息。從這些記錄中,我們可以了解到用戶的點播時間、點播內容、收看時間等等。根據點播的內容,可以在互動業務內容管理平臺上關聯到其價格、類型、上線時間等信息。綜合上述信息后,就可以整理出互動點播業務的使用記錄,通過統計分析可以發現用戶點播的時間、內容偏好和使用量發展趨勢等數據,這些數據可以幫助判斷系統的容量以及內容的受歡迎程度等信息。最后,為了綜合評估互動業務的發展情況,發現與業務分析目標關聯較大的一些因素,可以綜合用戶的業務記錄信息和點播使用情況進行模型構造,并且對結果進行驗證和評估,以得到對決策分析有價值的信息。
互動點播業務的數據分析方案的實施應用
根據業務數據分析基本方案設計的思路,可以著手開始實施相應的分析方案。在本文中主要介紹兩類數據分析應用案例,一個是基于基礎點播行為數據進行的統計分析應用,另外一個是根據用戶點播行為數據以及基礎業務數據綜合分析影響用戶的互動業務在線情況的因素。
1用戶點播行為數據分析案例
為了了解點播業務的使用情況,可以根據用戶的點播行為記錄進行數據挖掘分析,以實現總結互動點播內容、時段和使用量趨勢等業務特征的分析目標。根據方案設計的結論,從互動業務管理平臺中可以取得這類業務分析所需要的全部源數據。但是,互動業務管理平臺中的點播記錄通常全部是以文本記錄的方式保存的,并且由于點播記錄的數量較大,一般按照記錄數量或者時間間隔進行了拆分。為了利用這些信息就有必要進行相應的數據抽取轉換工作。在實際應用中可以使用預先設計的腳本定時從互動業務管理平臺中進行數據的抽取,然后經過簡單的類型變換后加載至數據倉庫中。為了達到分析目標,主要抽取的信息有產生用戶點播記錄的用戶ID、點播內容的代碼及分類信息、點播的開始和結束時間等等。原始的點播記錄信息轉換后,就可以進行下一步的主題分析準備了,例如可以按照點播的時段、點播的內容,以及用戶區域等信息進行不同維度的數據分析。圖2是對互動點播類業務按每日播頻率進行的一個分類統計后用SAS統計工具生成的圖形,在生成統計數據前需要從原始數據中分離出點播時段信息,并行分類匯總。從圖2中可以發現,點播頻率在一天之中的大致分布規律。從點播總量上看,每天點播頻率最高的時段是在18:00至22:30左右,峰值在21:00到22:00左右出現,此外在中午12:00左右也有一個高峰時期。點播頻率最低的時段大約在3:00至5:00左右。根據每天點播業務頻率的分布情況,可以進行相應的網絡容量分析,比如通過業務高峰數值可以評估出互動點播平臺的并發容量是否足夠。另外,根據每日點播頻率的分布特征,可以安排相應的業務運營工作部署。例如在業務高峰時段可以集中投放一些廣告、通知信息,而一些系統割接和調試工作盡量應安排在使用頻率較低的時段內進行。如果需要了解一些特殊的節假日的點播頻率分布特征,可以在原始數據中進行重新過濾篩選,生成類似的頻率分布圖并與圖2進行比對,然后分析其特點。從互動業務點播數據還可以按內容代碼維度進行分析,以統計出與互動視頻節目內容相關的數據,也可以將不同維度的數據進行組合分析,進一步挖掘出業務方面感興趣的信息。
2影響互動業務用戶在線狀態因素的綜合分析案例
所謂大數據,一方面是指在一定時間內無法被常規信息技術和傳統數據庫管理軟硬件工具感知、獲取和處理的巨量數據集合;另一方面,是指形成、管理、挖掘大數據, 快速搜集、處理、分析大數據的技術和能力。
大數據的主要特點是海量、非結構化和半結構化、實時處理。大數據技術,或大數據分析技術,就是對這些數量巨大的海量數據進行搜索、整理、分析、加工,以便獲得有價值的產品和服務,以及提煉出具有深刻見解和潛在價值信息的技術和手段。
1 大數據分析在公共交通中的應用
交通擁堵日益嚴重,交通事故頻繁發生,這些都是各大城市亟待解決的問題,科學分析交通管理體系成為改善城市交通的關鍵所在。因此,高效、準確地獲取交通數據是構建合理城市交通管理體系的前提,而這一難題可以通過大數據管理得到解決。
大數據分析技術改變了傳統公共交通的路徑:大數據可以跨越行政區域的限制;大數據可以高效地整合交通信息;大數據可以較好地配置公共交通資源;大數據可以促進公共交通均衡性發展。在大數據中,隨著數據庫攝入更多數據,所消耗的計算工作量反而遞減,配置成本也隨之減小,但所做的計算則更加精準。大數據在公共交通中的應用表現在:一旦某個路段發生問題,能立刻從大數據中調出有用信息,確保交通的連貫性和持續性;另一方面,大數據具有較高預測能力,可降低誤報和漏報的概率, 可隨時針對公共交通的動態性給予實時監控。因此,在駕駛者無法預知交通擁堵的可能性時,大數據可幫助用戶預先了解。
2 大數據分析在醫藥領域中的應用
在醫學領域,我們正處在一醫學信息爆炸的時代。基因序列、各種醫學圖像、電子病歷記錄和多中心臨床藥物試驗等,使生物醫學領域跨入網絡化的大數據時代。如何從醫療大數據中提取出有用的信息是目前亟待解決的問題,構建醫療大數據系統需要將各家醫院通過互聯網連接,實現各家醫院之間的數據共享。將醫療數據存于專門的數據庫中,在信息協作平臺上將各種醫療信息分類整合,建立成一個相互共享的網絡,從而實現醫療數據信息的共享。
大數據技術的核心就是預測,使用大數據分析技術可以提高診斷疾病的準確率,對有效地治療疾病具有重要價值。其中最好地體現在傳染病預測上,因為傳染病的發生、發展、分布與地理地貌、生態景觀、人文環境有密切關系,特別在全球氣候變化和經濟全球化背景下,自然環境及人類社會活動對傳染病的影響越來越重要。因此,時間和空間信息對傳染病的預測、預警具有重要意義。利用大數據可對傳染病疫情的時間、空間信息進行多維搜索,檢索、處理和分析這些疫情信息可實現對傳染病的流行趨勢及影響范圍進行預測、預警,對提高傳染病防控的針對性、預見性和主動性,抑制流行病的蔓延,以及制定衛生決策都具有十分重要的意義。
3 大數據分析在移動通信網絡優化中的應用
當前的大數據技術面臨著數據過大和安全隱患越多這兩個問題。在移動通信網絡發展的過程中,網上用戶在不斷增加,通信網絡的范圍在不斷擴大, 而移動通信網絡所產生的數據量也在不斷上升。大數據技術和移動通信網絡的安全問題密切相關,一旦技術出現漏洞,移動通信網絡的數據就會出現安全隱患。大數據技術中存儲功能的是云儲存技術,它將大量的網絡數據放在統一的平臺之上,加大了數據丟失的風險,影響移動通信網絡的安全。
優化移動通信網絡,需要運用大數據技術的儲存功能。移動通信網絡的用戶在不斷變化,每天都要更新大量的數據,而且這些數據都需要進行妥善管理和保存。在這一過程中,可以應用大數據技術的存儲功能, 將存儲虛擬化作為解決存儲問題的有效策略。
優化移動通信網絡,需要獲取相關的數據信息。移動通信網絡的用戶非常多,而且其所跨越的時間、空間維度都很大,這些用戶在移動通信網絡留下的海量的數據信息,使數據獲取工作難以繼續。在進行數據的獲取和收集工作時,移動通信網絡可以應用大數據技術,減少人力和物力的投入,同時增加數據的準確度。
4 結語
本文是大數據技術在實際生活領域的應用,分別闡述了大數據分析技術在公共交通、醫藥領域、移動通信網絡優化中的具體運用。借助大數據技術的即時性、準確性和預測性,將其應用到人們的日常生活領域,提高了人們的生活質量。
參考文獻
[1]陳美.大數據在公共交通中的應用[J]. 圖書與情報,2012(06):22-28.
[2]張春麗,成.大數據分析技術及其在醫藥領域中的應用[J].標記免疫分析與臨床,2016(03):327-333.
[3]汪敏,廖名揚.大數據分析在移動通信網絡優化中的應用研究[J].通訊世界,2017(02):123.
[4]祝興平.大數據分析技術及其在數字出版中的應用[J].出版發行研究,2014(04):13-16.
[5]程學旗,靳小龍,王元卓,郭嘉豐,張鐵贏,李國杰.大數據系統和分析技術綜述[J]. 軟件學報,2014(09):1889-1908.
作者簡介
【關鍵詞】JAVA編程技術 網絡數據分析 技術應用
1 JAVA編程技術的概念
對于JAVA編程技術的應用的,為計算機軟件發展帶來了更廣闊的前景,在此環境中所開展的編程計劃也能夠更好的利用計算機數據資源,在有限的存儲使用空間內,更大限度的完善編程所遇到的漏洞問題,提升計算機軟件的使用安全性。除此之外,在一些移動端的軟件開發中也廣泛的應用到這種技術,更方便客戶使用過程中的軟件更新,并幫助提升軟件應用過程中的使用安全性。技術主要是通過框架設計以及內部數據程序的匯編來實現編程,所應用的匯編語言也是特定的,程序框架能夠識別出這種語言,應用后在程序編寫的效率上會有明顯的提升。針對使用過程中所遇到的網絡病毒入侵問題,在匯編過程中會設定特別的識別碼,這樣就不容易受到病毒的攻擊,并且程序框架之間也能夠相互配合,達到更理想的使用效果,這也是傳統方法中難以達到的標準,成為了JAVA編程技術應用的決定性因素。
2 JAVA編程技術的網絡數據分析應用特點
將JAVA編程技術與網絡數據分析相互結合,可以提升數據分析的速度,快速的實現分析目標,所得到的結果也與實際情況相符合。技術不斷的發展,對于已經完成的編程框架,可以在網絡環境中進行遠程升級,這樣為客戶使用預留了更多自定義的空間,也能夠更好的解決現場數據分析誤差問題。JAVA編程技術是十分嚴謹的,應用期間的框架設計決定了最終功能是否能夠實現,以及功能實現的理想情況,在網絡環境中開展數據分析,需要遵從網絡環境的特點,觀察分析結果與實際情況是否能夠保持一致,并充分利用網絡數據環境來提升現場分析任務的全面性,這樣在最終結果上也能夠最大程度的降低誤差。
3 基于JAVA編程技術的網絡數據分析具體內容
3.1 數據的采集與整理
采集整理數據是開展分析任務的首要步驟,在所進行的采集任務中,同樣是利用網絡環境的高效便捷性來進行的,技術人員只需要對最終的結果進行審核,觀察所采集的數據范圍是否能夠達到網絡分析的使用需求,并根據實際情況來適當的擴大調整范圍,最大限度的降低分析調整過程中出現的數據丟失或者誤差現象。針對傳統方法中所存在的技術性問題,分析一段時間后,數據采集結果中會出現相關的異常,編程經驗豐富的技術人員通過觀察這種異常便能夠了解到其中需要繼續深入完善的內容,并通過技術性方法來更好的解決。編程技術的合理運用也是解決相關問題的有效方法之一,應當得到技術人員的高度重視,對于編程期間框架設計,也可以根據數據的采集整理結果來進行,達到理想的效果,為接下來將要開展的工作任務打下穩定基礎。
3.2 程序框架編寫
根據所要開展的工作任務以及程序的使用需求,先對大體框架進行編寫整理,達到理想的編寫效果,隨著程序匯編的審圖進行,數據分析也逐漸開展,并且進入到不同的深度階段。對于文章中常常提到的設計內容優化問題,程序匯編也起到了決定性作用,關系到優化是否能夠順利進行并達到預期的目標。匯編任務開展一段時間后,技術人員需要對網絡數據分析的結果進行審查,觀察其中是否存在誤差或者不合理的內容,幫助更好的提升工作任務完成質量,初期階段發現問題也能夠通過匯編技術來及時的調整,避免造成后期匯編資源方面的浪費。框架初步編寫完成后,進入到后續的分析應用階段,應用可以先進行試驗,觀察各項數據參數是否能夠達到理想的標準化水平,如果發現問題在這一階段可以進行調整,避免問題繼續深入,影響到軟件的正常使用。
技術發現會向著高效便捷的方向來進行,更多的應用自動化技術,在對現場工作任務進行分析研究時,所遇到的問題大部分都能夠通過系統的自動更新來解決,使技術發展中所總結的經驗能夠得到更好的運用。技術發展需要全體編程技術人員的共同努力,充分利用現有資源來完成工作任務,通過這種方法可以使技術的發展方向得到更好的確定,并避免程序后期使用漏洞頻繁出現的問題發生。資源優化利用也是未來的主要發展方向之一,需要得到技術人員的高度重視,并在日常編程分析工作中合理的運用這一方法來實現工作任務,促進管理計劃可以更穩定的落實應用。
4 結語
綜上所述,在我國計算機軟件飛速發展的當下,JAVA編程語言已經成為科學技術研發過程中不可或缺的重要內容,大力發展計算機軟件JAVA編程技術已經成為我國科學技術發展過程中的重要工作內容。
參考文獻
[1]田家旗.Java開發語言的開發平臺與J2EE編程技術問題研究[J].信息技術與信息化,2016(04).
[2]李健周.關于計算機軟件開發的JAVA編程語言研究[J].信息通信,2013(12).
作者簡介
電力營銷數據分析系統的主要功能是采集數據,并對數據進行分析處理。而在中國推行電網改革后,電網系統的改革重點在于研究電力影響。此外,在電力營銷工作中依然存在在一些問題,這些問題對中國電力營銷行業的發展產生不良影響,甚至會導致企業資金的流失。在此形勢下,結合數據集成技術對電力營銷數據進行分析研究尤為重要。
1 實現電力營銷數據分析系統的困難所在
電力營銷數據分析系統指的是利用全球各個國家的網絡技術采集不同地區的電力營銷數據,并進行分析處理,然后利用遠程控制技術對這些數據進行傳輸管理,為決策提供科學的數據依據。
1.1分布式數據的采集、傳輸與轉換的障礙
我國電力營銷系統從數據接口形式上來說,并沒有形成完善嚴格的規定,系統軟件的運用也有一定差異。但是營銷數據的數量較為龐大,形式多種多樣,將這些數據存放在同一個系統中,轉換為系統所要求的格式進行存儲。這樣勢必會使數據傳輸存在安全隱患[1]。
1.2系統中的算法結構與數據結構問題
電力營銷系統中的數據結構與算法結構需進行改進處理,提高數據結構與算法結構的通用性。在電力營銷中,數據結構與算法結構會因為系統的不同而存在差異。在計算與分析處理數據的過程中,要求深入了解原有系統的基本特征,積極做好系統的通用算法轉換工作,調整與處理通用設計結構以及數據接口,在滿足相關要求后,將其應用到系統中[2]。
2 在電力營銷數據分析系統中應用數據集成技術
從我國從2010年,基礎設施建設后,有關信息系統建設已經進入到一個全新的發展階段,全年的系統集成服務市場總資產為288.69億元。2011年,中國系統集成服務市場的規模為349.11億元,同比增長了20.9%,而2012年、2013年系統集成服務的市場規模分別為419.67億元、499.06億元,詳見表1。
表1 中國從2010年至2013年系統集成服務的市場規模和增長率
時間(年) 2010 2011 2012 2013
市場規模(億元) 288.69 349.11 419.67 499.06
同比增長率(%) 19.7 20.9 20.2 18.9
中國內部系統集成市場的發展規模呈高速增長趨勢,行業規模增長在219.5%左右。而推動數據系統集成技術發展,擴大其應用領域制造業、各級各類企業信息化、教育以及政府應用。我國其他行業信息化進程并沒有完成,對于系統集成需求需要不斷增加。電信、金融、政府這三大行業在系統集成服務中所占比重為55.1%,其他應用領域,尤其是電力營銷領域所占比重較低。
銀行作為金融業IT投入的主體,是總體投資規模的72.2%,而銀行業IT投入的穩定也是金融信息化投入增長的一個主要原因。圖1為2011年至2013年國內金融業IT投資規模。
圖1 2011年至2013年國內金融業IT投資規模統計圖
此外,雖然現階段全球對于系統集成的市場需求較大,然而系統集成市場的增速并沒有因此而快速增長,如圖2所示。
圖2 2007年至2013年全球系統集成的市場規模
其中 市場規模(億美元)
因此筆者建議加強數據集成技術在電力營銷數據分析系統中的應用研究。下文從兩個方面應用思路以及實現應用這兩個方面進行探討[3]。
2.1應用思路
根據系統內部結構可以將電力營銷數據分析系統劃分為兩個部分。其一,數據集成。其二,實現軟件功能。電力數據分析系統在運行的過程中,上述兩個部分使用的是同一數據庫服務器。而在系統中利用數據集成技術,即在全范圍內對數據進行總體設計與總體布局,在全部數據運行過程中,創造完整、穩定的數據環境,對系統基本功能以及算法結構進行定義,在掌握數據庫結構的基礎上,開發和利用[4]。
系統中的數據集成部分主要利用的是中間件技術,完成系統的再度開發,保障數據集成部分的功能得到正常得發揮,從而在采集數據與傳輸數據方面得到充分的應用。在選擇利用中間件的過程中,需要密切注意中間件的質量,確保技術的先進性,以此才能夠保障數據運行的穩定性與安全性,從而提高設計應用的質量,減少傳輸數據過程中所造成的損失。
此外,從數據采集方面而言,類型不同的電力營銷系統也存在在一定的差異,這些差異包括以下三個方面。其一,數據內容的多樣性。數據種類較多,包括了普通文件、關系數據等,要公開分析整理這些數據。其二,每個電力營銷系統應用的是不同的數據管理系統,所以數據采集與數據管理也并不相同。其三,不同的數據訪問模式。按照數據存放形式的不同,一些數據訪問利用的是數據庫接口完成訪問,而另一些數據則利用訪問文件來完成數據訪問[5]。
2.2系統應用
數據集成服務器:因為采集數據的過程中,采取的單向方式,因此服務器接收端位于本地,發送端和分布式數據庫聯系在一起,分兩端服務。
本地數據庫:因為各個電力營銷系統中的數據量較為龐大,為了確保訪問速度與數據容量,采取的是多個數據服務器方式。在數據庫中需要設計安裝存貯設備與觸發器,用來減少系統工作量,確保數據傳輸與處理的一致性。
應用服務器:從具體應用的要求出發,系統邏輯層的服務功能包括了兩類,其一,低級服務;其二,高級服務。其中低級服務指的是本地數據庫和其他數據庫的連接與維護。而高級服務功能則指的是根據要求配備不同組件,所有組件提供至少要求能夠提供一種特定服務。
數據傳輸的安全性要求:在傳輸數據的過程中,有多個渠道,而不同渠道在保障數據實時性與安全性方面并不相同,可以利用電子郵件進行數據傳輸,也可借助信息通信中間件進行數據傳輸,確保數據的單次傳輸。這種傳輸方式是以中間件作為渠道進行數據菜蔬,面向的是分布式信息中間件產品,在消息對列的基礎上,為分布式應用搭建可靠、完整的信息交換平臺。對于傳輸安全性有著較高要求的客戶,可以利用信息通信中間件作為傳輸方式。例如:以信息通信中間件為主,電子郵件為輔的傳輸方式,數據接收服務器從信息隊伍中自動提取有關消息,從而完成數據通信[6]。
3結語
綜上所述,中國市場經濟的穩步發展,要求電力營銷企業不斷提高自身的市場競爭力,在實際的發展過程呢個中,應用先進技術,不斷改進自身的經營管理質量,在電力營銷數據分析系統中充分應用數據集成技術,提高數據采集與數據處理效率。
參考文獻:
[1]徐晶,徐鋒.數據集成技術在電力營銷數據分析系統中的應用[J].科技致富向導,2014,10(25):201-202.
[2]賈玉君.國內電力營銷監控領域的研究現狀與發展[J].電力信息化,2010,09(15):251-252.
[3]郭航宇.電力營銷數據分析中的數據集成技術研究[J].科技與創新,2014,10(09):440-441.
[4]雷波.數據挖掘技術在電力營銷系統中的應用研究[J].廣東科技,2014,02(08):331-333.
本文討論了一些站點分析的相關技術信息和幾種網站分析瀏覽者行為的理論與算法,及數據倉庫的相關理論知識。并對站點日志數據進行了實例分析,并指出了站點分析技術發展的方向。
一、緒論
互聯網技術不斷革新與發展,給全球經濟帶來新的革命,從而也影響著人們的生活。互聯網為企業提供了一種真正屬于自己并面對廣大網民的信息載體,企業通過這一載體,可以自由地將企業的產品、服務等其他相關信息在線。
電子商務就是網上實行各種商務活動的總包裝,種種所謂電子商務解決方案,實際上就是實現各種網上商務活動的硬件與軟件系統。它將影響到每一個人、每一個企業。電子商務的主體是我們每一個人、每一個企業,電子商務發展的過程就是對人們的生活、企業的運行的一種模式的一個巨大改變的過程。對于進入虛擬世界的商家而言,僅僅吸引注意力還不行,對它們而言,站點的訪問率絕對不僅僅是一個數字,它還是一種信息,如果網站能夠從網絡中獲得網民的信息并從中分析其行為誘因,那么就容易掌握網民的需求,從而利用互聯網去創造更多商機。
電子商務站點用戶行為的分析這一問題也因此成為現如今的熱門話題,被人們普遍關心起來,尤其是被眾商家所重視。Web站點的日志數據正以每天數十兆的速度增長。如何分析這些數據,如何從這些大量數據中發現有用的、重要的知識(包括模式、規則、可視化結構等)也成為現在人們最關注的信息。
在此情況下,站點用戶行為分析就可為網站或商家提供出大量有價值的信息,包括站點的受歡迎度的對比、商業廣告點擊情況總括、產品的反饋信息、站點各種信息的點擊情況等等。另外,還可根據不同的頁面內容來分類瀏覽者,以便做出更合理的頁面分類,促使網站逐步向個性化、最優化狀態發展。這一技術對互聯網的發展壯大有著不可忽視的巨大作用,它的發展對信息技術亦將產生深遠的影響。
在電子商務早期階段時,Web站點數據流分析通常是在主頁上安裝計數器以及在一個外部日志文件上運行簡單的統計程序記錄點擊率。但是,簡單的點擊計數既不準確也遠未達到營銷目的所需的詳細程度。因此,各公司開始尋找更先進的分析工具,這類工具可以提供誰在訪問公司Web站點以及訪問者一旦進入站點后將做些什么的全面信息。站點開始分析的地方是Web服務器的訪問日志。每當用戶在站點上請求一個網頁時,這個請求就被記錄在訪問日志中。如:目前有多少用戶正在訪問站點、他們正在看哪些網頁以及他們在站點中呆了多長時間。顯然,日志分析和行為概況的正確組合可以對Web站點的成功產生直接影響。此外,從日志分析中得到的信息是很難從真實世界中捕獲到的,但這些信息卻可以較容易地在線收集到。Web數據流分析工具的這些最新進展可以使網站獲得有關上網客戶和他們習慣的詳細報告。
二、站點信息統計方法
Web頁面數據主要是半結構化數據,計算機網絡技術和信息技術的飛速發展,使得半結構化數據呈現日益繁榮的趨勢。半結構化數據,是一種介于模式固定的結構化數據,和完全沒有模式的無序數據之間,在查詢前無法預先確定其具體的類型和格式;同時它們相應的數據結構是不固定、不完全或不規則的,即這些數據有的本身就沒有結構,有的只有十分松散的結構,有的數據的結構是隱含的,需要從數據中進行抽取。而有時,盡管數據本身是有精確結構的,但為了一定的目的,而故意忽視它的結構。半結構化數據具有以下五方面的
主要特點:
1.結構是不規則的。包含異構數據、相同的數據信息用不同類型或不同的結構表示。
2.結構是隱含的。如電子文檔SGML格式。
3.結構是部分的,有時部分數據根本無結構,而部分數據只有粗略的結構。
4.指示性結構與約束性結構。傳統的數據庫使用嚴格的分類策略來保護數據。而指示性數據結構是對結構的一種非精確的描述。它可接受所有新數據,代價是要頻繁修改結構。
5.半結構化數據通常在數據存在之后才能通過當前數據歸納出其結構,稱之為事后模式引導。模式有時可被忽略,同時數據與數據模式間的區別逐漸消除。
三、數據分析的方法
Web頁面的數據通常是利用統計模型和數學模型來分析的。使用的模型有線性分析和非線性分析;連續回歸分析和邏輯回歸分析;單變量和多變量分析以及時間序列分析等。這些統計分析工具能提供可視化功能和分析功能來尋找數據間關系、構造模型來分析、解釋數據。并通過交互式過程和迭代過程用來求精模型,最終開發出最具適應性的模型來將數據轉化為有價值的信息。
知識發現是從數據倉庫的大量數據中篩取信息,尋找經常出現的模式,檢查趨勢并發掘實施。它是分析Web頁面數據的重要方法。知識發現與模式識別的算法有以下幾種:
1.依賴性分析
依賴性分析算法搜索數據倉庫的條目和對象,從中尋找重復出現概率很高的模式。它展示了數據間未知的依賴關系。利用依賴性分析算法可以從某一數據對象的信息來推斷另一數據對象的信息。例如:在雜貨店中,一堆椒鹽餅干放在陳列飲料的走道上,這是因為經過依賴性分析,商店認為:很大一部分買飲料的顧客如果在取飲料的路上看到椒鹽餅干的話就會購買,因而此種分析影響了商店布局。
2.聚類和分類
在某些情況下,無法界定要分析的數據類,用聚類算法發現一些不知道的數據類或懷疑的數據類。聚類的過程是以某一特定時間為依據,找出一個共享一些公共類別的群體,它稱為無監督學習。分類過程,這是發現一些規定某些商品或時間是否屬于某一特定數據子集的規則。這些數據類很少在關系數據庫中進行定義,因而規范的數據模型中沒有它們的位置。最典型的例子是信用卡核準過程,可確定能否按商品價格和其它標準把某一購買者歸入可接受的那一類中。分類又稱為有監督學習。
3.神經網絡
神經網絡通過學習待分析數據中的模式來構造模型。它對隱式類型進行分類。圖像分析是神經網絡最成功的應用之一。神經網絡用于模型化非線性的、復雜的或噪聲高的數據。一般神經模型由三個層次組成:數據倉庫數據輸入、中間層(各種神經元)和輸出。它通常用恰當的數據庫示例來訓練和學習、校正預測的模型,提高預測結果的準確性。
4.數據挖掘中的關聯規則
關聯規則是數據挖掘的一個重要內容,通常關聯規則反映的是數據間的定性關聯關系。如一個商品交易數據庫,一條記錄表示用戶一次購買的商品種類,每個屬性(A、B……)代表一種商品,每個屬性都是布爾類型的。一條關聯規則的例子是:{A、B}{D}[2%][60%],規則的含義是“如果用戶購買商品A和B,那么也可能購買商品D,因為同時購買商品A、B和D的交易記錄占總交易數的2%而購買A和B的交易中,有60%的交易也包含D”。規則中60%是規則的信任度,2%是規則的支持度。數據挖掘就是要發現所有滿足用戶定義的最小信任度和支持度閥值限制的關聯規則。數據只是定性地描述一個交易是否包含某商品,而對交易量沒有定量描述,這種布爾類型數據間的關聯規則被稱為定性關聯規則。但數據記錄的屬性往往是數值型或字符型的,這些數據間也存在對決策有幫助的關聯規則,相對于定性關聯規則,這些規則被稱為定量關聯規則。
另外,數據挖掘目前仍面臨著數據質量的問題。由于數據倉庫中的數據來自多個數據源,而在合并中存在很多障礙,如:沒有建立合并視圖所需的公共關鍵字;數據值相互抵觸;元數據的說明不完備或丟失;數據值的不潔凈等等。數據挖掘是在標準化的數據基礎上進行的,因而這些都會嚴重破壞數據的準確性,導致最終決策的失誤。所有這些問題都在等待著人們去發掘更好的解決方法。
參考資料
1.周斌,吳泉源,高洪奎:“用戶訪問模式數據挖掘的模型與算法研究”,《計算機研究與發展》,1999 vol.36 No.7 P.870-875;
2.Srikant R,Vu W,Agrawal R.Mining association rules with itemconstrains.IBM Almaden Research Center,Tech Rep:97.056,1997;
3.Park J S,Chen M,Yu P S.Aneffective hash based algorithm for miningassociation ru1es.In:ACM InternationalConference on Management of Data,Caliform,1995;
引言
LIN是一種低成本的串行通訊網絡,用于實現汽車中的分布式電子系統控制。LIN的目標是為現有汽車網絡(例如CAN總線)提供輔助功能。在不需要CAN總線的帶寬和多功能的場合,比如智能傳感器和制動裝置之間的通訊,使用LIN總線可大大節省成本。
目前,低成本的局部互聯網絡LIN在汽車電子和工業控制中的應用越來越廣泛,而基于LIN總線的協議分析和調試測試工具少且昂貴。大部分LIN總線開發工具存在一些問題:(1)調試LIN總線通常做法是通過網關將LIN幀轉換成CAN幀,再用基于CAN的測試工具間接調試LIN,當網關出現問題時這種方式就行不通;(2)和PC連接時采用串口或USB接口等有線的連接方式,在特定環境無法引線的情況下無法進行現場開發調試。
SoC(System on a Chip片上系統)技術是將微控制器或DSP核、存儲器、邏輯電路、I/O接口及其他功能模塊綜合在一顆芯片上的系統解決方案。由于處理器和存儲器的可編程能力,使得這種以CPU為核心的解決方案具有很強的靈活性和可修改能力。賽普拉斯(cy―press)公司開發的PSoC是目前最具靈活性的基于微控制器的片上系統解決方案,它模塊化的片內數字和模擬電路不僅具有很高的可編程性,而且還可以實現動態重新配置,即在運行時根據系統不同時刻的需求,通過編程動態地改變存儲在片內閃速存儲器中設定的參數.重新定義系統所需要功能模塊的種類和數量,動態地完成芯片資源的重新分配,實現新的元器件的功能。采用PSoC可以迅速縮短設計周期,降低設計風險,保證系統資源的最大化、最合理化和最經濟化應用,在無線、手持式設備、數據通信和工業系統設計等領域PSoC都有著廣泛的應用。
WirelessUSB是Cypress公司專門針對短距離點到點或多點到點的無線連接而設計的一種低延遲、干擾免疫、低成本和低功耗的短距離無線網絡,適合無線電腦外設和無線傳感器網絡應用。WirelessUSB的協議是輕量級的,可以在只帶256字節RAM和8K字節ROM的8位微控制器中實現。WirelessUSB使用頻分多址(FDMA)和碼分多址(CDMA),可有效避開其它無線網絡的干擾,能夠與藍牙、Wi-Fi等無線網絡共存,在面向2.4GHz無線系統的同類產品中提供最佳的抗干擾性能。傳輸距離從10米(最高1Mbps)到50米(最高62.5Kbps),使用既有的USB架構,因此無須特別的驅動軟件。
為彌補LIN網絡開發工具的不足,本文提出的方案一基于PSOC的無線LIN總線分析儀,通過無線連接能并行調試多個LIN總線,在有效降低開發成本和提高開發效率的同時提供更好的擴展性和靈活性。
LIN總線分析儀硬件介紹
LIN總線數據分析系統由主機橋接器(1個)和總線監控終端(多個)兩部分組成。總線監控終端采集LIN總線上的數據,通過無線網絡發送給主機橋接器;主機橋接器從無線網絡上接收LIN總線監控數據,通過USB接口發送到PC,由PC監控軟件對數據做進一步處理。系統可以實現數據監聽、錯誤檢測、主機仿真、從機仿真等功能。
系統的硬件由主機橋接器(通過USB接口連接PC)和LIN總線監控終端(連接LIN總線)組成,LIN總線監控終端選用MCU+RF的構架,包括PSoC控制器、射頻收發器、LIN收發器和電源管理等。
主機橋接器采用PRoC架構,在單芯片內集成了線性穩壓器、enCoRe-U微控制器、USB設備和射頻收發器,僅需極少的外部元件。
系統在選擇控制器時考慮到功能的擴展,選用了功能強大的CY8C29466,它集成了性能為4M1PS的8位M8C處理器、32K的Flash、2K的SRAM,還集成了24/48MHz晶振、32KHz晶振,以及16個可編程的功能強大的數字用戶模塊、12個模擬用戶模塊和可編程的內部互聯,可非常方便地選用多達100種的外設和設置連接方式,將PCB上大部分的元件和走線移到芯片內部,而且可動態重配置,開發非常靈活。
系統中的射頻芯片選擇CYRF6936,它屬于WirelessUSB LP系列,是Cypress的第二代射頻片上系統(Soc),兼容第一代的CYWUSB69XX器件。CYRF6936增加了一系列增強的特性,包括更廣的操作電壓范圍(1.8~3.6V)、更小的工作電流、更高的數據率(最大速率為1Mbps)、更短的晶振起振時間、同步穩定時間和鏈路切換時間。CYRF6936可用于無線鼠標鍵盤、無線操縱桿、遠程無線傳感和控制、無線耳機、家庭自動化和自動化儀表等。
主機橋接器(Bridge)選用Cypress的PRoC(Programmable Radio On Chip)LP(Low Power)芯片CYRF69213。PRoC LP器件在一個芯片里集成了微控制器和射頻收發器,是同樣封裝提供雙重功能的單芯片解決方案,它主要集成了性能為4MIPS的8位M8C處理器、USB2.0低速接口、2.4GHz射頻收發器,內部還集成了3.3V電壓調節器和USB上拉電阻等,大大減少外部元件,縮小電路板面積,有效降低成本。CYRF69.213的主要用于無線網絡的橋接器,將無線網絡的數據通過USB接口發往PC機,同時將PC機的控制命令發給無線設備。
局部互聯網絡(LIN)是車身網絡的最低層級的網絡,它提供了傳感器和執行器之間的低成本通信。本論文采用LIN總線驅動器MC33661符合LIN 2.0規范,很好地解決了以前的驅動器MC33399模式過于單一、無法調節翻轉頻率導致器件功耗較大、驅動功率不夠等問題。
考慮到系統的外部電源、MCU和無線射頻模塊的工作電源、MCU的工作電流,電源模塊選用帶關斷功能的低壓差線性穩壓器LT1121-5(5V穩壓)和高效率的線性電壓調節器AMS1117~3.3(3.3V穩壓)。
LIN總線分析儀軟件介紹
本系統的軟件設計方案圍繞著數據的提取、傳輸和處理。從數據流向上看,數據經過四個階段的處理,分剮是LIN總線協議處理( 從總線上提取數據幀)、WirelessUSB協議處理、USB協議處理和PC監控軟件的處理(顯示監控數據和總線信息)。本系統軟件可分成三大部分:總線監控終端、主機橋接器和PC,其中總線監控終端包括LIN協議處理和WirelessUSB協議處理,主機橋接器包括WirelessUSB協議處理和USB協議處理,PC包括USB協議處理和監控軟件處理。
軟件需要處理的任務
總線監控終端軟件設計
LIN總線監控任務:該任務時刻監控LIN總線的活動,當有數據幀到達時,將接收到的數據幀放入無線發送緩沖區,同時還需處理沖突和數據出錯。
WirelessUSB從機傳輸任務:該任務監控數據幀傳送到主機橋接器,同時接收主機的配置信息,傳遞給LIN監控任務。
主機橋接器軟件設計
主機USB設備監聽任務:主要處理和USB主機的交互,時刻監聽USB主機的請求事務。
WirelessUSB主機傳輸任務:主要功能是接收監控數據幀,傳送給USB監聽任務,同時將主機的配置信息傳送給總線監控終端。
PC機監控軟件設計:
主機USB傳輸任務:該任務主要處理主機與USB設備的交換,定時發送事務輪詢USB設備。
主機輸入輸出處理任務:該任務主要處理USB數據與用戶的交互。
LIN2.1協議各層的實現任務
LIN總線具有規范的分層結構,它定義了物理層、數據鏈路層和傳輸層的協議規范。物理層定義了LIN總線傳輸媒介的物理特性、總線驅動和接收特性、位速率誤差和位定時和同步等。數據鏈路層實現數據幀接收和錯誤檢測、波特率計算以及數據的包裝,解包,負責報文過濾和恢復管理等功能。傳輸層實現了單幀或多幀數據傳輸,在應用層和數據鏈路層之間翻譯數據幀,傳輸診斷請求和響應,提供外部總線的診斷接口,實現節點配置、識別和診斷。
數據鏈路層是LIN2.1協議的核心,負責發送和接收數據幀,處理信號的組幀和解幀。
LIN協議的數據鏈路層的PSoC實現
由于LIN總線分析儀既可以監聽總線活動,也可以仿真主機或從機節點。重點介紹總線分析儀數據鏈路層的實現。總線分析儀的數據鏈路層的實現包括調度表定時、間隔場的產生、間隔場和同步場的接收以及數據的傳輸。
調度表定時是通過一個8位計數器(schedule Timer)來實現的。間隔場采用三個8位計數器產生,一個8位計數器(SB_Baud_Rate_Counter)用來產生波特率時鐘,為后兩個計數器提供時鐘;一個8位計數器(sB_Bit_Time_Counter)用來在每個數據位的中間產生位時中斷;一個8位計數器(Synchro_Break_Counter)用來產生實際的間隔場。
接收間隔場和同步場的硬件配置包括1個16位的定時器、1個16位的計數器和RX(串口接收)引腳。一個帶輸入捕捉的16位定時器用來計算間隔場和同步場上升沿和下降沿之間的時間。一個16位的計數器用來判斷超時狀態。RX引腳連接到定時器的輸入捕捉,配置捕捉觸發為上升沿或下降沿。同時,使能RX引腳的GPIO中斷,所有的計算都在GPIO中斷服務程序中進行。
數據傳輸階段的硬件配置包括2個8位計數器、1個串口接收模塊和1個串口發送模塊。一個8位計數器(DR_Baud_Rate_Counter)用來產生波特率時鐘;一個8位計數器(Bit_Time_Counter)用來在每個數據位的中間產生位時中斷,串口接收模塊(RX8)用來接收數據(UART 8N1編碼格式);串口發送模塊(TX8)用來發送數據(UART 8N1編碼格式)。
相關處理如下:
緩沖器空中斷:如果是第一次中斷,則啟動位時定時器并打開中斷。如果要發送的字節數為O,則置最后字節已發送標志,否則發送下一字節數據,同時字節數減1。
接收緩沖器滿中斷:當工作監聽模式時,將所有接收到的數據保存到臨時緩沖區。分析儀如果處于發送狀態時則立即中斷返回,否則處理接收的數據。當工作在主機模式時,隨后的處理與主機的接收中斷處理相同。當工作在從機模式時,隨后的處理與從機的接收中斷處理相同。
數據傳輸位超時中斷:當工作在主機模式時,中斷處理與主機的位超時中斷處理相同。當工作在從機模式時,隨后的處理與從機的位超時中斷處理相同。
數據傳輸位錯誤中斷:位時計數器每位產生一次中斷,在ISR中通過比較TX和RX引腳是否相同來判斷是否有位錯誤。如果檢測到位錯誤,將載人接收間隔場和同步場的硬件配置,退出幀傳輸。
主機節點的數據鏈路層實現包括調度表的定時、間隔場的產生、字節數據(包括同步場和PID)的發送和字節數據的接收。