隨著大數(shù)據(jù)技術(shù)的成熟和普及，我們發(fā)現(xiàn)借助于大數(shù)據(jù)技術(shù)可以完美的解決上述問題。根據(jù)目前的需求和對(duì)大數(shù)據(jù)相關(guān)軟件的掌握，我們對(duì)GPS日志分析系統(tǒng)做了初步的設(shè)計(jì)以下是小編為你整理的大數(shù)據(jù)要怎么學(xué) ?

大數(shù)據(jù)日志分析主要是對(duì)開源大數(shù)據(jù)組件進(jìn)行整合開發(fā)而成，分為：數(shù)據(jù)采集層、數(shù)據(jù)預(yù)處理層、數(shù)據(jù)存儲(chǔ)層、數(shù)據(jù)處理層和數(shù)據(jù)分析層等5個(gè)層次。 ?

01數(shù)據(jù)采集層 ?

數(shù)據(jù)采集層主要利用開源組件Flume對(duì)日志文件進(jìn)行采集。Flume是一個(gè)分布式、高可靠、高可用的海量日志采集軟件，支持定制各類的數(shù)據(jù)發(fā)送方，在收集數(shù)據(jù)的同時(shí)能夠?qū)?shù)據(jù)進(jìn)行簡單的處理，然后寫到各種數(shù)據(jù)接收方。 ?

目前我們是對(duì)Flume采集的日志文件做兩個(gè)操作，一是直接發(fā)送給kafka進(jìn)行緩存，二是將數(shù)據(jù)進(jìn)行壓縮后寫入HDFS供之后的分析用。

02數(shù)據(jù)預(yù)處理 ?

數(shù)據(jù)預(yù)處理主要對(duì)日志文件進(jìn)行初步的簡單處理。目前采用Storm從Kafka接收數(shù)據(jù)，然后對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)統(tǒng)計(jì)。 ?

Storm是一個(gè)分布式、容錯(cuò)的實(shí)時(shí)計(jì)算系統(tǒng)。它的編程模型非常簡潔，主要包括三個(gè)組件：Topology、Spout和Bolt。Topology是一個(gè)由多個(gè)計(jì)算節(jié)點(diǎn)構(gòu)成的拓?fù)鋱D，Spout和Bolt是兩種結(jié)算節(jié)點(diǎn)，它們一起構(gòu)成了一個(gè)完整的數(shù)據(jù)流向圖。 ?

目前常用的大數(shù)據(jù)解決方案包括以下幾類 ?

一、Hadoop。Hadoop 是一個(gè)能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架。但是 Hadoop 是以一種可靠、高效、可伸縮的方式進(jìn)行處理的。此外，Hadoop 依賴于社區(qū)服務(wù)器，因此它的成本比較低，任何人都可以使用。 ?

二、HPCC。HPCC，High Performance Computing and Communications(高性能計(jì)算與通信)的縮寫。HPCC主要目標(biāo)要達(dá)到：開發(fā)可擴(kuò)展的計(jì)算系統(tǒng)及相關(guān)軟件，以支持太位級(jí)網(wǎng)絡(luò)傳輸性能，開發(fā)千兆 比特網(wǎng)絡(luò)技術(shù)，擴(kuò)展研究和教育機(jī)構(gòu)及網(wǎng)絡(luò)連接能力。 ?

三、Storm。Storm是自由的開源軟件，一個(gè)分布式的、容錯(cuò)的實(shí)時(shí)計(jì)算系統(tǒng)。Storm可以非?？煽康奶幚睚嫶蟮臄?shù)據(jù)流，用于處理Hadoop的批量數(shù)據(jù)。 Storm支持許多種編程語言，使用起來非常有趣。Storm由Twitter開源而來，其它*的應(yīng)用企業(yè)包括Groupon、淘寶、支付寶、阿里巴巴、樂元素、Admaster等等。 ?

四、Apache Drill。為了幫助企業(yè)用戶尋找更為有效、加快Hadoop數(shù)據(jù)查詢的方法，Apache軟件基金會(huì)近日發(fā)起了一項(xiàng)名為“Drill”的開源項(xiàng)目。該項(xiàng)目幫助谷歌實(shí)現(xiàn)海量數(shù)據(jù)集的分析處理，包括分析抓取Web文檔、跟蹤安裝在Android Market上的應(yīng)用程序數(shù)據(jù)、分析垃圾郵件、分析谷歌分布式構(gòu)建系統(tǒng)上的測試結(jié)果等等。 ?

大數(shù)據(jù)時(shí)代下，*、企業(yè)、個(gè)人應(yīng)該如何保護(hù)隱私 ?

隱私安全的保護(hù)，不僅需要先進(jìn)的技術(shù)來保護(hù)，也需要**不斷完善規(guī)章制度，企業(yè)也要遵守行業(yè)規(guī)范，個(gè)人也要提高對(duì)隱私保護(hù)的意識(shí)。 ?

1、**應(yīng)該完善相關(guān)的規(guī)章制度。6月1日，《網(wǎng)絡(luò)安全法》正式實(shí)施，保障網(wǎng)絡(luò)安全，維護(hù)網(wǎng)絡(luò)空間主權(quán)和*安全、社會(huì)公共利益，保護(hù)公民、法人和其他組織的合法權(quán)益，促進(jìn)經(jīng)濟(jì)社會(huì)信息化健康發(fā)展。同時(shí)，*也要加強(qiáng)監(jiān)管力度，加強(qiáng)政策法規(guī)的落實(shí)，不斷完善《網(wǎng)絡(luò)安全法》。

?

2、企業(yè)應(yīng)當(dāng)遵守行業(yè)規(guī)法。企業(yè)應(yīng)該加強(qiáng)數(shù)據(jù)使用的監(jiān)管，保證數(shù)據(jù)安全不泄露，防止不法分子獲取數(shù)據(jù)，減少用戶對(duì)數(shù)據(jù)安全的擔(dān)憂，建立強(qiáng)而有效的數(shù)據(jù)隱私保護(hù)機(jī)制。 ?

3、個(gè)人應(yīng)該提高自身隱私安全保護(hù)意識(shí)。除了*、企業(yè)應(yīng)當(dāng)保護(hù)隱私以外，個(gè)人也應(yīng)該提高自身的隱私安全保護(hù)意識(shí)，切勿輕易把個(gè)人隱私信息交給他人，從源頭上防止個(gè)人隱私泄露。 ?

大數(shù)據(jù)近年來確實(shí)在許多方面改進(jìn)了商業(yè)模式，促進(jìn)了經(jīng)濟(jì)的發(fā)展。但是，發(fā)展是好，我們也要不能忽略掉大數(shù)據(jù)帶來的隱私問題，隱私保護(hù)才是重中之重。 ?

利用移動(dòng)設(shè)備數(shù)據(jù)識(shí)別欺詐 ?

行為數(shù)據(jù)中一個(gè)比較特殊的就是移動(dòng)設(shè)備數(shù)據(jù)反欺詐，公司可以利用移動(dòng)設(shè)備的位置信息來驗(yàn)證客戶提交的工作地和生活地是否真實(shí)，另外來可以根據(jù)設(shè)備安裝的應(yīng)用活躍來識(shí)別多頭借貸風(fēng)險(xiǎn)。 ?

欺詐用戶一般會(huì)使用模擬器進(jìn)行貸款申請(qǐng)，移動(dòng)大數(shù)據(jù)可以識(shí)別出貸款人是否使用模擬器。欺詐用戶也有一些典型特征，例如很多設(shè)備聚集在一個(gè)區(qū)域，一起 申請(qǐng)貸款。欺詐設(shè)備不安裝生活和工具用App，僅僅安裝和貸款有關(guān)的App，可能還安裝了一些密碼破譯軟件或者其他的惡意軟件。 ?

欺詐用戶還有可能不停更換SIM卡和手機(jī)，利用SIM卡和手機(jī)綁定時(shí)間和頻次可以識(shí)別出部分欺詐用戶。另外欺詐用戶也會(huì)購買一些已經(jīng)淘汰的手機(jī)，其機(jī)器上面的操作系統(tǒng)已經(jīng)過時(shí)很久，所安裝的App版本都很舊。這些特征可以識(shí)別出一些欺詐用戶。 ?