大公網(wǎng)

大公報(bào)電子版
首頁(yè) > 生活 > 3c科技 > 正文

?大數(shù)據(jù)時(shí)代下的數(shù)據(jù)存儲(chǔ)

2018-12-25 03:17:16大公報(bào)
字號(hào)
放大
標(biāo)準(zhǔn)
分享

  圖:如今世界數(shù)據(jù)信息總量增長(zhǎng)迅速

  從上世紀(jì)八九十年代開(kāi)始,互聯(lián)網(wǎng)的發(fā)展愈發(fā)迅速,隨之而來(lái)的是大量信息的高速傳播。同時(shí),許多互聯(lián)網(wǎng)企業(yè)加大其產(chǎn)品體量,尤其是一些社交網(wǎng)站的興起,導(dǎo)致數(shù)據(jù)量以空前的速度激增。進(jìn)入二十一世紀(jì),整個(gè)互聯(lián)網(wǎng)也正處?kù)兑粋€(gè)數(shù)據(jù)爆炸時(shí)代,“大數(shù)據(jù)”一詞也成了大家茶余飯后的談資,文本、音頻、視頻、圖像等多媒體數(shù)據(jù)鋪天蓋地。隨著技術(shù)的發(fā)展,大數(shù)據(jù)廣泛存在,如企業(yè)的數(shù)據(jù)、統(tǒng)計(jì)數(shù)據(jù)、醫(yī)療數(shù)據(jù)、移動(dòng)數(shù)據(jù)、物聯(lián)網(wǎng)數(shù)據(jù)等,在各行各業(yè),數(shù)據(jù)正呈現(xiàn)出空前的增速。例如,淘寶網(wǎng)每天進(jìn)行幾千萬(wàn)筆交易,其數(shù)據(jù)量達(dá)幾十TB,數(shù)據(jù)存儲(chǔ)量達(dá)幾十PB。\蘇強(qiáng)、汪漪、李偉超

  面對(duì)容量不斷增長(zhǎng)、種類(lèi)不斷增多、速度不斷加快的數(shù)據(jù),龐大的數(shù)據(jù)體量給數(shù)據(jù)存儲(chǔ)帶來(lái)了巨大挑戰(zhàn)。如今,許多企業(yè)面臨的數(shù)據(jù)處理量比過(guò)去多年的綜合還要多,如十年以前,商業(yè)的并行數(shù)據(jù)庫(kù)很少有超過(guò)一百個(gè)存儲(chǔ)節(jié)點(diǎn)以上的,而現(xiàn)在雅虎以及Facebook的存儲(chǔ)節(jié)點(diǎn)數(shù)已是成千上萬(wàn)。海量數(shù)據(jù)已經(jīng)對(duì)我們的工作、生活以及社會(huì)經(jīng)濟(jì)產(chǎn)生重要的影響,因此解決數(shù)據(jù)爆炸時(shí)代下的數(shù)據(jù)存儲(chǔ)問(wèn)題,刻不容緩。

  計(jì)算機(jī)存儲(chǔ)固件的起源與發(fā)展

  相信很多人都能注意到,我們的電腦的盤(pán)符都是從C盤(pán)開(kāi)始編號(hào),為什麼不是A或者B呢?事實(shí)上,多年以前,計(jì)算機(jī)給外部插入的驅(qū)動(dòng)器分配盤(pán)符時(shí),默認(rèn)的第一個(gè)盤(pán)符就是A盤(pán),當(dāng)時(shí)A盤(pán)和B盤(pán)對(duì)應(yīng)的是軟盤(pán)的盤(pán)符。而隨著技術(shù)的發(fā)展,B盤(pán)和A盤(pán)相繼被淘汰,這兩個(gè)盤(pán)符就空缺了,由於計(jì)算機(jī)的設(shè)計(jì)者往往遵從向前兼容的原則,即新設(shè)備要盡量支持早期版本的功能,因此,現(xiàn)如今C盤(pán)作為第一個(gè)盤(pán)符已經(jīng)成為業(yè)界的事實(shí)標(biāo)準(zhǔn)。那麼計(jì)算機(jī)的存儲(chǔ)固件經(jīng)歷了怎樣的發(fā)展階段呢?

  軟盤(pán)。是專(zhuān)門(mén)用於存儲(chǔ)和轉(zhuǎn)移數(shù)據(jù)的外部存儲(chǔ)器,可以直接插拔,隨身攜帶,在DOS系統(tǒng)盛行的年代,很多系統(tǒng)都是安裝在軟盤(pán)中,現(xiàn)在的一些服務(wù)器中依舊能看見(jiàn)軟盤(pán)的接口。軟盤(pán)的缺點(diǎn)在於存儲(chǔ)容量很小,體積卻相對(duì)較大,例如3.5寸的軟盤(pán)只有1.44M的存儲(chǔ)容量。

  光盤(pán)。是以光信息為介質(zhì)來(lái)存儲(chǔ)數(shù)據(jù)的一種輔助存儲(chǔ)器,可以存儲(chǔ)文字、聲音、圖形、圖像、動(dòng)畫(huà)等多種多媒體數(shù)據(jù)。早期使用系統(tǒng)光盤(pán)重裝電腦系統(tǒng)、使用遊戲光盤(pán)安裝遊戲都是一種比較主流的方式。目前光盤(pán)的種類(lèi)、製造工藝和讀取技術(shù)種類(lèi)繁多,是生活中比較常見(jiàn)的存儲(chǔ)固件。

  硬盤(pán)。是當(dāng)前計(jì)算機(jī)最主要的存儲(chǔ)媒介,由一個(gè)或者多個(gè)鋁製或者玻璃製的碟片組成,碟片外面覆蓋有鐵磁性材料。主要分為機(jī)械硬盤(pán)(HDD)、固態(tài)硬盤(pán)(SSD)和混合硬盤(pán)(HHD)。機(jī)械硬盤(pán)是傳統(tǒng)的普通硬盤(pán),也是目前存在時(shí)間最長(zhǎng)的硬盤(pán),其容量大、價(jià)格低廉,缺點(diǎn)是運(yùn)行速度緩慢,同樣地,由於其複雜的內(nèi)部結(jié)構(gòu),導(dǎo)致其容易出現(xiàn)劃痕,禁受不起頻繁的震動(dòng),因此容易損壞。固態(tài)硬盤(pán)近幾年在普通消費(fèi)市場(chǎng)日漸成熟,它在一塊電路板上集成了所有重要元器件,其運(yùn)行速度是目前市面上硬盤(pán)中最快的,結(jié)構(gòu)簡(jiǎn)單,僅僅只有一塊電路板,不會(huì)受到震動(dòng)影響,不容易損壞,缺點(diǎn)是容量相對(duì)較小,售價(jià)較高?;旌嫌脖P(pán)是一種機(jī)械硬盤(pán)和固態(tài)硬盤(pán)的疊加產(chǎn)品,主要解決了機(jī)械硬盤(pán)速度慢和固態(tài)硬盤(pán)容量小的問(wèn)題,同樣的,混合硬盤(pán)也兼具二者的缺點(diǎn)。

  數(shù)據(jù)爆炸時(shí)代的云存儲(chǔ)

  以上對(duì)存儲(chǔ)固件的描述說(shuō)明了單機(jī)上的存儲(chǔ)能力的進(jìn)步與發(fā)展,但隨著計(jì)算機(jī)技術(shù)和互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展以及大數(shù)據(jù)時(shí)代的推動(dòng),云計(jì)算技術(shù)成為領(lǐng)域類(lèi)的熱點(diǎn)話(huà)題,作為云計(jì)算技術(shù)的關(guān)鍵一環(huán),云存儲(chǔ)這一新型的存儲(chǔ)方式,在當(dāng)今數(shù)據(jù)爆炸的情況下正煥發(fā)出閃耀的光輝。

  大數(shù)據(jù)時(shí)代的存儲(chǔ)不再向上述單機(jī)的存儲(chǔ)方式一樣利用單一的固件,云存儲(chǔ)更核心的是一種分布式的并行存儲(chǔ)架構(gòu),它是指通過(guò)集群應(yīng)用、網(wǎng)絡(luò)技術(shù)或分布式文件系統(tǒng)等功能,將網(wǎng)絡(luò)中大量各種不同類(lèi)型的、廉價(jià)的存儲(chǔ)設(shè)備通過(guò)應(yīng)用軟件集合起來(lái)協(xié)同工作,共同對(duì)外提供數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪(fǎng)問(wèn)功能的一個(gè)系統(tǒng)。對(duì)使用者來(lái)看,它就像一個(gè)超級(jí)大的存儲(chǔ)器,可以通過(guò)網(wǎng)絡(luò)直接訪(fǎng)問(wèn),隨存隨取。

  在數(shù)據(jù)爆炸時(shí)代下,每個(gè)人都是海量數(shù)據(jù)的生產(chǎn)者,全球數(shù)據(jù)量?jī)H僅在2015年就達(dá)到了數(shù)萬(wàn)億GB,這也刺激了云存儲(chǔ)服務(wù)的市場(chǎng)發(fā)展,其市場(chǎng)佔(zhàn)有比例也在不斷增加。各大互聯(lián)網(wǎng)廠(chǎng)商紛紛推出自己的云存儲(chǔ)平臺(tái),如Amazon的S3,google的Google Drive,Microsoft的Windows Azure以及百度云盤(pán)等。

  云存儲(chǔ)的特點(diǎn)

  在大數(shù)據(jù)和云計(jì)算的背景之下,云存儲(chǔ)具有非常鮮明的特點(diǎn):

  分布式的并行擴(kuò)展架構(gòu)。云存儲(chǔ)能夠動(dòng)態(tài)地按需進(jìn)行擴(kuò)展,一般來(lái)說(shuō),云存儲(chǔ)系統(tǒng)的節(jié)點(diǎn)之間會(huì)通過(guò)網(wǎng)絡(luò)進(jìn)行連接,當(dāng)需要擴(kuò)展時(shí),只需要將新的節(jié)點(diǎn)插入網(wǎng)絡(luò)中即可;

  分層存儲(chǔ)。云存儲(chǔ)能夠?qū)Y(jié)構(gòu)化的數(shù)據(jù)進(jìn)行歸檔,按照不同層次保存歷史數(shù)據(jù),提供多種級(jí)別的訪(fǎng)問(wèn);

  智能空間分配。云存儲(chǔ)能夠?qū)⑾嗤L(fǎng)問(wèn)特點(diǎn)的應(yīng)用集中共享資源并且動(dòng)態(tài)、靈活地按需進(jìn)行資源分配和使用,以達(dá)到資源的最大利用和保護(hù);

  服務(wù)屬性。云存儲(chǔ)的核心是應(yīng)用軟件與存儲(chǔ)設(shè)備相結(jié)合,通過(guò)應(yīng)用軟件來(lái)實(shí)現(xiàn)存儲(chǔ)設(shè)備向存儲(chǔ)服務(wù)的轉(zhuǎn)變,用戶(hù)所面向的只是一個(gè)服務(wù)接口,因此,嚴(yán)格意義上來(lái)說(shuō),云存儲(chǔ)不是簡(jiǎn)單的存儲(chǔ),而是一種服務(wù)。

  基於以上特性,相比於傳統(tǒng)的存儲(chǔ)設(shè)備和存儲(chǔ)軟件,云存儲(chǔ)的優(yōu)點(diǎn)也十分明顯:

  高效率,低成本。傳統(tǒng)的存儲(chǔ)方式下,企業(yè)會(huì)根據(jù)自身需求投入大量資金購(gòu)置硬件設(shè)備、搭建平臺(tái),軟件開(kāi)發(fā)周期較長(zhǎng),技術(shù)升級(jí)落后。而在云存儲(chǔ)方式下,企業(yè)只需要投資配置必要的終端設(shè)備,提供分期租賃服務(wù),不需要投入其他資金,因此使用成本低,對(duì)於特定服務(wù),可以做到立刻投入使用,方便且快捷。

  管理方便。傳統(tǒng)的存儲(chǔ)方式下,系統(tǒng)需要專(zhuān)門(mén)的技術(shù)人員來(lái)維護(hù),導(dǎo)致昂貴的維護(hù)成本。而云存儲(chǔ)服務(wù)的維護(hù)都是由提供商完成,企業(yè)基本不需要投入資金用於系統(tǒng)維護(hù),卻能夠獲得最新最專(zhuān)業(yè)的服務(wù)。

  方式靈活。傳統(tǒng)的存儲(chǔ)方式中,一旦系統(tǒng)開(kāi)發(fā)完畢,系統(tǒng)很難根據(jù)實(shí)際運(yùn)行情況動(dòng)態(tài)調(diào)整,如果業(yè)務(wù)需求發(fā)生變化,軟件需要不斷更新或者重構(gòu),成本高昂。而云存儲(chǔ)一般根據(jù)客戶(hù)數(shù)、使用時(shí)間和服務(wù)項(xiàng)目收費(fèi),使用者可以根據(jù)自身的需求動(dòng)態(tài)調(diào)整其租用服務(wù)方式,達(dá)到按需使用。

  云存儲(chǔ)的應(yīng)用

  大數(shù)據(jù)與云計(jì)算催生出的云存儲(chǔ)服務(wù)在生活的方方面面日益體現(xiàn)出其重要的應(yīng)用價(jià)值,相比於傳統(tǒng)的存儲(chǔ)系統(tǒng),云存儲(chǔ)效率高、成本低廉、管理方便、方式靈活。隨著應(yīng)用範(fàn)圍的逐漸擴(kuò)張與應(yīng)用的普及化,云存儲(chǔ)在很多方面都有較大的發(fā)揮空間,如教育、娛樂(lè)、個(gè)人應(yīng)用以及企業(yè)應(yīng)用等。

  云存儲(chǔ)在數(shù)字化圖書(shū)館中的應(yīng)用。如今各大高校都已經(jīng)著手建立數(shù)字圖書(shū)館,其數(shù)字信息集成是一個(gè)信息資源的超大聯(lián)合體。并且在這個(gè)聯(lián)合體內(nèi),既要滿(mǎn)足資源互補(bǔ),也要避免資源重複,因此需要對(duì)信息資源進(jìn)行歸檔,方便數(shù)據(jù)更新和共享。首先,數(shù)字圖書(shū)館信息的更新速度與傳統(tǒng)的圖書(shū)館相比更快捷,傳統(tǒng)的圖書(shū)館應(yīng)用價(jià)值相對(duì)較低,不能及時(shí)有效地更新信息。其次,云存儲(chǔ)降低了圖書(shū)館的存儲(chǔ)成本,傳統(tǒng)的數(shù)字化圖書(shū)館在構(gòu)建過(guò)程中的成本很高,各種計(jì)算機(jī)的存儲(chǔ)設(shè)備及設(shè)備維護(hù)管理等也需要大量費(fèi)用,而將云存儲(chǔ)技術(shù)應(yīng)用到數(shù)據(jù)化圖書(shū)館的構(gòu)建中,既能提高管理人員的工作效率,也能提升服務(wù)質(zhì)量。另外,云存儲(chǔ)對(duì)保護(hù)圖書(shū)館信息的安全也起著非常重要的作用,傳統(tǒng)的數(shù)字化圖書(shū)館經(jīng)常出現(xiàn)被黑客攻擊的現(xiàn)象,而云存儲(chǔ)技術(shù)能將圖書(shū)館的信息集中有序地放到各個(gè)服務(wù)器上,并自動(dòng)進(jìn)行數(shù)據(jù)備份,保障了數(shù)據(jù)的安全性。因此,云存儲(chǔ)極大地推進(jìn)了數(shù)字化圖書(shū)館建設(shè)。

  云存儲(chǔ)在視頻監(jiān)控中的應(yīng)用?,F(xiàn)階段,安防領(lǐng)域要求視頻監(jiān)控系統(tǒng)能達(dá)到大規(guī)模高清和網(wǎng)絡(luò)化的部署,呈現(xiàn)更高品質(zhì)的視頻圖像供精準(zhǔn)的智能數(shù)據(jù)分析。另外,在平安城市和智慧城市等大規(guī)模行業(yè)應(yīng)用中,對(duì)海量高清視頻數(shù)據(jù)存儲(chǔ)系統(tǒng)的需求非常急切,高性能、高容量、高可靠性和擴(kuò)展性的云存儲(chǔ)服務(wù)脫穎而出,其可通過(guò)云計(jì)算、虛擬化等關(guān)鍵技術(shù)實(shí)現(xiàn)海量數(shù)據(jù)規(guī)模的彈性擴(kuò)展的特點(diǎn),大大降低了運(yùn)營(yíng)成本和資源浪費(fèi)。目前,許多公安機(jī)關(guān)都已經(jīng)建設(shè)完成基於云存儲(chǔ)的監(jiān)控中心,實(shí)現(xiàn)了派出所級(jí)別的云監(jiān)控系統(tǒng),能夠進(jìn)行統(tǒng)一的錄像管理。同樣地,云存儲(chǔ)也保證了其數(shù)據(jù)冗余備份以及錄像數(shù)據(jù)的安全性和可靠性。此外,基於云存儲(chǔ)的視頻監(jiān)控也成為了很多企業(yè)實(shí)現(xiàn)業(yè)務(wù)流程自動(dòng)化監(jiān)管的一個(gè)重要手段,大大降低了企業(yè)的人力和物力成本,在不久的未來(lái),隨著物聯(lián)網(wǎng)、智慧城市、智慧醫(yī)療等進(jìn)一步的建設(shè)與發(fā)展,基於云存儲(chǔ)的視頻監(jiān)控可能會(huì)用於城市級(jí)甚至跨多個(gè)區(qū)域的視頻數(shù)據(jù)中心建設(shè)中去。

  云存儲(chǔ)在教育領(lǐng)域的應(yīng)用。隨著高等教育逐漸普及,人們對(duì)教育資源的需求也越來(lái)越多,而高校本身的資源利用率低,高校與高校之間實(shí)際上是相對(duì)獨(dú)立的個(gè)體,獨(dú)立辦學(xué),教育資源和信息資源共享程度很低。云存儲(chǔ)以其優(yōu)良的共享性,在高校教育資源整合中起到了十分關(guān)鍵的作用,很好地解決高校擴(kuò)招形成的教學(xué)資源需求持續(xù)增長(zhǎng)與教育資源相對(duì)短缺之間的矛盾,提高了教學(xué)資源利用率,加速教育資源共享。特別地,教育云是云存儲(chǔ)遷移到教育領(lǐng)域的成功案例,正作為未來(lái)教育信息化的基礎(chǔ)架構(gòu),為教育領(lǐng)域提供優(yōu)質(zhì)的云服務(wù)。

  云存儲(chǔ)發(fā)展存在的問(wèn)題

  大數(shù)據(jù)時(shí)代背景下,云存儲(chǔ)的發(fā)展也受到多方面因素的制約:

  網(wǎng)絡(luò)帶寬問(wèn)題。云存儲(chǔ)的發(fā)展很大程度上依賴(lài)於網(wǎng)絡(luò)的發(fā)展,使用者需要通過(guò)多種寬帶接入設(shè)備與云進(jìn)行連接,因此,只有寬帶網(wǎng)絡(luò)得到良好的發(fā)展,使用者才能獲得足夠的數(shù)據(jù)傳輸帶寬,實(shí)現(xiàn)大容量的數(shù)據(jù)傳輸;

  法律法規(guī)的完善問(wèn)題。目前云存儲(chǔ)領(lǐng)域沒(méi)有可以借鑒的法律,將個(gè)人相關(guān)信息存入網(wǎng)盤(pán)等行為具有很大的侵權(quán)風(fēng)險(xiǎn)和數(shù)據(jù)安全保護(hù)風(fēng)險(xiǎn);

  數(shù)據(jù)的所有權(quán)問(wèn)題。在云存儲(chǔ)框架之下,無(wú)數(shù)數(shù)據(jù)存儲(chǔ)在云上,服務(wù)提供商也擁有使用者所存儲(chǔ)的數(shù)據(jù),關(guān)於該數(shù)據(jù)的所有權(quán)是一個(gè)亟待解決的問(wèn)題。

  總結(jié)

  本文從云存儲(chǔ)的起源、特點(diǎn)、應(yīng)用和問(wèn)題方面介紹了大數(shù)據(jù)時(shí)代背景下的一種分布式存儲(chǔ)服務(wù)。隨著大數(shù)據(jù)與云計(jì)算的持續(xù)發(fā)展和創(chuàng)新,云存儲(chǔ)在人們生活中越來(lái)越扮演著重要的角色,無(wú)論是存儲(chǔ)個(gè)人信息或是企業(yè)級(jí)數(shù)據(jù),還是整個(gè)城市、跨區(qū)域的海量數(shù)據(jù),云存儲(chǔ)提供了良好的存儲(chǔ)、安全、共享等服務(wù)。同樣地,在不遠(yuǎn)的將來(lái),技術(shù)的不斷改進(jìn)和管理方式的不斷變化,使得愈發(fā)先進(jìn)的存儲(chǔ)方案不斷影響人們的生活方式,讓人們的生活更便利,更美好。

(圖片來(lái)自網(wǎng)絡(luò))

下期“3C科技”將於2019年1月8日刊登

點(diǎn)擊排行