ZDNet至頂網(wǎng)軟件頻道消息:在剛剛過去的2014年,不懂點(diǎn)兒大數(shù)據(jù),都不好意思跟別人打招呼。但是與大數(shù)據(jù)概念的持續(xù)火熱相比,我們發(fā)現(xiàn)真正落地的大數(shù)據(jù)應(yīng)用并沒有想象得那般多,造成這一局面的原因是什么?帶著這個(gè)疑問,記者采訪了專注于數(shù)據(jù)集成業(yè)務(wù)的軟件提供商Informatica中國(guó)區(qū)的幾位資深技術(shù)專家,就大數(shù)據(jù)的思維、技術(shù)和發(fā)展等問題與他們進(jìn)行了深入探討。
Informatica技術(shù)團(tuán)隊(duì)全家福。其中Informatica公司大中國(guó)區(qū)首席產(chǎn)品顧問但斌(右二)、Informatica公司中國(guó)區(qū)首席技術(shù)顧問杜紹森(右三)、Informatica中國(guó)區(qū)資深技術(shù)顧問孫大山(左二)接受記者采訪。
在Informatica公司大中國(guó)區(qū)首席產(chǎn)品顧問但斌看來,之所以大數(shù)據(jù)雷聲大雨點(diǎn)小,原因在于包括國(guó)外在內(nèi)的很多大數(shù)據(jù)案例、大數(shù)據(jù)故事無非是商務(wù)智能(BI)、數(shù)據(jù)倉庫(BW)概念的改頭換面,只是新瓶裝舊酒而已。就如數(shù)據(jù)倉庫一樣,建設(shè)了近20年才讓每個(gè)企業(yè)真正承認(rèn)其價(jià)值,大數(shù)據(jù)也不能期望很快就獲得成功,需要一個(gè)時(shí)間上的沉淀。另外,我們也要接受大數(shù)據(jù)項(xiàng)目的失敗率。仍然以數(shù)據(jù)倉庫建設(shè)為例,幾年前很多報(bào)告都顯示會(huì)有80%的失敗率,大數(shù)據(jù)也會(huì)如此,但是失敗對(duì)后來的成功也有著借鑒意義。
大數(shù)據(jù)的“大”在過去一段時(shí)間內(nèi)困擾著很多人,似乎只有數(shù)據(jù)量足夠大才能稱之為大數(shù)據(jù)。所幸這一認(rèn)識(shí)誤區(qū)已經(jīng)被大多數(shù)人所跨越了。但是但斌告訴記者,從對(duì)大數(shù)據(jù)的認(rèn)識(shí)來說,現(xiàn)在還有這樣一個(gè)錯(cuò)誤認(rèn)識(shí),似乎大數(shù)據(jù)與精確必須劃等號(hào)?!斑@一認(rèn)識(shí)來源于以往。以前由于可獲得的數(shù)據(jù)量比較小,為此我們必須盡量準(zhǔn)確的記錄下所獲得的所有數(shù)據(jù),做出KPI供領(lǐng)導(dǎo)參考,采樣過程的精確度被放在重要的地位。顯然,這種對(duì)精確性的執(zhí)著是信息缺乏時(shí)代的產(chǎn)物?!痹诖髷?shù)據(jù)時(shí)代,但斌認(rèn)為數(shù)據(jù)的收集問題不再成為困擾,采集全量的數(shù)據(jù)成為現(xiàn)實(shí),但海量數(shù)據(jù)的涌現(xiàn)一定會(huì)增加數(shù)據(jù)的混亂性且造成結(jié)果的不準(zhǔn)確性。“針對(duì)這一趨勢(shì),我們要接受數(shù)據(jù)的不精確性,可能有10%的數(shù)據(jù)是精確的就夠了,我們更要看重的是數(shù)據(jù)的相關(guān)性,這才是真正的大數(shù)據(jù)思維?!?br style="margin:0px;padding:0px;"/>
具體到大數(shù)據(jù)思維,另一個(gè)很重要的因素在于接受大數(shù)據(jù)的不成熟性。雖然大數(shù)據(jù)早已不像數(shù)據(jù)倉庫一樣是從無到有,但是即使是從有到更好,也要經(jīng)歷一個(gè)過程,但斌認(rèn)為可能會(huì)用到10-15年。
在這個(gè)大數(shù)據(jù)從不成熟到成熟的演進(jìn)過程中,必須認(rèn)識(shí)到大數(shù)據(jù)不是一個(gè)純技術(shù)問題,它會(huì)包含很多管理、業(yè)務(wù)方面的內(nèi)容。并不是說購(gòu)買了一套數(shù)據(jù)挖掘工具,組建了一個(gè)Hadoop環(huán)境就能稱為做了大數(shù)據(jù)。除了設(shè)備、技術(shù)上的投資,企業(yè)還需要從組織架構(gòu)、人員意識(shí)、管理方式、企業(yè)文化等方面都有轉(zhuǎn)變。大數(shù)據(jù)的前期準(zhǔn)備工作很多,這是一種思維上的全面變革。
針對(duì)這一趨勢(shì),越來越多的企業(yè)其實(shí)已經(jīng)認(rèn)識(shí)到大數(shù)據(jù)建設(shè)并非IT部門的事情,我們需要的是既懂IT、又懂業(yè)務(wù)的人才,這也是數(shù)據(jù)科學(xué)家出現(xiàn)的原因所在。一個(gè)企業(yè)內(nèi)部的數(shù)據(jù)集成或者數(shù)據(jù)質(zhì)量管理工作是否有價(jià)值,在于面對(duì)的是否是有效的數(shù)據(jù)應(yīng)用和使用者,他們就是數(shù)據(jù)科學(xué)家,只有他們有效的獲取和利用了這些數(shù)據(jù),才能發(fā)揮數(shù)據(jù)的最大價(jià)值。
對(duì)于當(dāng)前企業(yè)來說,做大數(shù)據(jù),90%的企業(yè)都不可能實(shí)現(xiàn)放煙花式的很炫的效果,他們首先還是要踏踏實(shí)實(shí)地解決數(shù)據(jù)整合、數(shù)據(jù)質(zhì)量和主數(shù)據(jù)管理等問題,而這些恰恰是Informatica公司的核心競(jìng)爭(zhēng)力所在,也是多年來Informatica所專注的業(yè)務(wù)。目前Informatica已經(jīng)有了11個(gè)方面、30多小項(xiàng)的解決方案,Informatica數(shù)據(jù)集成平臺(tái)提供了將數(shù)據(jù)轉(zhuǎn)化為可信、可行且可靠的信息資產(chǎn)所需的全部功能,可以隨時(shí)隨地集成任何的數(shù)據(jù)碎片、控制企業(yè)內(nèi)或“云中”數(shù)據(jù)、高速傳送數(shù)據(jù)、與合作伙伴共享數(shù)據(jù)、查找并解決數(shù)據(jù)質(zhì)量問題、給予您憑借數(shù)據(jù)主動(dòng)采取行動(dòng)的能力、創(chuàng)建針對(duì)最重要數(shù)據(jù)資產(chǎn)的可靠視圖等等,這些技術(shù)組合能夠天衣無縫地配合運(yùn)作,且可通過有效利用硬件基礎(chǔ)設(shè)施來降低總體擁有成本,實(shí)現(xiàn)更精細(xì)化數(shù)據(jù)管理。
2014年,Informatica數(shù)據(jù)安全方案因滿足市場(chǎng)熱點(diǎn)需求而成為業(yè)務(wù)增長(zhǎng)較快的單元。而另一種市場(chǎng)需求很大的是數(shù)據(jù)歸檔類方案。企業(yè)經(jīng)過幾年發(fā)展,積累了大量歷史數(shù)據(jù)希望存檔,Informatica提供了一些運(yùn)算、存儲(chǔ)等系列新技術(shù),能夠?qū)v史數(shù)據(jù)進(jìn)行歸檔、留存及分析,實(shí)現(xiàn)全生命周期數(shù)據(jù)的管理。
在大數(shù)據(jù)時(shí)代,有人會(huì)說Informatica是幸運(yùn)兒,趕上了好機(jī)會(huì),但事實(shí)上一直專注于數(shù)據(jù)集成業(yè)務(wù)的Informatica并沒有變,依舊專注于如何用好數(shù)據(jù)、如何發(fā)揮數(shù)據(jù)最大價(jià)值。你不需要去適應(yīng)時(shí)代,只需要真正去滿足用戶的需求,這才是成功的關(guān)鍵。