時間:2023-04-08 11:48:16
導(dǎo)言:作為寫作愛好者,不可錯過為您精心挑選的10篇大數(shù)據(jù)金融論文,它們將為您的寫作提供全新的視角,我們衷心期待您的閱讀,并希望這些內(nèi)容能為您提供靈感和參考。
>> 大數(shù)據(jù)時代的供應(yīng)鏈物流服務(wù) 雙渠道供應(yīng)鏈中的價格決策與服務(wù)決策研究 從績效驅(qū)動因素看大數(shù)據(jù)時代的供應(yīng)鏈變革 非對稱信息下雙渠道供應(yīng)鏈的定價決策分析 大數(shù)據(jù)環(huán)境下供應(yīng)鏈金融模式研究 大數(shù)據(jù)視角下電子商務(wù)平臺供應(yīng)鏈金融的研究 大數(shù)據(jù)時代下的我國供應(yīng)鏈金融發(fā)展形態(tài)研究 供應(yīng)鏈管理中的大數(shù)據(jù)運用 大數(shù)據(jù)驅(qū)動下的圖書館服務(wù)創(chuàng)新 隨機需求下產(chǎn)能充足雙渠道供應(yīng)鏈決策問題探討 需求不確定環(huán)境下閉環(huán)供應(yīng)鏈回收渠道決策研究 電子商務(wù)環(huán)境下“雙渠道供應(yīng)鏈”決策問題研究 全供應(yīng)鏈下的庫存管控 碳交易風(fēng)險下供應(yīng)鏈企業(yè)低碳技術(shù)采納決策框架研究 供應(yīng)鏈管理框架下的零售渠道合作 基于研發(fā)投入的雙渠道供應(yīng)鏈決策優(yōu)化研究 網(wǎng)上代銷雙渠道閉環(huán)供應(yīng)鏈的定價與協(xié)調(diào)決策 淺析在大數(shù)據(jù)時代背景下如何提升物流供應(yīng)鏈價值 SaaS服務(wù)供應(yīng)鏈的創(chuàng)新結(jié)構(gòu)研究 試論供應(yīng)鏈金融服務(wù)創(chuàng)新 常見問題解答 當(dāng)前所在位置:l.
[48]武漢市五交家電商業(yè)協(xié)會.關(guān)于2013年全市家電行業(yè)發(fā)展情況和2014年行業(yè)發(fā)展建議[R/OL].[2014-04-15]..
[49]馮芷艷,郭迅華,曾大軍,陳煜波,陳國青.大數(shù)據(jù)背景下商務(wù)管理研究若干前沿課題[J].管理科學(xué)學(xué)報,2013(1):1-9.
[50]Ernst & Young.Globalonlineretailing[EB/OL]..
近日,專業(yè)第三方電子商務(wù)、互聯(lián)網(wǎng)金融研究機構(gòu)與國內(nèi)最大媒體服務(wù)平臺——中國電子商務(wù)研究中心正式推出“中國電商大數(shù)據(jù)網(wǎng)”(100ec.cn/zt/bd/ ),國內(nèi)覆蓋最全的電商領(lǐng)域大數(shù)據(jù)應(yīng)用一科技平臺。
據(jù)(100EC.CN)監(jiān)測數(shù)據(jù)顯示,美國已有20%、30%的網(wǎng)絡(luò)展示是通過大數(shù)據(jù)來售賣的,而目前中國還比較少,只有3%到4%,從這個角度來說大數(shù)據(jù)營銷市場是大力可為的,有著廣泛的發(fā)展空間。
[ 3 ] 王喜文.日本強化ICT領(lǐng)域國際競爭力[N].中國電子報,2012-06-15(003).
[ 4 ] The White House. Big Data Across the Federal Government[EB/OL].[2014-08-08].http://whitehouse.gov/sites/default/files/microsites/ostp/big_data_fact_sh-eet.pdf.
[ 5 ] The Wall Street Journal. Big-Data Success Stories: Splunk[EB/OL].[2014-08-08].http:///ve-nturecapital/2011/10/21/big-data-success-stories-s-plunk/.
[ 6 ] The New York Times. Harvard Releases Big Data for Books[EB/OL].[2014-08-08].http:///2012/04/24/Harvard-releases-big-data-for-books/
[ 7 ] Spolanka. OverDrive announces a series of “Big Data”reports[EB/OL].[2014-08-08].http://libraries.wr-ight.edu/noshelfrequired/2012/04/11/overdrive-an-no-unces-a-series-of-big-data-reports/.
[ 8 ] Xavier Amatrain,Justin flix公布個性化和推薦系統(tǒng)架構(gòu)[EB/OL].[2014-08-08].http:///article/2013-04-04/2814767-netflix-ml-architecture.
[ 9 ] 云推薦[EB/OL].[2014-08-08].http:///.
[10] 中國科學(xué)院.李國杰院士:大數(shù)據(jù)成為信息科技新關(guān)注點[EB/OL].[2014-08-08].http:///xw/zjsd/201206/t20120627_3605350.shtml.
[11] 李奕.大數(shù)據(jù)應(yīng)用方式:從數(shù)據(jù)服務(wù)、信息服務(wù)到知識服務(wù)[N].中國計算機報,2012-07-09(024).
[12] Big data:The next frontier for innovation,competition and productivity[EB/OL].[2014-08-08].http:///Features/Big Data.
[13] 李晨暉,崔建明,陳超泉.大數(shù)據(jù)知識服務(wù)平臺構(gòu)建關(guān)鍵技術(shù)研究[J].情報資料工作,2013(2):29-34.
[14] 秦曉珠,李晨暉,麥范金.大數(shù)據(jù)知識服務(wù)的內(nèi)涵、典型特征及概念模型[J].情報資料工作,2013(2):18-22.
中圖分類號:G250 文獻(xiàn)標(biāo)識碼:A 文章編號:1672-3791(2017)02(c)-0219-02
大數(shù)據(jù)是當(dāng)前社會發(fā)展中非常重要的組成部分,在大數(shù)據(jù)時代下,我國的圖書館管理也實現(xiàn)了高新技術(shù)的層面,圖書館數(shù)據(jù)流量也呈現(xiàn)出了級數(shù)非線性增長,大數(shù)據(jù)環(huán)境的主要特點是數(shù)據(jù)量大,高速且高價值。這也使得圖書館數(shù)據(jù)系統(tǒng)的復(fù)雜程度以及數(shù)據(jù)的管理難度有了極大的增加,大數(shù)據(jù)平臺也逐漸成為廣大黑客攻擊的主要目標(biāo),基于此,如何保證在大數(shù)據(jù)時代下,圖書館數(shù)據(jù)平臺的安全問題也就成為了當(dāng)前主要的研究課題,怎樣有效利用大數(shù)據(jù)技術(shù)來構(gòu)建智能圖書館,這對于提升圖書館的市場競爭能力都是非常有幫助的。
1 大數(shù)據(jù)時代下數(shù)字圖書館說面臨的安全威脅
1.1 數(shù)據(jù)中心IT系統(tǒng)安全需求
隨著我國圖書館現(xiàn)代化的不斷深入,圖書館系統(tǒng)也在不斷的更新?lián)Q代當(dāng)中,在圖書館體系的運用上,系統(tǒng)要求安全檢測具備更加廣泛的深度和需求,這樣一來就會導(dǎo)致圖書館數(shù)據(jù)中心系統(tǒng)的能耗急劇增加,檔子運行的整體速度大幅度的下降,所以,我們在研究大數(shù)據(jù)的時候,一定要保證圖書館數(shù)據(jù)中心系統(tǒng)部署可以真正的滿足用戶服務(wù)的需求,進(jìn)而創(chuàng)建一個科學(xué)高效的圖書館系統(tǒng)架構(gòu),這也是當(dāng)前圖書館系統(tǒng)深入部署的有效前提,一般來說,傳統(tǒng)的圖書館系統(tǒng)環(huán)境下,數(shù)據(jù)中心會設(shè)置相關(guān)的防范產(chǎn)品來控制數(shù)據(jù)流量的安全檢測,而由于這些傳統(tǒng)的安全策略對圖書館系統(tǒng)資源的耗能是非常大的,在加上圖書館數(shù)據(jù)流量總是出現(xiàn)延遲和數(shù)據(jù)丟失等問題也是非常的明顯,很明顯現(xiàn)在已經(jīng)不能適應(yīng)大數(shù)據(jù)時代下圖書館高校、快速的服務(wù)需求,在大數(shù)據(jù)環(huán)境下,圖書館在用戶服務(wù)的時候還有可能會面臨著木馬、病毒等安全方面的威脅,除此之外,黑客還可以利用云計算以及大數(shù)據(jù)等技術(shù)手段對新模式進(jìn)行攻擊,所以,圖書館在復(fù)雜的大數(shù)據(jù)安全環(huán)境中,著呢用用加速、負(fù)載為單一的操作,對數(shù)據(jù)流在應(yīng)用過程中只是做單一的處理,這也是為了能夠進(jìn)一步消除數(shù)據(jù)流在安全檢測中出現(xiàn)延遲故障。
1.2 大數(shù)據(jù)給圖書館帶來了新安全問題
隨著大數(shù)據(jù)技術(shù)在圖書館應(yīng)用的不斷加深,圖書館數(shù)據(jù)環(huán)境具有海量存儲、計數(shù)遞增等特點,與此同時,數(shù)據(jù)結(jié)構(gòu)模式以及數(shù)據(jù)類型的多樣性特點也是非常明顯的,這也導(dǎo)致數(shù)據(jù)處理的格式其可變性和處理速率也更加的不確定。
在大數(shù)據(jù)時代,圖書館對云計算計數(shù)的依賴性也在不斷的增強,因此要求圖書館與云服務(wù)商要簽署符合大數(shù)據(jù)環(huán)境的云服務(wù)租賃協(xié)議。明確雙方的權(quán)利和義務(wù)。除此之外,云服務(wù)的安全保障有效性和安全管理效率也要有本質(zhì)上的提升。這也與圖書館大數(shù)據(jù)應(yīng)用安全息息相關(guān)。
除此之外,虛擬化技術(shù)也是當(dāng)前我國圖書館大數(shù)據(jù)應(yīng)用中非常重要的技術(shù)手段之一,數(shù)據(jù)虛擬化技術(shù)是一種允許用戶訪問和管理的方法,圖書館在利用虛擬化技術(shù)來改善圖書館系統(tǒng)的同時,也極大的降低了運營的實際成本,面臨著數(shù)據(jù)中心系統(tǒng)設(shè)備異構(gòu)化等安全問題。
1.3 黑客會利用大數(shù)據(jù)技術(shù)對圖書館發(fā)起攻擊
在圖書館利用大數(shù)據(jù)技術(shù)提高服務(wù)質(zhì)量以及獲取讀者需求的時候,黑客會運用大數(shù)據(jù)技術(shù)向圖書館發(fā)起攻擊,首先,圖書館大數(shù)據(jù)平臺存儲著大量的系統(tǒng)管理以及用戶服務(wù)等數(shù)據(jù)信息,這些信息大部分都是客戶的私密信息,而黑客通過對獲取的大數(shù)據(jù)資源進(jìn)行分析,能夠明確圖書館的系統(tǒng)運營特點以及安全防范的相關(guān)措施,能夠運用大數(shù)據(jù)決策對圖書館發(fā)起非常精準(zhǔn)的攻擊。
其次,由于大數(shù)據(jù)時代下的圖書館網(wǎng)絡(luò)具備非常強的社會化屬性,網(wǎng)絡(luò)數(shù)據(jù)還附帶復(fù)雜、敏感等特點,因此網(wǎng)絡(luò)數(shù)據(jù)平臺已經(jīng)完成了不同圖書館大數(shù)據(jù)平臺的數(shù)據(jù)整合與資源共享。
1.4 讀者自身面臨的威脅
在大數(shù)據(jù)時代下,圖書館主要是通過對用戶行為數(shù)據(jù)的健康和采集來獲取讀者的個體特征,這些數(shù)據(jù)在確保圖書館用戶服務(wù)質(zhì)量的同時,也面臨著泄露用戶信息的威脅,而為了進(jìn)一步的提高系統(tǒng)管理與用戶服務(wù)決策的有效性,圖書館會通過擴展用戶數(shù)據(jù)采集的對象來不斷提升大數(shù)據(jù)幾何的數(shù)據(jù)價值。
首先,數(shù)據(jù)擁有者能夠通過對大部分無關(guān)的數(shù)據(jù)分析來獲取用戶的隱私信息,由于體術(shù)管對一些相對比較敏感的數(shù)據(jù)沒有一個明確的界定,這一狀況也使得很多機遇大數(shù)據(jù)的圖書館所有權(quán)和使用權(quán)也沒有明確的界定。
其次,隨著讀者個性化閱讀的不斷提升,讀者運用移動閱讀的頻率越來越高,現(xiàn)如今已經(jīng)成為大數(shù)據(jù)時代下消除時間、地域、閱讀環(huán)境以及閱讀能力的主要模式。但是由于移動月底在帶給讀者閱讀便利性的同時也間接的泄露了用戶的個人信息。
2 基于大數(shù)據(jù)的數(shù)字圖書館安全防范策略
2.1 增強安全防御能力
2.1.1 現(xiàn)安全威脅
首先,我們的圖書館在利用大數(shù)據(jù)技術(shù)保護(hù)系統(tǒng)與服務(wù)安全的時候,我們的研究人員要對提供監(jiān)控設(shè)備采集的大數(shù)據(jù)安全資源進(jìn)行綜合的分析,明確惡意攻擊的來源,與此同時,還要通過對相關(guān)的安全指標(biāo)數(shù)據(jù)關(guān)系來挖掘數(shù)據(jù)信息的價值,進(jìn)而實現(xiàn)對非法攻擊者的精準(zhǔn)預(yù)測。
其次,在構(gòu)建安全管理大數(shù)據(jù)平臺的時候,要盡量使用一些技術(shù)相對成熟且兼容性強的數(shù)據(jù)來分析圖書館數(shù)據(jù)流,針對圖書館大數(shù)據(jù)服務(wù)于安全管理的相關(guān)需求來制定專業(yè)的大數(shù)據(jù)資源,增強圖書館基于大數(shù)據(jù)安全威脅發(fā)現(xiàn)的主動性。
2.1.2 構(gòu)建基于大數(shù)據(jù)安全威脅與防御能力的評估評價體系
大數(shù)據(jù)安全威脅與預(yù)防能力的評價主要是針對當(dāng)前我國圖書館精準(zhǔn)評估安全威脅等級和安全防范能力的關(guān)鍵體系,圖書館基于大數(shù)據(jù)的安全威脅評估評價體系是圖書館服務(wù)信息與系統(tǒng)管理數(shù)據(jù)傳輸?shù)闹匾d體,由于網(wǎng)絡(luò)安全關(guān)系著圖書館管理與服務(wù)安全的可靠性,所以,圖書館在數(shù)據(jù)中心的網(wǎng)絡(luò)傳統(tǒng)評估中,要平均的在網(wǎng)絡(luò)上部署大量的安全檢測數(shù)據(jù)采集設(shè)備,進(jìn)一步保證安全評估平臺的全面性和準(zhǔn)確性。
2.2 保證云計算計數(shù)和虛擬化數(shù)據(jù)的安全
在當(dāng)前的大數(shù)據(jù)環(huán)境下,圖書館一般都會采用租賃等方式來采集圖書信息,除此之外,我們的研究人員在對云服務(wù)平臺的數(shù)據(jù)進(jìn)行管理的傳輸?shù)臅r候,圖書館最好是根據(jù)高校的計算機管理系統(tǒng)來實現(xiàn)對數(shù)據(jù)的自動化管理,不斷加強對讀者閱讀行為的安全管理,通過建立全面、高校的監(jiān)控網(wǎng)絡(luò)來進(jìn)一步實現(xiàn)對數(shù)據(jù)流的全程較差監(jiān)管,這樣也能夠有效的避免數(shù)據(jù)出現(xiàn)非法監(jiān)聽和竊取。
2.3 制定實施科學(xué)的大數(shù)據(jù)安全管理策略
首先,大數(shù)據(jù)安全管理平臺想要真正的實現(xiàn)安全管理和相關(guān)流程的整合,讓我們的圖書館能夠根據(jù)大數(shù)據(jù)安全信息來完成相關(guān)安全事件的管理和分析工作,因此需要我們的研究人員在對圖書館監(jiān)控設(shè)備采集數(shù)據(jù)信息的時候,要對數(shù)據(jù)進(jìn)行預(yù)先的處理,只有保證了數(shù)據(jù)格式的標(biāo)準(zhǔn)化之后,才能夠真正的用于圖書館管理和運用。
其次,圖書館安全管理平臺還要通過實時的監(jiān)督管理系統(tǒng)來對圖書館安全威脅問題進(jìn)行檢測和評估,并根據(jù)安全管理平臺數(shù)據(jù)反饋來實現(xiàn)對圖書館大數(shù)據(jù)運用平臺的參數(shù)設(shè)置,提升圖書館安全管理的強度。增強圖書館管理系統(tǒng)的整體效率。
3 結(jié)語
大數(shù)據(jù)自身的復(fù)雜性和多樣性特點使得在大數(shù)據(jù)環(huán)境下的圖書館出現(xiàn)了很多的不可預(yù)測攻擊行為,導(dǎo)致圖書館大數(shù)據(jù)資源在采集的過程中經(jīng)常會出現(xiàn)很多的問題,我們此次主要針Φ鼻拔夜大數(shù)據(jù)時代下現(xiàn)代化圖書館的安全威脅問題進(jìn)行了詳細(xì)的分析和研究,并針對出現(xiàn)的問題提出了幾點可行性的解決建議,希望可以為我國的圖書館安全問題提供有效的幫助。
參考文獻(xiàn)
[1] 蔡津津,郜新鑫,付建俐.基于業(yè)務(wù)元數(shù)據(jù)標(biāo)準(zhǔn)化的金融財經(jīng)數(shù)據(jù)倉庫及服務(wù)系統(tǒng)架構(gòu)探討[C]//中國新聞技術(shù)工作者聯(lián)合會2012年學(xué)術(shù)年會、五屆四次理事會暨第六屆“王選新聞科學(xué)技術(shù)獎”的“人才獎”和“優(yōu)秀論文獎”頒獎大會論文集.2012.
[2] 周為鋼,楊良懷,潘建,等.論智能交通大數(shù)據(jù)處理平臺之構(gòu)建[C]//第八屆中國智能交通年會論文集.2013.
[3] 喬向杰.基于大數(shù)據(jù)的旅游公共管理與服務(wù)創(chuàng)新模式研究[C]//北京兩界聯(lián)席會議高峰論壇文集.2013.
[4] 譚勝淋,陳曦.大數(shù)據(jù)的標(biāo)準(zhǔn)化研究[C]//市場踐行標(biāo)準(zhǔn)化――第十一屆中國標(biāo)準(zhǔn)化論壇論文集.2014.
[5] 包磊,羅兵,孫越林.大數(shù)據(jù)時代的態(tài)勢評估技術(shù)思考[C]//2014第二屆中國指揮控制大會論文集(下).2014.
[6] 尹素格,王健,張桂剛,等.大數(shù)據(jù)技術(shù)在精確空投系統(tǒng)中的應(yīng)用[C]//2014第二屆中國指揮控制大會論文集(下).2014.
[7] 劉春琳,冷紅.基于大數(shù)據(jù)挖掘的城市關(guān)注平臺的構(gòu)建與應(yīng)用[C]//城鄉(xiāng)治理與規(guī)劃改革――2014中國城市規(guī)劃年會論文集(04城市規(guī)劃新技術(shù)應(yīng)用).2014.
[8] 飛.大數(shù)據(jù)時代中國期刊的發(fā)展機遇與探索創(chuàng)新[C]//第十二屆2014全國核心期刊與期刊國際化、網(wǎng)絡(luò)化研討會論文集.2014.
[9] 朱力緯,劉麗勤,王健.高?;诖髷?shù)據(jù)時代的數(shù)字化校園建設(shè)研究[C]//中國高等教育學(xué)會教育信息化分會第十二次學(xué)術(shù)年會論文集.2014.
[10] 孫圣力,鄭志高,王平,等.RTDP系統(tǒng)網(wǎng)絡(luò)體系結(jié)構(gòu)及其關(guān)鍵技術(shù)[C]//.2013年全國通信軟件學(xué)術(shù)會議論文集.2013.
[11] 張嵐,郭俊杰.信息安全風(fēng)險評估的安全措施探討[C]//2011年通信與信息技術(shù)新進(jìn)展――第八屆中國通信學(xué)會學(xué)術(shù)年會論文集.2011.
中圖分類號:TU984文獻(xiàn)標(biāo)識碼: A
1引言
隨著云計算、物聯(lián)網(wǎng)等的發(fā)展,新興信息技術(shù)與應(yīng)用模式的涌現(xiàn),使得全球數(shù)據(jù)量呈現(xiàn)出爆發(fā)式增長態(tài)勢,市場調(diào)研機構(gòu)IDC的研究顯示,到2020年,全球以電子形式存儲的數(shù)據(jù)量將達(dá)到35ZB,大數(shù)據(jù)的時代已經(jīng)到來[1]。最早提出“大數(shù)據(jù)時代已經(jīng)到來”的機構(gòu)是全球知名咨詢公司麥肯錫,其在報告中指出,“數(shù)據(jù)已經(jīng)滲透到每一個行業(yè)和業(yè)務(wù)職能領(lǐng)域,逐漸成為重要的生產(chǎn)因素;而人們對于海量數(shù)據(jù)的運用將預(yù)示著新一波生產(chǎn)率增長和消費者盈余浪潮的到來?!?/p>
1.1大數(shù)據(jù)概念
大數(shù)據(jù)的概念,尚未形成公認(rèn)的準(zhǔn)確定義。根據(jù)維基百科的定義,它是指無法在可承受的時間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理、處理的數(shù)據(jù)集合。從產(chǎn)業(yè)角度,常常把這些數(shù)據(jù)與采集它們的工具、平臺、分析系統(tǒng)一起被稱為“大數(shù)據(jù)”。在數(shù)據(jù)特性方面,大數(shù)據(jù)主要為非結(jié)構(gòu)化信息,如文本、圖形、遙感遙測信息,大多是實時信息;在信息來源上,大數(shù)據(jù)主要是互聯(lián)網(wǎng)、醫(yī)療設(shè)備、視頻監(jiān)控、非傳統(tǒng)IT 設(shè)備等社會日常運作和各種服務(wù)中實時產(chǎn)生的數(shù)字?jǐn)?shù)據(jù),數(shù)據(jù)容量巨大,從 TB 級別躍升到 PB 乃至 EB 級別,大數(shù)據(jù)具有4V特征Volume(數(shù)據(jù)體量大)、Variety(類型多)、Value(價值稀疏)以及Velocity(速度快)的特征[2]。大數(shù)據(jù)時代帶來思維變革:更多不是隨機樣本而是全體數(shù)據(jù),更雜不是精確性而是混雜性,更好不是因果關(guān)系,而是相關(guān)關(guān)系[3]。
1.2大數(shù)據(jù)發(fā)展歷程
大數(shù)據(jù)并非新近出現(xiàn),早在1980年,著名未來學(xué)家阿爾文•托夫勒便在《第三次浪潮》一書中,將大數(shù)據(jù)熱情地贊頌為“第三次浪潮的華彩樂章”。2009年開始,“大數(shù)據(jù)”成為互聯(lián)網(wǎng)信息技術(shù)行業(yè)的流行詞匯,2011年持續(xù)熱門,在2012 年更達(dá)到一個高峰,2013年大數(shù)據(jù)概念逐為大眾熟知。
2 大數(shù)據(jù)研究應(yīng)用評述
2.1國外大數(shù)據(jù)研究應(yīng)用
大數(shù)據(jù)的開發(fā)與利用已經(jīng)在IT,媒體、醫(yī)療服務(wù)、金融業(yè)、零售業(yè)、制造業(yè)、物流、電信等行業(yè)廣泛展開,并產(chǎn)生了巨大的社會價值和產(chǎn)業(yè)空間,但仍處于初級階段[3]。2012年4月,美國政府啟動“大數(shù)據(jù)研究和發(fā)展計劃”,致力于提高從大數(shù)據(jù)中提取知識和觀點的能力,并服務(wù)能源、健康、金融和信息技術(shù)等領(lǐng)域。在數(shù)據(jù)共享、突發(fā)事件處理、疫情觀察方面已有較成功應(yīng)用。2012年4月,英國、美國、德國、芬蘭和澳大利亞等國家聯(lián)合推出“世界大數(shù)據(jù)周”活動,旨在制定戰(zhàn)略性的大數(shù)據(jù)措施;2012年5月,聯(lián)合國發(fā)表了大數(shù)據(jù)發(fā)展白皮書;2012年7月,日本推出“ICT”戰(zhàn)略研究計劃,重點關(guān)注“大數(shù)據(jù)應(yīng)用”。全球性IT巨頭都開始關(guān)注大數(shù)據(jù)的機遇,微軟、英特爾、甲骨文(微博)等都在開發(fā)基于大數(shù)據(jù)的IT架構(gòu)。
2.2國內(nèi)大數(shù)據(jù)研究應(yīng)用
中國大數(shù)據(jù)的應(yīng)用處于起步階段,淘寶、騰訊、百度等互聯(lián)網(wǎng)巨頭是率先使用大數(shù)據(jù)技術(shù)的用戶,主要是基于開源軟件自主開發(fā)大數(shù)據(jù)應(yīng)用,推出相應(yīng)的大數(shù)據(jù)產(chǎn)品和平臺,開展了多種深度商務(wù)分析,電信和銀行領(lǐng)域也開始對大數(shù)據(jù)技術(shù)和服務(wù)產(chǎn)生濃厚的興趣。此外,IT業(yè)、傳媒界和學(xué)界舉行了多次以大數(shù)據(jù)為核心的主題討論會,共同探索大數(shù)據(jù)的發(fā)展與創(chuàng)新。
綜觀國內(nèi)外大數(shù)據(jù)研究和應(yīng)用現(xiàn)狀可見:(1) 大數(shù)據(jù)相關(guān)的研究與應(yīng)用目前仍然處于起步階段,學(xué)術(shù)研究大多局限于概念、技術(shù)、發(fā)展預(yù)測等宏觀探討層面;(2) 基于大數(shù)據(jù)應(yīng)用所需要的軟件、硬件等技術(shù)支撐亟需進(jìn)一步的深入開展;(3)現(xiàn)有的大數(shù)據(jù)研究大多立足于信息科學(xué),側(cè)重于大數(shù)據(jù)的獲取、存儲、處理、挖掘和信息安全等方面,鮮有從城市規(guī)劃學(xué)科發(fā)展的角度探討大數(shù)據(jù)對于城鄉(xiāng)規(guī)劃管理技術(shù)的變革與沖擊的研究。
3 大數(shù)據(jù)時代城鄉(xiāng)規(guī)劃管理技術(shù)創(chuàng)新探討
3.1現(xiàn)有城鄉(xiāng)規(guī)劃管理技術(shù)局限性
80年代末開始,我國城市規(guī)劃管理領(lǐng)域開始引進(jìn)新技術(shù),網(wǎng)絡(luò)技術(shù)、虛擬現(xiàn)實技術(shù)、數(shù)據(jù)庫技術(shù)、地理信息系統(tǒng)、日照分析技術(shù)、電子報批審查技術(shù)等已初步得到運用,建立了基于GIS的城市規(guī)劃管理系統(tǒng),但仍存在一定局限性:(1)現(xiàn)有管理信息系統(tǒng)存儲能力有限,仍無法建立實時、全面的資料檔案庫,同時也是內(nèi)部條塊分割,查詢、檢索困難,給城市規(guī)劃管理工作帶來了一定的障礙。(2)由于規(guī)劃管理工作量大,規(guī)劃管理人員雖然借助規(guī)劃管理信息系統(tǒng),提升了處理速度,但是仍不能滿足快速城市化背景下快速準(zhǔn)確地處理各類城市規(guī)劃案件,對規(guī)劃管理實施效果進(jìn)行快速反饋。(3)公眾參與與市民監(jiān)督平臺建設(shè)不足,城鄉(xiāng)規(guī)劃管理透明度有待進(jìn)一步提高。
3.2大數(shù)據(jù)時代城鄉(xiāng)規(guī)劃管理技術(shù)變革方向探討
3.2.1建立城鄉(xiāng)規(guī)劃管理大數(shù)據(jù)集系統(tǒng),提高城鄉(xiāng)規(guī)劃管理效率
在大數(shù)據(jù)時代數(shù)據(jù)來源更廣泛且分布更集中,以前散落各處的數(shù)據(jù)越來越集中,以前不可獲取的信息現(xiàn)在可獲取。通過互聯(lián)網(wǎng)、醫(yī)療設(shè)備、視頻監(jiān)控、移動設(shè)備、智能設(shè)備、非傳統(tǒng)IT 設(shè)備獲得的文本、圖形、音頻、視頻、遙感遙測等建立與城鄉(xiāng)規(guī)劃管理直接相關(guān)或者關(guān)聯(lián)的實時數(shù)據(jù)集,處理空間信息與與之相關(guān)的屬性信息,迅速及時地更新數(shù)據(jù)集,大規(guī)模綜合性地管理城市空間分布信息。在城鄉(xiāng)規(guī)劃管理編制階段,可以提高現(xiàn)狀調(diào)研的效率和規(guī)劃編制基礎(chǔ)數(shù)據(jù)的準(zhǔn)確全面,建立相應(yīng)問題表象對于城市規(guī)劃的決策系統(tǒng)、執(zhí)行系統(tǒng)和反饋系統(tǒng),改變規(guī)劃的滯后性和低效率,提高規(guī)劃的時效性。
3.2.2 建立城鄉(xiāng)規(guī)劃管理大數(shù)據(jù)分析系統(tǒng),提高城鄉(xiāng)規(guī)劃管理科學(xué)性
基于城鄉(xiāng)規(guī)劃管理大數(shù)據(jù),可將分散收集到的各種空間、屬性信息實時更新,利用大數(shù)據(jù)技術(shù)中相關(guān)分析技術(shù),同時結(jié)合GIS的空間分析技術(shù),運用到規(guī)劃管理的各個流程中,可進(jìn)行人口、經(jīng)濟、交通流等與用地功能、空間等進(jìn)行相關(guān)分析,對于城鄉(xiāng)空間利用進(jìn)行深入全面的解析,進(jìn)一步提高城鄉(xiāng)規(guī)劃管理的科學(xué)性。
3.3城鄉(xiāng)規(guī)劃管理技術(shù)創(chuàng)新挑戰(zhàn)
目前城鄉(xiāng)規(guī)劃管理技術(shù)創(chuàng)新所面臨的挑戰(zhàn)也是大數(shù)據(jù)發(fā)展應(yīng)用中需要解決的問題:(1)從城鄉(xiāng)規(guī)劃管理大數(shù)據(jù)中精準(zhǔn)定位并采集所需信息、管理海量復(fù)雜結(jié)構(gòu)、實時增長的數(shù)據(jù)、保護(hù)和控制數(shù)據(jù),數(shù)據(jù)管理挑戰(zhàn)。(2)基于城鄉(xiāng)規(guī)劃大數(shù)據(jù)的實體識別與行為建模,挖掘大數(shù)據(jù)中蘊含的群體及其網(wǎng)絡(luò)結(jié)構(gòu),分析社會群體的行為演化規(guī)律,數(shù)據(jù)分析挑戰(zhàn)。(3)數(shù)據(jù)隱私性問題。
3.4城鄉(xiāng)規(guī)劃管理技術(shù)創(chuàng)新對策
大數(shù)據(jù)技術(shù)市場將會是一個混合多種技術(shù)的世界,應(yīng)關(guān)注大數(shù)據(jù)技術(shù)的發(fā)展和應(yīng)用,開發(fā)適合城鄉(xiāng)規(guī)劃管理不同層次的產(chǎn)品組合,包括服務(wù)器、存儲、網(wǎng)絡(luò)、軟件和服務(wù)等,以獲得更好的應(yīng)用效果;加強城鄉(xiāng)規(guī)劃管理基礎(chǔ)大數(shù)據(jù)集建設(shè);提高城鄉(xiāng)規(guī)劃管理角度數(shù)據(jù)分析和提取技術(shù)能力;加快大數(shù)據(jù)處理相關(guān)技術(shù)人員培養(yǎng);同時通過技術(shù)截堵,應(yīng)用立法保護(hù)城鄉(xiāng)規(guī)劃管理大數(shù)據(jù)應(yīng)用中個人隱私。
4 結(jié)論
大數(shù)據(jù)時代已經(jīng)到來,大數(shù)據(jù)的應(yīng)用仍處于一個快速發(fā)展的起步階段,基于大數(shù)據(jù)和復(fù)雜系統(tǒng)管理理念的分析與決策是新形勢下城鄉(xiāng)規(guī)劃管理發(fā)展的必由之路,大數(shù)據(jù)是城鄉(xiāng)規(guī)劃管理信息化建設(shè)的戰(zhàn)略性資源和非物質(zhì)性財富,是不可或缺的城鄉(xiāng)規(guī)劃管理和決策依據(jù)。將改變基于簡單數(shù)據(jù)統(tǒng)計、經(jīng)驗分析甚至直覺判斷的城鄉(xiāng)規(guī)劃管理模式,提高城鄉(xiāng)規(guī)劃管理的有效性,加快城鄉(xiāng)規(guī)劃管理大數(shù)據(jù)庫建設(shè)和空間分析、相關(guān)分析能力,建立更加開放透明的公共參與平臺和市民監(jiān)督系統(tǒng),隨著大數(shù)據(jù)技術(shù)的發(fā)展改變大數(shù)據(jù)管理、分析、共享、決策、人才培養(yǎng)、隱私保護(hù)等問題,將會進(jìn)一步提高城鄉(xiāng)規(guī)劃管理方面的信息化、智能化技術(shù)支撐能力,推動城鄉(xiāng)規(guī)劃管理由信息化向智能化發(fā)展。
參考文獻(xiàn)
[1] Big data in 2020[EB/OL].[2012-12-24]/leadership/digital-universe/iview/big-data-2020.htm
[2] IDC,中國大數(shù)據(jù)技術(shù)與服務(wù)市場 2012-2016 年預(yù)測與分析
[3]維克托•邁爾-舍恩伯格,肯尼思-庫克耶著,盛楊燕,周濤譯.杭州:浙江人民出版社,2013
作者簡介:黃 贊,男,國家注冊城市規(guī)劃師,現(xiàn)就職于中社科城市與環(huán)境規(guī)劃設(shè)計研究院,城鄉(xiāng)規(guī)劃所所長
大數(shù)據(jù)作為一種有用的信息資源,在商業(yè)、金融等領(lǐng)域發(fā)揮著越來越重要作用,也逐漸成為社會科學(xué)的國際前沿應(yīng)用研究內(nèi)容之一。然而,在經(jīng)濟學(xué)領(lǐng)域,大數(shù)據(jù)還鮮少被用到(據(jù)統(tǒng)計,截至2014年12月,google中學(xué)術(shù)搜索到的與“大數(shù)據(jù)”有關(guān)的研究論文共3026篇,其中僅有29篇是和經(jīng)濟學(xué)相關(guān))。但因海量經(jīng)濟數(shù)據(jù)資源的快速增長,計算技術(shù)和能力的不斷提高,以及方法論的不斷發(fā)展,將大數(shù)據(jù)分析技術(shù)運用于經(jīng)濟學(xué)已成為一個值得探討的新課題。展望未來,由于經(jīng)濟學(xué)是一門理論與實踐相結(jié)合的學(xué)科,將大數(shù)據(jù)應(yīng)用于經(jīng)濟學(xué),有可能會開辟一個全新的經(jīng)濟學(xué)發(fā)展領(lǐng)域。
一、大數(shù)據(jù)在經(jīng)濟學(xué)領(lǐng)域應(yīng)用的基本原理
大數(shù)據(jù)在經(jīng)濟學(xué)中應(yīng)用的基本思路以大樣本數(shù)據(jù)統(tǒng)計與機器學(xué)習(xí)技術(shù)為基礎(chǔ)。其中大樣本統(tǒng)計的過程概括如下:用N個代入變量得出對應(yīng)的N個測量結(jié)果與K個潛在的預(yù)測因子,比如:以居民消費價格CPI指數(shù)預(yù)測為例,首先通過GOOGLE數(shù)據(jù)搜索或其他軟件,篩選出同CPI有關(guān)的一系列關(guān)鍵詞(比如糧食產(chǎn)量、原油期貨價格、氣候溫度、價格改革政策等),然后通過這些關(guān)鍵詞在文本數(shù)據(jù)(新聞、微博、評論、研究報告、學(xué)術(shù)論文等)出現(xiàn)的時間頻次,計算它們之間的相關(guān)關(guān)系和邏輯路徑關(guān)系,從而得到測量結(jié)果N和預(yù)測因子K。在許多情形下,每一個代入變量的信息是足夠豐富的,但不具有結(jié)構(gòu)性,故可能會產(chǎn)生很多潛在預(yù)測因子,因此,需要注意的是:若是過度擬合,即預(yù)測因子K的個數(shù)可能會遠(yuǎn)遠(yuǎn)大于觀測變量N的個數(shù)時,雖然模型可完美解釋觀測到的結(jié)果,但樣本外數(shù)據(jù)的解釋力卻很差。在這種狀況下,構(gòu)造一個最大化樣本解釋力的模型便成為首要目標(biāo),同時構(gòu)建的模型還不能出現(xiàn)因過度擬合所導(dǎo)致的樣本外無力解釋的情形。因模型構(gòu)建不同,使用方法也隨之改變,懲罰預(yù)測因子的過度使用方式也不同。如Lasso回歸模型,在滿足一系列約束條件下,依據(jù)最小化離差平方和來選擇模型系數(shù)。通過將樣本分為“訓(xùn)練樣本”和“測試樣本”(“訓(xùn)練樣本”用來估計模型參數(shù),“測試樣本”用來評估模型)進(jìn)行過度擬合。而在評估預(yù)測效果時,一般交叉使用樣本內(nèi)預(yù)測與過度擬合,但目前這種交叉驗證的方法在當(dāng)前的實證微觀經(jīng)濟學(xué)中也鮮少用到。
機器學(xué)習(xí)的一個非常重要假設(shè)就是機器學(xué)習(xí)的環(huán)境是相對穩(wěn)定的,也就是樣本數(shù)據(jù)(訓(xùn)練樣本與測試樣本情形相同)獨立產(chǎn)生于同一過程。但由于現(xiàn)實環(huán)境會隨著時間發(fā)生改變,故這一假設(shè)并不合理,因此,在高頻使用新數(shù)據(jù)的應(yīng)用中,往往通過對自身持續(xù)“再訓(xùn)練”,從而使得模型可以隨著時間與環(huán)境的變化對預(yù)測結(jié)果進(jìn)行調(diào)整。當(dāng)然,對于機器學(xué)習(xí),有些經(jīng)濟學(xué)家提出了盧卡斯批判的疑問,即若根據(jù)模型的預(yù)測結(jié)果進(jìn)行政策調(diào)整,則政策調(diào)整后的現(xiàn)實結(jié)果可能與初始模型的預(yù)測結(jié)果有差異,因為政策的改變會影響數(shù)據(jù)間的潛在行為關(guān)系,但這一疑問在其他預(yù)測模型,比如計量經(jīng)濟模型、結(jié)構(gòu)方程模型和聯(lián)立系統(tǒng)模型中也都存在。
二、大數(shù)據(jù)對經(jīng)濟學(xué)的影響及前景
如今,隨著數(shù)據(jù)樣本容量的急劇增加,使得大數(shù)據(jù)的使用方式不盡相同。作為一個規(guī)律性科學(xué),經(jīng)濟學(xué)需要廣泛、詳細(xì)的數(shù)據(jù),并運用統(tǒng)計技術(shù)來處理新型數(shù)據(jù),大數(shù)據(jù)的出現(xiàn)可能會在社會學(xué)與計算機科學(xué)間構(gòu)建一架橋梁,其學(xué)科價值可能在于創(chuàng)造新的思維方式,這將會導(dǎo)致對經(jīng)濟學(xué)的新思考和研究方法創(chuàng)新,甚至?xí)矸治鼋?jīng)濟學(xué)方法的質(zhì)變。
一方面,由于多維度的精細(xì)間隔,大數(shù)據(jù)可以為經(jīng)濟學(xué)研究人員提供更多研究變量和視角,可以研究以前難以測度的行為理論,這為經(jīng)濟理論研究提供了一種全新的測量方法。例如:麻省理工大學(xué)助理教授Alberto Cavallo設(shè)計的“百萬價格”項目,該項目旨在通過一個網(wǎng)絡(luò)程序,獲取網(wǎng)上物品價格,繼而運用這些數(shù)據(jù)計算得出通脹指數(shù),該通貨膨脹指數(shù)就是阿根廷的精確透明通貨膨脹指標(biāo),其實時價格數(shù)據(jù)的捕捉能力和準(zhǔn)確度,使得該指標(biāo)作為政府測量通脹的替代選擇。又如,谷歌提供的請求式數(shù)據(jù)選擇也提供了一個探索新機會的理由,目前一個備受矚目的例子就是“及時預(yù)報”,在某些方面它可以通過龐大經(jīng)濟社會數(shù)據(jù)集進(jìn)行短期精確預(yù)測。
段云峰
承擔(dān)了國內(nèi)最大電信運營商的數(shù)據(jù)倉庫和大數(shù)據(jù)中心的設(shè)計和建設(shè)、運營工作(截止到2015年該系統(tǒng)達(dá)到18000TB存儲容量,累計投資120億元),積累了15年的大數(shù)據(jù)領(lǐng)域的實際工作經(jīng)驗。帶領(lǐng)相關(guān)的團隊,從系統(tǒng)創(chuàng)建到系統(tǒng)運營,開發(fā)了很多大數(shù)據(jù)領(lǐng)域的各種應(yīng)用。積累了國內(nèi)唯一的大數(shù)據(jù)在大企業(yè)建設(shè)、運營方面的經(jīng)驗。其前后主持設(shè)計的文檔,有150余冊、1200多萬字,涉及大數(shù)據(jù)系統(tǒng)的數(shù)據(jù)模型、數(shù)據(jù)接口、系統(tǒng)架構(gòu)、質(zhì)量管控、業(yè)務(wù)應(yīng)用、系統(tǒng)安全等各個領(lǐng)域。
秦曉飛
具有理學(xué)學(xué)士、工學(xué)學(xué)士和管理學(xué)碩士學(xué)位。最近十幾年先后從事BI系統(tǒng)的運維、開發(fā)、項目管理以及應(yīng)用推廣等工作,參與并見證了中國移動BI系統(tǒng)從TB級別數(shù)據(jù)倉庫向PB級別大數(shù)據(jù)平臺跨越的整個過程。先后獲得高級工程師、信息系統(tǒng)項目管理師、高級電信業(yè)務(wù)師、國際信息系統(tǒng)審計師等專業(yè)資格認(rèn)證,并且被評為2012年山西省青年崗位能手。在《移動通信》《中國新通信》《電子世界》《信息與電腦》等雜志發(fā)表多篇專業(yè)論文,并且申報了多項國家發(fā)明專利。
目錄
01大數(shù)據(jù)現(xiàn)狀/1
1.1大數(shù)據(jù)的概念和特點/2
1.2互聯(lián)網(wǎng)思維的故事/4
羊毛出在豬身上/4
圈客戶/圈眼球/4
1.3“天變了”/5
用戶變了/6
平臺變了/8
金融變了/9
營銷變了/9
思維變了/10
1.4大數(shù)據(jù)為什么需要互聯(lián)網(wǎng)思維/12
大數(shù)據(jù)項目不同于傳統(tǒng)IT項目/12
大數(shù)據(jù)產(chǎn)業(yè)是咨詢服務(wù)產(chǎn)業(yè)/13
互聯(lián)網(wǎng)思維是咨詢服務(wù)產(chǎn)業(yè)的法寶/14
大數(shù)據(jù)“變現(xiàn)”需要互聯(lián)網(wǎng)思維/15
大數(shù)據(jù)中“群眾的智慧是無窮的”/15
1.5小結(jié)/16
02堪比“文藝復(fù)興”的互聯(lián)網(wǎng)思維/17
2.1文藝復(fù)興的意義類比/18
藝術(shù)解放思想,思想解放生產(chǎn)力/19
引導(dǎo)了第一次工業(yè)革命/19
互聯(lián)網(wǎng)引導(dǎo)新的工業(yè)4.0/20
改寫金融業(yè),改寫社會/21
2.2互聯(lián)網(wǎng)企業(yè)的發(fā)展/21
BAT的造夢/22
IT技術(shù)成為企業(yè)的核心競爭力/22
2.3互聯(lián)網(wǎng)思維的概念/24
2.4互聯(lián)網(wǎng)思維的特點/24
2.5互聯(lián)網(wǎng)思維改寫了手機產(chǎn)業(yè)/26
2.6互聯(lián)網(wǎng)思維改變大數(shù)據(jù)/29
大數(shù)據(jù)的客戶體驗/29
大數(shù)據(jù)的產(chǎn)品化思維/30
大數(shù)據(jù)的平臺思維/37
大數(shù)據(jù)的迭代思維/42
2.7大數(shù)據(jù)的新生/44
從配角到主角/44
產(chǎn)業(yè)化成為可能/45
大數(shù)據(jù)的春天/45
2.8小結(jié)/46
03大數(shù)據(jù)的發(fā)展/47
3.1大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展/48
互聯(lián)網(wǎng)改寫了歷史,大數(shù)據(jù)改寫了互聯(lián)網(wǎng)/48
第三次浪潮中的新興產(chǎn)業(yè)/49
數(shù)據(jù)成為最大的資產(chǎn)/50
促進(jìn)“理性社會”/51
3.2從網(wǎng)絡(luò)運營到大數(shù)據(jù)運營/52
互聯(lián)網(wǎng)平臺如何使用用戶數(shù)據(jù)/53
建立數(shù)據(jù)分析保障管理體制/55
從基礎(chǔ)設(shè)施到產(chǎn)品提供/57
從網(wǎng)絡(luò)產(chǎn)品到數(shù)據(jù)產(chǎn)品/59
3.3如何運營大數(shù)據(jù)/60
互聯(lián)網(wǎng)基因/60
對內(nèi)服務(wù)/63
對外服務(wù)/66
大數(shù)據(jù)營銷/68
3.4大數(shù)據(jù)發(fā)展的瓶頸/69
與傳統(tǒng)IT不同/70
機構(gòu)和機制不同/71
新理論和新思維/71
轉(zhuǎn)型更難/72
3.5小結(jié)/72
04大數(shù)據(jù)的客戶體驗/74
4.1客戶是誰/75
內(nèi)部客戶/外部客戶/77
個人客戶/集團客戶/78
校園客戶/80
4.2客戶的大數(shù)據(jù)需求是什么/80
取數(shù)——“取柴火”/82
取知識——“將柴火燒成炭”/83
取專業(yè)建議——“集體供暖”/84
4.3客戶體驗是什么/85
什么是體驗/85
數(shù)據(jù)如何可讀/90
“啤酒和尿布”的另一個角度解讀/95
4.4客戶體驗如何提升/96
服務(wù)不同角色/96
娛樂思維/98
管家式服務(wù)/98
4.5小結(jié)/99
05大數(shù)據(jù)產(chǎn)品設(shè)計/100
5.1大數(shù)據(jù)產(chǎn)品背景/101
產(chǎn)品長什么樣/101
谷歌是搜索門戶還是數(shù)據(jù)門戶/102
提品還是平臺/103
賣咨詢服務(wù)/104
智慧產(chǎn)品/104
5.2大數(shù)據(jù)產(chǎn)品內(nèi)容/105
工具類/106
中間類/107
像棋譜一樣的知識庫/108
數(shù)據(jù)分析手機/109
互聯(lián)網(wǎng)聯(lián)通了人,數(shù)聯(lián)網(wǎng)聯(lián)通了大腦/110
5.3產(chǎn)品的“客戶流量”/110
吸引客戶/110
運營客戶/111
5.4大數(shù)據(jù)產(chǎn)品類比/113
大數(shù)據(jù)的搜索門戶/113
大數(shù)據(jù)的社交平臺/113
大數(shù)據(jù)的電商平臺/115
大數(shù)據(jù)的云化——在云里找數(shù)據(jù)/115
5.5大數(shù)據(jù)產(chǎn)品特點/115
目的決定產(chǎn)品特點/116
通過對比顯示價值/116
更多的群眾參與/116
5.6產(chǎn)品的界面優(yōu)化/117
從蘋果App中學(xué)習(xí)什么/117
結(jié)果的可視化/117
5.7產(chǎn)品的用戶定位/117
如何讓孩子看懂/118
數(shù)據(jù)的消費者/118
DIY發(fā)燒友/118
產(chǎn)品的商業(yè)模式/118
5.8小結(jié)/119
06大數(shù)據(jù)的極致思維/120
6.1產(chǎn)品的極致/121
傻瓜化的App/121
新的觸摸屏在哪里/123
服務(wù)的極致/124
專家的極致/125
棋手的極致/126
智能改造之后的極致產(chǎn)品/127
智慧產(chǎn)品的極致/132
6.2思維的極致/134
兵書的知識提煉/134
參謀的極致/134
知識庫和運維/135
思維的“眾籌”/135
6.3營銷的極致/136
點對點的精準(zhǔn)營銷/136
成本控制的極致/137
6.4“講故事”的極致/137
吸引人的標(biāo)題/138
吸引人的敘事方法/139
吸引人的數(shù)據(jù)證據(jù)選擇/140
6.5小結(jié)/140
07大數(shù)據(jù)的快速迭代/142
7.1怎么“快”/143
標(biāo)準(zhǔn)零件的拼接/143
分析過程簡單/143
不要追求完美,但求不斷完善/144
7.2數(shù)據(jù)的標(biāo)準(zhǔn)/144
大數(shù)據(jù)是否還有邏輯模型/144
口徑的管理/145
業(yè)務(wù)元數(shù)據(jù)和技術(shù)元數(shù)據(jù)/145
7.3平臺的標(biāo)準(zhǔn)/146
云計算平臺的標(biāo)準(zhǔn)化/146
PaaS還是SaaS/147
7.4環(huán)境的標(biāo)準(zhǔn)/148
編程規(guī)范和標(biāo)準(zhǔn)/148
軟件結(jié)算的標(biāo)準(zhǔn)等/149
7.5迭代的知識積累/149
農(nóng)業(yè)知識積累出的農(nóng)歷/149
何時更新、如何更新/150
7.6小結(jié)/150
08大數(shù)據(jù)的平臺思維/151
8.1大數(shù)據(jù)的平臺定義/152
數(shù)據(jù)得到豐富,取得規(guī)模效益/153
運營能夠細(xì)分,拓展發(fā)展前景/153
8.2大數(shù)據(jù)平臺思維的特點/153
平臺越來越通用,應(yīng)用越來越專業(yè)/153
孤立的數(shù)據(jù)是金,共享的數(shù)據(jù)是鉆/154
數(shù)據(jù)的多維決定著平臺價值的多樣/154
8.3大數(shù)據(jù)的平臺實體——“數(shù)聯(lián)網(wǎng)”/154
數(shù)據(jù)交換的高效網(wǎng)絡(luò)/155
數(shù)聯(lián)網(wǎng)的內(nèi)容/155
訪問工具/160
數(shù)據(jù)管控/161
8.4大數(shù)據(jù)平臺的生態(tài)環(huán)境/180
誰會購買大數(shù)據(jù)產(chǎn)品/181
各方獲利的互聯(lián)網(wǎng)模式/182
速度彌補精度/184
8.5平臺SDK的開放性/185
平臺的可編程API接口/186
數(shù)據(jù)的標(biāo)準(zhǔn)/186
數(shù)據(jù)的可讀性/187
加工的簡化性/188
容易參與/190
人人參與/192
8.6互聯(lián)網(wǎng)企業(yè)的數(shù)據(jù)開放平臺/192
阿里巴巴的御膳房/192
騰訊的微信開放平臺/199
百度的阿拉丁/202
8.7人人的“數(shù)據(jù)”到數(shù)據(jù)的“人人”/204
8.8互聯(lián)網(wǎng)平臺升級到大數(shù)據(jù)平臺/205
互聯(lián)網(wǎng)平臺是新時代的農(nóng)業(yè)文明/205
大數(shù)據(jù)平臺的價值最大化/205
電信運營商,新的電力公司or大數(shù)據(jù)公司/206
8.9小結(jié)/207
09大數(shù)據(jù)的跨界思維/208
9.1大數(shù)據(jù)跨界的背景/209
Hadoop的興起,去了IOE/209
大數(shù)據(jù)的滲透——大數(shù)據(jù)×/210
9.2大數(shù)據(jù)跨界的定義/211
大數(shù)據(jù)跨界的特點/211
大數(shù)據(jù)跨界的展望/213
大數(shù)據(jù)跨界的案例/215
9.3大數(shù)據(jù)的業(yè)務(wù)多維/216
橫看成嶺側(cè)成峰/216
數(shù)據(jù)的行業(yè)解讀/216
9.4大數(shù)據(jù)的行業(yè)交叉/216
電信數(shù)據(jù)與金融數(shù)據(jù)的交叉/217
電商數(shù)據(jù)與醫(yī)藥數(shù)據(jù)的交叉/219
9.5小結(jié)/220
10大數(shù)據(jù)實踐案例探索/222
10.1大數(shù)據(jù)提升客戶體驗/223
基于角色的應(yīng)用/223
解決問題的應(yīng)用/226
用戶的GUI界面/234
10.2大數(shù)據(jù)實現(xiàn)產(chǎn)品化/238
BI Store案例/238
自助分析工具/242
用戶的知識庫/251
10.3大數(shù)據(jù)的極致思維/254
思維導(dǎo)圖案例/255
大數(shù)據(jù)分析報告劇本/256
10.4大數(shù)據(jù)的跨界思維/258
大數(shù)據(jù)在交通行業(yè)的應(yīng)用/258
大數(shù)據(jù)在金融行業(yè)的應(yīng)用/259
大數(shù)據(jù)在制造業(yè)的應(yīng)用/261
10.5大數(shù)據(jù)的平臺思維/261
淘寶的API開放平臺/261
某電信運營商的對外開放平臺/265
10.6大數(shù)據(jù)的快速迭代/267
多波次灰度營銷/267
數(shù)據(jù)字典的迭代/268
文章編號:2095-5960(2014)02-0036-07;中圖分類號:F840;文獻(xiàn)標(biāo)識碼:A
一、引言
信息是金融行業(yè)中最重要的資源之一,而數(shù)據(jù)是信息最直接的表現(xiàn)方式。隨著電子技術(shù)發(fā)展以及世界金融市場交易規(guī)模的迅速擴大,金融行業(yè)中的數(shù)據(jù)量呈爆炸式增長趨勢,如每一天世界金融產(chǎn)品交易數(shù)據(jù)達(dá)到500G以上,其中保險公司的數(shù)據(jù)占比達(dá)到12%(第一屆CCF大數(shù)據(jù)學(xué)術(shù)會議,國家會議中心,2012年12月)。這充分說明金融行業(yè)已經(jīng)進(jìn)入了“大數(shù)據(jù)時代”。
按照Kenneth Cukier在《Big data》中的定義,大數(shù)據(jù)又被稱為巨量信息、海量數(shù)據(jù)等,指的是所涉及的信息量非常巨大,超過傳統(tǒng)軟件和技術(shù)所涉及的范圍[1],而所謂的大數(shù)據(jù)技術(shù)或大數(shù)據(jù)能力就是在這種海量數(shù)據(jù)下有效的數(shù)據(jù)分析技術(shù),即能夠利用各種各樣類型的巨量數(shù)據(jù),快速獲取有價值信息,并使之應(yīng)用的能力[2]。鑒于金融行業(yè)的巨量數(shù)據(jù)存量以及每天的新增數(shù)據(jù)規(guī)模,大數(shù)據(jù)分析能力對其尤為重要[3],保險公司是金融行業(yè)的重要組成部分,也不可避免要面對大數(shù)據(jù)現(xiàn)狀,充分利用巨量數(shù)據(jù)來推動業(yè)務(wù)發(fā)展和創(chuàng)新,提升競爭力也自然成為當(dāng)前最迫切的任務(wù)[4][5]。
為了詳細(xì)了解我國國內(nèi)的大數(shù)據(jù)情況,我們對中國保險業(yè)進(jìn)行了數(shù)據(jù)情況的統(tǒng)計(以下簡稱“中國保險業(yè)大數(shù)據(jù)背景調(diào)查”)。該統(tǒng)計所涉及的保險公司共122家,其中包括58家人身險公司、59家財產(chǎn)險公司以及5家再保險公司。在人身險公司中,中資公司35家,外資公司23家;在財產(chǎn)險公司中,中資公司38家,外資公司21家。這些公司的業(yè)務(wù)規(guī)模占全部保險市場的95%以上,可以認(rèn)為調(diào)查結(jié)果具有一定的普遍性。
我們統(tǒng)計的數(shù)據(jù)種類包括以下五類:一是保單數(shù)據(jù)及保單維持?jǐn)?shù)據(jù):這部分?jǐn)?shù)據(jù)組成了保險公司的業(yè)務(wù)系統(tǒng),以專業(yè)的數(shù)據(jù)庫軟件來操作。二是核賠理賠數(shù)據(jù):這部分?jǐn)?shù)據(jù)隨著電子化進(jìn)程加快,大部分也在業(yè)務(wù)系統(tǒng)中,同時部門內(nèi)部也有對應(yīng)的數(shù)據(jù)庫。三是投資理財數(shù)據(jù):因為壽險經(jīng)營時間長,需要對保費保值增值,所以壽險的保費投資是經(jīng)營的重要方面,導(dǎo)致這部分?jǐn)?shù)據(jù)非常豐富,相對來說,財產(chǎn)險公司中,這類數(shù)據(jù)量比例較小。四是定價數(shù)據(jù):這部分?jǐn)?shù)據(jù)是精算部門用來定價和利潤測試,以及用來向保監(jiān)會報送各類報表運算時候需要的數(shù)據(jù),有相當(dāng)一部分來自于業(yè)務(wù)系統(tǒng)。五是風(fēng)險管理數(shù)據(jù),這部分?jǐn)?shù)據(jù)相當(dāng)零散,且涉及以上各類數(shù)據(jù),同時還包括公司的財務(wù)數(shù)據(jù)、行業(yè)數(shù)據(jù)、監(jiān)管數(shù)據(jù)、宏觀經(jīng)濟數(shù)據(jù)乃至宏觀管理數(shù)據(jù)。六是再保險公司公司數(shù)據(jù),再保險公司承擔(dān)保險公司的分出業(yè)務(wù),通常掌握了很多家原保險公司的數(shù)據(jù),具有比原保險公司更多的數(shù)據(jù),這部分?jǐn)?shù)據(jù)盡管有相當(dāng)一部分來自于原保險公司,但大數(shù)據(jù)的核心并非是關(guān)注數(shù)據(jù)的重復(fù)問題,而是如何利用數(shù)據(jù)進(jìn)行快速決策,所以我們把再保險公司的數(shù)據(jù)也統(tǒng)計在內(nèi)。
我們對所有參與統(tǒng)計的原保險公司前五類數(shù)據(jù)并匯總,然后加上再保險公司數(shù)據(jù),由此構(gòu)成中國保險業(yè)整體的數(shù)據(jù)情況。這里需要注意到:匯總過程中會有很多冗余數(shù)據(jù),例如投資相關(guān)的金融市場數(shù)據(jù)等,但從大數(shù)據(jù)的核心出發(fā),這些數(shù)據(jù)應(yīng)該不作區(qū)分。原因如下:
首先,大數(shù)據(jù)的本質(zhì)是快速和預(yù)測,而并不關(guān)心重復(fù)數(shù)據(jù)的冗余情況,對重復(fù)數(shù)據(jù)冗余的處理其實是降低大數(shù)據(jù)應(yīng)用效率的,大數(shù)據(jù)更關(guān)心的是基于整體的巨量信息快速進(jìn)行決策和分析[6][7]。
其次,每家公司在經(jīng)營過程中,即需要考慮公司本身特有的信息、特有的數(shù)據(jù),同時也必然和其他公司一樣面對公共的信息、公共的數(shù)據(jù),這些數(shù)據(jù)都是他們決策基礎(chǔ)[5]。
最后,重復(fù)的數(shù)據(jù)雖然存在但其對決策的影響其實是不同的,這和一同協(xié)作的數(shù)據(jù)有關(guān),也和每家公司的大數(shù)據(jù)能力有關(guān),換句話說,對每家公司來說,即使是重復(fù)的數(shù)據(jù)但也意味著不同的信息。
這種現(xiàn)狀正是本文研究的出發(fā)點,我們將以掌握的數(shù)據(jù)為基礎(chǔ),在定價、巨災(zāi)分析以及健康險方面進(jìn)行大數(shù)據(jù)應(yīng)用研究的嘗試。
二、跨部門大數(shù)據(jù)應(yīng)用:壽險產(chǎn)品精算定價
產(chǎn)品精算定價能力是保險公司的核心競爭力之一,大數(shù)據(jù)在精算定價中的應(yīng)用核心就是從“樣本精算”過渡到“全量精算”。
對壽險來講,保險公司基于“精算模型”,并使用“資產(chǎn)份額”和“宏觀定價”等方法來確定實際保費。對財險公司而言,保險公司通常利用歷史數(shù)據(jù)來獲得“損失模型”,并通過分析各因素作用來獲得最終保費。傳統(tǒng)的這些過程中,一般只涉及公司所掌握數(shù)據(jù)的很小一部分,是“樣本精算”,但為了獲得更大的市場空間,保險公司有必要利用大數(shù)據(jù)來獲得“定價”的比較優(yōu)勢,實現(xiàn)“全量精算”。這里我們僅以壽險定價為例來進(jìn)行應(yīng)用研究。
壽險公司在長期經(jīng)營過程中積累了大量的數(shù)據(jù)和信息,同時外部環(huán)境變化也積累了海量數(shù)據(jù),而傳統(tǒng)的壽險產(chǎn)品定價對這些數(shù)據(jù)置若罔聞,仍然是基于保監(jiān)會公布的00—03生命表和一些公司的有限信息來進(jìn)行,這必然不能反映真實的風(fēng)險狀況,也喪失了市場競爭中的比較優(yōu)勢。
這里以一家普通的保險公司為例來說明大數(shù)據(jù)應(yīng)用。我們將數(shù)據(jù)范圍擴展到公司的全部部門(包含整個業(yè)務(wù)部門乃至核保核賠部門),這些部門的數(shù)據(jù)經(jīng)過唯一的ID(如身份證號)鏈接,形成一個龐大的海量數(shù)據(jù)記錄,在舍棄一些信息并整理后(僅包含索賠引起的死亡率信息)形成了一個900M的數(shù)據(jù)庫,涵蓋的時間是2003—2009。該數(shù)據(jù)即是進(jìn)行“全量精算”的基礎(chǔ)。接下來,我們對數(shù)據(jù)庫進(jìn)行整理并加上國家統(tǒng)計的數(shù)據(jù)(來自于《中國人口與就業(yè)統(tǒng)計年鑒》),獲得了從1983年開始的分年齡段死亡率表(表1)。
根據(jù)此定理,我們利用大數(shù)據(jù)的信息來進(jìn)行參數(shù)估計,方法是最小二乘法或極大似然估計。保險公司僅需要在大數(shù)據(jù)的基礎(chǔ)上,進(jìn)行程序運算,給出對應(yīng)的距離或其他信息,就可以得到該極值分布的具體參數(shù)。如我們以上述例子為樣本,可以得到其參數(shù)估計值分別為-0.7和1.8。有了損失分布,財產(chǎn)險公司就可以用來進(jìn)行定價或者進(jìn)行分保安排,而再保險公司就可以進(jìn)行風(fēng)險控制。
五、結(jié)論
通過以上大數(shù)據(jù)在保險公司中的具體應(yīng)用,我們得到幾點結(jié)論:
第一,保險公司應(yīng)該在定價中充分利用公司所掌握的全部數(shù)據(jù),讓定價從“樣本精算”轉(zhuǎn)移到“全量精算”上來,讓每個部門數(shù)據(jù)都發(fā)揮作用,通過整合和利用大數(shù)據(jù)技術(shù),達(dá)到更精確的風(fēng)險定價,從而獲得更大的定價空間。
第二,保險公司自身應(yīng)該重視數(shù)據(jù)接力,甚至保險公司之間應(yīng)該加強數(shù)據(jù)合作,通過針對性的保險產(chǎn)品覆蓋來實現(xiàn)客戶價值挖掘,擴大保險市場。
第三,保險公是不但要重視本行業(yè)的數(shù)據(jù)積累,還要重視并挖掘其他行業(yè)的數(shù)據(jù)價值,通過與自身數(shù)據(jù)的融合來實現(xiàn)大數(shù)據(jù)所帶來的價值。
參考文獻(xiàn):
[1] Viktor and Kenneth, Big Data: A revolution that will transform how we live work and think [M]. Eamon Dolan/Houghton Mifflin Harcourt Press, 2013.
[2] Redman T.The impact of poor data quality on the typical enterprise [J].Communications of the ACM,1998,41(2):79-82.
[3] 張寧,云計算在保險公司信息化中的應(yīng)用[J].數(shù)學(xué)的實踐與認(rèn)識, 2012, 42(27): 97-103.
[4] Eckerson W.Data Warehousing Special Report:Data quality and the bottom line JR. Applications Development Trends,2002.
[5] English LP.Improving Data Warehouse and Business Information Quality:Methods for Reducing Costs and Increasing Profits[M].New York:Wiley,1999
[6] Swartz N.Gartner warns firms of‘dirty data’ [J].Information Management Journal, 2007, 41(3):6-12.
[中圖分類號] F83 [文獻(xiàn)標(biāo)識碼] A [文章編號] 2095-3437(2014)14-0029-02
一、背景
數(shù)據(jù)是與自然資源、人力資源一樣重要的戰(zhàn)略資源,其背后隱含著巨大的經(jīng)濟價值。近年來,“大數(shù)據(jù)”研究已經(jīng)備受關(guān)注。[1]例如,2012年,美國政府在國內(nèi)了“大數(shù)據(jù)”研究和《發(fā)展倡議》,投資約兩億美元發(fā)展大數(shù)據(jù)研究,用以強化國土安全、轉(zhuǎn)變教育學(xué)習(xí)模式和進(jìn)一步加速科學(xué)和工程領(lǐng)域的創(chuàng)新速度和水平。繼1993年美國宣布“信息高速公路”計劃后,這項決定標(biāo)志著美國的又一次重大科技發(fā)展部署。美國政府認(rèn)為“大數(shù)據(jù)”研究勢必對未來的科技、經(jīng)濟等各領(lǐng)域的發(fā)展帶來深遠(yuǎn)影響。在大數(shù)據(jù)應(yīng)用的技術(shù)需求牽引下,數(shù)據(jù)科學(xué)研究和人才培養(yǎng)引起了各國的重視。美國哥倫比亞大學(xué)和紐約大學(xué)、澳大利亞悉尼科技大學(xué)、日本名古屋大學(xué)、韓國釜山國立大學(xué)等紛紛成立數(shù)據(jù)科學(xué)研究機構(gòu);美國加州大學(xué)伯克利分校和伊利諾伊大學(xué)香檳分校、英國鄧迪大學(xué)等一大批高校開設(shè)了數(shù)據(jù)科學(xué)課程。
二、機器學(xué)習(xí)理論
機器學(xué)習(xí)(machine learning)是繼專家系統(tǒng)之后人工智能應(yīng)用的又一重要研究內(nèi)容,在某種意義上,機器學(xué)習(xí)或?qū)⒄J(rèn)為是數(shù)據(jù)挖掘的同義詞。數(shù)據(jù)挖掘是指有組織、有目的地收集數(shù)據(jù)、分析數(shù)據(jù),從海量數(shù)據(jù)中尋找潛在規(guī)律,并使之為決策規(guī)劃提供有價值信息的技術(shù)。機器學(xué)習(xí)是人工智能的核心部分,在金融、工業(yè)、商業(yè)、互聯(lián)網(wǎng)以及航天等各個領(lǐng)域均發(fā)揮著重要的作用。對機器學(xué)習(xí)研究的進(jìn)展,必將對人工智能、數(shù)據(jù)挖掘領(lǐng)域的發(fā)展具有深遠(yuǎn)影響。
機器學(xué)習(xí)方法主要包括:Exper System(專家系統(tǒng))、K-Nearest Neighbor(K近鄰算法)、Decision Tree(決策樹)、Neural Net(神經(jīng)網(wǎng)絡(luò))、Support Vector Machine(支持向量機)、Cluster Analysis(聚類分析)等。近幾年,研究人員將遺傳算法、神經(jīng)網(wǎng)絡(luò)、系統(tǒng)理論以及當(dāng)代數(shù)學(xué)研究的最新進(jìn)展,應(yīng)用于金融領(lǐng)域。這使得金融領(lǐng)域數(shù)據(jù)挖掘在金融管理中備受青睞。例如,產(chǎn)品定價、金融風(fēng)險管理、投資決策甚至金融監(jiān)管都越來越重視金融數(shù)據(jù)挖掘,通過數(shù)據(jù)挖掘發(fā)現(xiàn)金融市場發(fā)展的潛在規(guī)律與發(fā)展動態(tài)。機器學(xué)習(xí)理論及其在金融領(lǐng)域的應(yīng)用成為了一個比較熱的研究領(lǐng)域。[2] [3]
三、金融數(shù)據(jù)的特點
在眾多機器學(xué)習(xí)方法中,基于Logistic回歸、判別分析等傳統(tǒng)的統(tǒng)計方法,對金融模型假定條件非常嚴(yán)格,在實際應(yīng)用中很難達(dá)到理想效果。其原因在于對金融數(shù)據(jù)的非線性和非平穩(wěn)性的操作具有片面局限性,在實際處理金融數(shù)據(jù)時,既定假設(shè)與金融市場發(fā)展實際并不完全一致,這樣可能會影響模型的推廣能力和泛化能力。
基于分類樹方法、K-近鄰判別分析、遺傳算法等傳統(tǒng)的非參數(shù)統(tǒng)計方法,其預(yù)測能力較好,但不能量化解釋指標(biāo)的程度。例如,K-近鄰判別分析是一種非參數(shù)距離學(xué)習(xí)方法,通常按照數(shù)據(jù)樣本之間的距離或相關(guān)系數(shù)進(jìn)行度量,這樣會受到少數(shù)異常數(shù)據(jù)點的影響。但是,在相同樣本容量下,如果對于具體問題確實存在特定參數(shù)模型可以應(yīng)用時,非參數(shù)方法效率相對較低。以神經(jīng)網(wǎng)絡(luò)、支持向量機等為典型的機器學(xué)習(xí)方法,優(yōu)點在于可以有效處理金融數(shù)據(jù)的非線性特性,并且不需要事先嚴(yán)格的統(tǒng)計假設(shè),這樣會表現(xiàn)出較強的適應(yīng)效果,充分體現(xiàn)人工智能、機器學(xué)習(xí)等方法的魅力。神經(jīng)網(wǎng)絡(luò)預(yù)測精度是各種機器學(xué)習(xí)方法中相對較好的,因為在一定程度上,神經(jīng)網(wǎng)絡(luò)可以按照任意精度近似非線性函數(shù),為高度非線性問題的建模和算法提供相應(yīng)支持。盡管神經(jīng)網(wǎng)絡(luò)技術(shù)進(jìn)步有目共睹,但仍然存在一些難題。例如,通常難以確定隱層節(jié)點數(shù),并會存在“過學(xué)習(xí)”現(xiàn)象和局部極小值等問題。
四、支持向量機
傳統(tǒng)的統(tǒng)計模式識別方法是在樣本數(shù)目足夠多的情況下進(jìn)行的,但是樣本數(shù)目足夠多在實際問題里面往往難以保證。1968年Vapnik等人首次提出了統(tǒng)計學(xué)習(xí)理論,專門從事有限樣本情況下機器學(xué)習(xí)規(guī)律的研究。在此基礎(chǔ)上,1995年Vapnik等人首先提出支持向量機(Support Vector Machine,簡稱SVM)的學(xué)習(xí)方法,它是數(shù)據(jù)挖掘中的一項新的技術(shù)。SVM是機器學(xué)習(xí)研究領(lǐng)域的一項重大成果,主要研究如何根據(jù)有限學(xué)習(xí)樣本進(jìn)行模式識別和回歸預(yù)測,使在對未知樣本的估計過程中,期望風(fēng)險最小。近年來,它被廣泛地應(yīng)用于統(tǒng)計分類以及回歸分析中。近幾年的研究成果表明,SVM在實用算法研究、設(shè)計和實現(xiàn)方面已取得豐碩的成果,其在理論研究和算法實現(xiàn)方面都有突破性進(jìn)展,逐漸開始成為克服維數(shù)災(zāi)難和過學(xué)習(xí)等傳統(tǒng)問題的有力手段。支持向量機可以成功處理回歸分析和模式識別等諸多問題,并可推廣于預(yù)測和綜合評價等領(lǐng)域,因此可應(yīng)用于管理、經(jīng)濟等多種學(xué)科。支持向量機屬于一般化線性分類器,可以認(rèn)為是提克洛夫規(guī)則化(Tikhonov Regularization)方法的一個特例,其特點是他們能夠同時最小化經(jīng)驗誤差與最大化幾何邊緣區(qū)。支持向量機的優(yōu)點表現(xiàn)在:1.它通過使用結(jié)構(gòu)風(fēng)險最小化代替?zhèn)鹘y(tǒng)的經(jīng)驗風(fēng)險最小化,使用滿足Mercer 條件的核函數(shù),把輸入空間的數(shù)據(jù)變換到高維的Hilbert 空間,將向量映射到一個更高維的空間里。在這個空間里建立有一個最大間隔超平面,實現(xiàn)了由輸入空間中的非線性分析到Hilbert 空間中的線性分析。2.訓(xùn)練的復(fù)雜度與輸入空間的維數(shù)無關(guān),只與訓(xùn)練的樣本數(shù)目有關(guān)。3.稀疏性。決定最大間隔超平面的只是少數(shù)向量――支持向量,就推廣能力方面而言, 較少的支持向量數(shù)在統(tǒng)計意義上對應(yīng)好的推廣能力。4.本質(zhì)上,SVM算法是一個二次優(yōu)化問題,能保證所得到的解是全局最優(yōu)的解。綜上所述,SVM在一定程度上解決了以往困擾機器學(xué)習(xí)方法的很多問題,例如,模型選擇與“過學(xué)習(xí)”問題、非線性和高維小樣本等維數(shù)災(zāi)難問題、局部極小問題等。[4]正是由于SVM具有完備的理論基礎(chǔ)和出色的應(yīng)用表現(xiàn),使其在解決高維小樣本、非線性、壓縮感知以及高維模式識別問題中表現(xiàn)出獨特的優(yōu)勢,正成為自神經(jīng)網(wǎng)絡(luò)之后,機器學(xué)習(xí)領(lǐng)域中新的研究熱點之一。[5] [6]
同其他機器學(xué)習(xí)方法比較,支持向量機更具嚴(yán)密的理論基礎(chǔ),因而在模型表現(xiàn)上也略勝一籌,被成功應(yīng)用于模式分類、非線性回歸,從使用效果來看,其結(jié)果較為理想。但從實踐角度分析來看,模型參數(shù)的選擇過度依賴人們的實驗方法和實踐技能,在一定程度上降低了模型的推廣泛化能力和應(yīng)用領(lǐng)域。同時計算方面,訓(xùn)練時間過長、核參數(shù)的確定,在大訓(xùn)練樣本情況下, SVM面臨著維數(shù)災(zāi)難,甚至?xí)捎趦?nèi)存的限制導(dǎo)致無法訓(xùn)練。目前支持向量機在金融數(shù)據(jù)挖掘方面也存在一定的局限性,主要表現(xiàn)以下幾方面:動態(tài)適應(yīng)性、魯棒性、特征變量異質(zhì)性調(diào)整、模型推廣精度等不盡如人意;建模方法與技術(shù)還有待進(jìn)一步完善;支持向量機研究金融數(shù)據(jù)挖掘和金融問題的成果雖然不少,但大多集中在股票價格和股票市場走勢預(yù)測方面,關(guān)于公司財務(wù)危機預(yù)測、套期保值分析、金融市場連接機制分析及其創(chuàng)新成果方面有待加強。
五、結(jié)論
大數(shù)據(jù)時代下金融專業(yè)的數(shù)學(xué)重在以下方面的應(yīng)用:深度學(xué)習(xí)(Deep Learning)、機器學(xué)習(xí)和數(shù)據(jù)挖掘、分布式計算,如MR、Hadoop等,在大數(shù)據(jù)中預(yù)測最先取得突破的技術(shù)環(huán)節(jié)將會是分析中的大數(shù)據(jù)挖掘與關(guān)聯(lián)分析、存儲結(jié)構(gòu)和系統(tǒng)、數(shù)據(jù)采集和數(shù)據(jù)化。目前金融問題的研究方向和發(fā)展趨勢,主要集中在計量經(jīng)濟方法,例如,格蘭杰因果分析、向量自回歸、條件異方差、隨機波動分析等。這些計量經(jīng)濟方法和技術(shù)大部分使用了線性技術(shù),以及與金融市場不太吻合的理論假設(shè),基于這些方法的結(jié)果,例如,資產(chǎn)預(yù)測價格、發(fā)展動態(tài)以及風(fēng)險評估結(jié)果和實際出入較大,影響了金融管理的效率。對于我們大學(xué)教師來說,如何將已有分析數(shù)據(jù)算法整合,讓學(xué)生抓住重點,挖掘到比較可靠的信息或知識,都將成為金融專業(yè)數(shù)學(xué)研究的方向和目標(biāo)。
[ 注 釋 ]
[1] Anand Rajaraman Jeffrey David Ullman.大數(shù)據(jù)――互聯(lián)網(wǎng)大規(guī)模數(shù)據(jù)挖掘與分布式處理[M].北京:人民郵電出版社,2012.
[2] Kumar, P.R. and Ravi, V. 2007. Bankruptcy prediction in banks and firms via statistical and intelligent techniques-a review. European Journal of Operational Research, 180(1):1-28.
[3] M. Oet, R. Eiben, T. Bianco,D.Gramlich, S. Ong, and J.Wang,“SAFE: an early warning system for systemic banking risk,”in Proceedings of the 24th Australasian Finance and BankingConference, SSRN, 2011.
二、大數(shù)據(jù)背景下會計專業(yè)教學(xué)創(chuàng)新的主要方向
大數(shù)據(jù)要求會計教學(xué)提高學(xué)習(xí)主動性。相對于對科技進(jìn)步較為敏感的網(wǎng)絡(luò)專業(yè),會計專業(yè)的學(xué)生較為缺乏對新時代的敏感性和學(xué)習(xí)并適應(yīng)新時代要求的主動性,會計專業(yè)的教學(xué)甚至科研都對大數(shù)據(jù)缺乏敏感度。在日新月異的新時代,會計教學(xué)不應(yīng)只拘泥于傳統(tǒng)的教學(xué)內(nèi)容,更要培養(yǎng)學(xué)生的自主學(xué)習(xí)意識,幫助學(xué)生在走上工作崗位后,能夠有不斷更新自己、與時俱進(jìn)和不斷學(xué)習(xí)的習(xí)慣,才不會在發(fā)展浪潮中被淘汰。學(xué)習(xí)的主動性來源于自主學(xué)習(xí)意識和對新知識的認(rèn)知感。自主學(xué)習(xí)意識是人的主觀能動作用,需要人對該事物的重要性和緊迫性有足夠認(rèn)知,并有足夠自制力將其轉(zhuǎn)化為積極主動的動力。在大數(shù)據(jù)背景下增強會計專業(yè)學(xué)生的自主學(xué)習(xí)能力,需要會計教學(xué)的教師們充實和更新教學(xué)的內(nèi)容,緊跟時代步伐,到一線企業(yè)公司了解工作的實務(wù)內(nèi)容和要求,將大數(shù)據(jù)的實例轉(zhuǎn)化成題目或操作項目,引進(jìn)到教學(xué)中來;還需要教師們創(chuàng)新教學(xué)手段,充分利用網(wǎng)絡(luò)資源和數(shù)據(jù),引進(jìn)全方位、多角度的操作實踐,讓學(xué)生充分認(rèn)識到大數(shù)據(jù)的運用與教科書上會計基本理論知識的區(qū)別,并將會計的基本原理,從課本題目的小數(shù)據(jù),延伸到工作中的大數(shù)據(jù)中,熟練運用和操作大數(shù)據(jù)。對新知識的認(rèn)知感是青年學(xué)生的最大優(yōu)勢,在足夠的興趣和主動性影響下,青年學(xué)生對大數(shù)據(jù)時代新鮮事物的感知性可能是其教師們都比不上的。這時就需要教師們因勢利導(dǎo),充分發(fā)揮學(xué)生的認(rèn)知感,認(rèn)可學(xué)生的銳眼和創(chuàng)新想法,并組織學(xué)生進(jìn)行交流,形成競爭意識,將學(xué)生對新知識的了解,轉(zhuǎn)化為教學(xué)內(nèi)容,并引導(dǎo)學(xué)生進(jìn)行課內(nèi)課外的主動交流,互通有無,團結(jié)協(xié)作,互相學(xué)習(xí),研究創(chuàng)新。
三、大數(shù)據(jù)視角下會計專業(yè)教學(xué)的創(chuàng)新
目前高職院校會計專業(yè)人才培養(yǎng)理念拘泥于培養(yǎng)記賬、算賬甚至做賬的會計從業(yè)人員。但是,會計專業(yè)學(xué)生所服務(wù)的有潛力的大中小型企業(yè)更需要會計人員在企業(yè)的戰(zhàn)略管理方面提供服務(wù),即需要會計管理能力,尤其是在交易量特別巨大的行業(yè)市場,需要會計人才對相關(guān)市場進(jìn)行大數(shù)據(jù)的收集和分析,為企業(yè)中短期決策提供數(shù)據(jù)依據(jù)支持。教學(xué)創(chuàng)新首先要做到教學(xué)理念的創(chuàng)新,只有理念先進(jìn)了,教學(xué)改革創(chuàng)新才會順利進(jìn)行,否則傳統(tǒng)勢力的存在會對教學(xué)改革產(chǎn)生負(fù)面影響。從教學(xué)理念上看,會計專業(yè)的教學(xué)理念需要適應(yīng)科技經(jīng)濟的社會發(fā)展需要,調(diào)整方向應(yīng)該是:以核算能力的培養(yǎng)為基礎(chǔ),以會計管理能力的培養(yǎng)為核心,運用新的科技手段,掌握大數(shù)據(jù)的處理和分析。教師必須先從自身做起,更新自己的觀念,充分體會和感受大數(shù)據(jù)對工作和生活的巨大影響。然后要對大數(shù)據(jù)在職業(yè)中的實際應(yīng)用有所了解,對大數(shù)據(jù)給會計工作帶來的機遇與挑戰(zhàn),知識的更新和創(chuàng)新有所了解,對社會的發(fā)展趨勢緊緊把握,將最新的信息引入到教學(xué)中來。在理念更新的基礎(chǔ)上,會計教學(xué)要對課程計劃進(jìn)行創(chuàng)新,在傳統(tǒng)教學(xué)的理論基礎(chǔ)上,引進(jìn)新的資源和知識體系,增強學(xué)生的實踐技能和工作能力。同時,也將會計理論潛移默化地引入到大數(shù)據(jù)的要求中去,培養(yǎng)學(xué)生對大數(shù)據(jù)的編制能力、處理能力、運算能力、檢查能力和總結(jié)能力。從實際操作來看,會計專業(yè)教學(xué)的創(chuàng)新,要在保證學(xué)生擁有接入相關(guān)網(wǎng)絡(luò)數(shù)據(jù)的、處理運算大數(shù)據(jù)能力的基礎(chǔ)計算機硬件和軟件設(shè)備的基礎(chǔ)上進(jìn)行。首先應(yīng)培養(yǎng)學(xué)生在網(wǎng)絡(luò)數(shù)據(jù)中挖掘有效資源的能力。教師在教學(xué)過程中應(yīng)布置此類作業(yè)或?qū)嵺`項目,鍛煉學(xué)生在網(wǎng)絡(luò)上查找和篩選數(shù)據(jù)的能力。在搜集數(shù)據(jù)的基礎(chǔ)上,在保證學(xué)生對傳統(tǒng)會計理論知識充分掌握的前提下,教師教學(xué)生使用相關(guān)軟件進(jìn)行數(shù)據(jù)分析,培養(yǎng)學(xué)生對數(shù)據(jù)的預(yù)處理和建模創(chuàng)新能力,幫助學(xué)生養(yǎng)成管理型會計的思維方式。另外,由于大數(shù)據(jù)的工作量巨大,實際會計工作往往是由一個會計團隊合作進(jìn)行的。在創(chuàng)新的課程中,必須通過課題或項目,讓學(xué)生組成項目小組進(jìn)行實踐操作,通過團隊合作完成項目的方式,使學(xué)生能夠運用會計專業(yè)的各方面知識,分擔(dān)會計工作流程中的各個工作崗位的角色,培養(yǎng)團隊意識,學(xué)會分工合作,適應(yīng)未來工作需要。在開設(shè)檢索課程和統(tǒng)計學(xué)課程之外,需要增設(shè)數(shù)據(jù)處理軟件工具的實務(wù)操作課程,在會計電算化的要求下,會計教學(xué)中必須教會學(xué)生如何熟練、巧妙地使用電算化的相關(guān)軟件,如ex-cel、用友等。在學(xué)校里,學(xué)生學(xué)習(xí)的都是基本用法,但是在實際工作中,由于行業(yè)不同、企業(yè)不同、數(shù)據(jù)性質(zhì)不同、計算需要不同,會計需要自己編制一些適合的表格進(jìn)行計算。那么,復(fù)雜套表的設(shè)計,公式的運用等就需要會計靈活地使用軟件進(jìn)行設(shè)計,滿足會計實際工作中的需要。由于大數(shù)據(jù)的規(guī)模性和系統(tǒng)性,并且處理的數(shù)據(jù)量巨大,一個小小的差錯就可能導(dǎo)致結(jié)果的很大誤差或錯誤,會計工作中的準(zhǔn)確性和對責(zé)任感的要求都是極為嚴(yán)格的。教學(xué)實踐中需要步步留痕,每一個步驟都是由團隊中的某位成員進(jìn)行的,都有據(jù)可查,在作業(yè)結(jié)果錯誤時,對出錯的成員進(jìn)行“懲罰”,以示團隊對準(zhǔn)確性的嚴(yán)格要求,以利于團隊成員中個人責(zé)任感的提升。教學(xué)中也可以建立學(xué)分之外的獎懲機制,在項目進(jìn)行的過程中和項目完成后,對優(yōu)秀學(xué)生進(jìn)行獎勵,對出過錯誤的學(xué)生進(jìn)行“懲罰”。課程中還可以結(jié)合實務(wù)技能,引用互聯(lián)網(wǎng)上的實際數(shù)據(jù),分門別類地對各行業(yè)的大數(shù)據(jù)進(jìn)行立項分析,或者從某些大型企業(yè)的公開數(shù)據(jù)中,進(jìn)行數(shù)據(jù)的引用,使用這些數(shù)據(jù)進(jìn)行教學(xué)訓(xùn)練,模擬公司會計實務(wù)操作流程,使學(xué)生能夠身臨其境地進(jìn)行大數(shù)據(jù)的計算和分析,以總結(jié)性論文、報告或演講的形式將結(jié)論進(jìn)行匯報,通過各組的相互對比,評價立項活動的各組業(yè)績是否正確,從而進(jìn)行學(xué)分評價。完善會計網(wǎng)絡(luò)教學(xué)平臺建設(shè)和使用。學(xué)??梢栽O(shè)計搭建或引進(jìn)會計網(wǎng)絡(luò)教學(xué)平臺,學(xué)生平時通過平臺進(jìn)行課程學(xué)習(xí)、完成和提交作業(yè)、完成隨堂和結(jié)課測驗等功能。運用網(wǎng)絡(luò)促進(jìn)學(xué)生學(xué)習(xí),需要進(jìn)一步完善網(wǎng)絡(luò)軟硬件設(shè)施的建設(shè),及時升級更新教學(xué)平臺,引進(jìn)會計的大數(shù)據(jù)資源,進(jìn)行相關(guān)數(shù)據(jù)的自動或手動的實時監(jiān)控收集,套用常用的建模,劃分統(tǒng)計模塊,進(jìn)行項目操作。同時,教學(xué)平臺還要讓學(xué)生查看學(xué)習(xí)作業(yè)和隨堂測試結(jié)果,教師的評語和建議,及時了解自己不懂不會的知識點。教師也能全面了解學(xué)生隨堂知識的掌握情況,掌握學(xué)生學(xué)習(xí)動態(tài)數(shù)據(jù),隨時改進(jìn)教學(xué)進(jìn)度和教學(xué)方法。會計教學(xué)的創(chuàng)新還可以與行業(yè)公司進(jìn)行合作,承攬一些實際的會計工作項目,如預(yù)決算、招投標(biāo)、核標(biāo)、工程評估、財務(wù)報表、統(tǒng)計、科研調(diào)查等。這一與關(guān)聯(lián)公司的互動合作是互利互惠的,既能幫助公司完成工作,也能借此鍛煉學(xué)生的工作能力,促使學(xué)生將理論與實踐相結(jié)合,為學(xué)生的未來工作打好基礎(chǔ)。