知識圖譜 (Knowledge Graph) 是當前的研究熱點(diǎn)。
自從2012年Google推出自己第一版知識圖譜以來(lái),它在學(xué)術(shù)界和工業(yè)界掀起了一股熱潮。各大互聯(lián)網(wǎng)企業(yè)在之后的短短一年內紛紛推出了自己的知識圖譜產(chǎn)品以作為回應。
比如在國內,互聯(lián)網(wǎng)巨頭百度和搜狗分別推出”知心“和”知立方”來(lái)改進(jìn)其搜索質(zhì)量。那么與這些傳統的互聯(lián)網(wǎng)公司相比,對處于當今風(fēng)口浪尖上的行業(yè) - 互聯(lián)網(wǎng)金融, 知識圖譜可以有哪方面的應用呢? 目錄1. 什么是知識圖譜?2. 知識圖譜的表示3. 知識圖譜的存儲4. 應用5. 挑戰6. 結語(yǔ) 1. 什么是知識圖譜? 知識圖譜本質(zhì)上是語(yǔ)義網(wǎng)絡(luò ),是一種基于圖的數據結構,由節點(diǎn)(Point)和邊(Edge)組成。
在知識圖譜里,每個(gè)節點(diǎn)表示現實(shí)世界中存在的“實(shí)體”,每條邊為實(shí)體與實(shí)體之間的“關(guān)系”。知識圖譜是關(guān)系的最有效的表示方式。
通俗地講,知識圖譜就是把所有不同種類(lèi)的信息(Heterogeneous Information)連接在一起而得到的一個(gè)關(guān)系網(wǎng)絡(luò )。知識圖譜提供了從“關(guān)系”的角度去分析問(wèn)題的能力。
知識圖譜這個(gè)概念最早由Google提出,主要是用來(lái)優(yōu)化現有的搜索引擎。不同于基于關(guān)鍵詞搜索的傳統搜索引擎,知識圖譜可用來(lái)更好地查詢(xún)復雜的關(guān)聯(lián)信息,從語(yǔ)義層面理解用戶(hù)意圖,改進(jìn)搜索質(zhì)量。
比如在Google的搜索框里輸入Bill Gates的時(shí)候,搜索結果頁(yè)面的右側還會(huì )出現Bill Gates相關(guān)的信息比如出生年月,家庭情況等等。 另外,對于稍微復雜的搜索語(yǔ)句比如 ”Who is the wife of Bill Gates“,Google能準確返回他的妻子Melinda Gates。
這就說(shuō)明搜索引擎通過(guò)知識圖譜真正理解了用戶(hù)的意圖。 上面提到的知識圖譜都是屬于比較寬泛的范疇,在通用領(lǐng)域里解決搜索引擎優(yōu)化和問(wèn)答系統(Question-Answering)等方面的問(wèn)題。
接下來(lái)我們看一下特定領(lǐng)域里的 (Domain-Specific) 知識圖譜表示方式和應用,這也是工業(yè)界比較關(guān)心的話(huà)題。 2. 知識圖譜的表示 假設我們用知識圖譜來(lái)描述一個(gè)事實(shí)(Fact) - “張三是李四的父親”。
這里的實(shí)體是張三和李四,關(guān)系是“父親”(is_father_of)。當然,張三和李四也可能會(huì )跟其他人存在著(zhù)某種類(lèi)型的關(guān)系(暫時(shí)不考慮)。
當我們把電話(huà)號碼也作為節點(diǎn)加入到知識圖譜以后(電話(huà)號碼也是實(shí)體),人和電話(huà)之間也可以定義一種關(guān)系叫 has_phone,就是說(shuō)某個(gè)電話(huà)號碼是屬于某個(gè)人。下面的圖就展示了這兩種不同的關(guān)系。
另外,我們可以把時(shí)間作為屬性(Property)添加到 has_phone 關(guān)系里來(lái)表示開(kāi)通電話(huà)號碼的時(shí)間。這種屬性不僅可以加到關(guān)系里,還可以加到實(shí)體當中,當我們把所有這些信息作為關(guān)系或者實(shí)體的屬性添加后,所得到的圖譜稱(chēng)之為屬性圖 (Property Graph)。
屬性圖和傳統的RDF格式都可以作為知識圖譜的表示和存儲方式,但二者還是有區別的,這將在后面章節做簡(jiǎn)單說(shuō)明。 3. 知識圖譜的存儲 知識圖譜是基于圖的數據結構,它的存儲方式主要有兩種形式:RDF存儲格式和圖數據庫(Graph Database)。
至于它們有哪些區別,請參考【1】。下面的曲線(xiàn)表示各種數據存儲類(lèi)型在最近幾年的發(fā)展情況。
從這里我們可以明顯地看到基于圖的存儲方式在整個(gè)數據庫存儲領(lǐng)域的飛速發(fā)展。這幅曲線(xiàn)圖來(lái)源于 Graph DBMS increased their popularity by 500% within the last 2 years 下面的列表表示的是目前比較流行的基于圖存儲的數據庫排名。
從這個(gè)排名中可以看出neo4j在整個(gè)圖存儲領(lǐng)域里占據著(zhù)NO.1的地位,而且在RDF領(lǐng)域里Jena還是目前為止最為流行的存儲框架。這部分數據來(lái)源于 DB-Engines Ranking 當然,如果需要設計的知識圖譜非常簡(jiǎn)單,而且查詢(xún)也不會(huì )涉及到1度以上的關(guān)聯(lián)查詢(xún),我們也可以選擇用關(guān)系型數據存儲格式來(lái)保存知識圖譜。
但對那些稍微復雜的關(guān)系網(wǎng)絡(luò )(現實(shí)生活中的實(shí)體和關(guān)系普遍都比較復雜),知識圖譜的優(yōu)點(diǎn)還是非常明顯的。首先,在關(guān)聯(lián)查詢(xún)的效率上會(huì )比傳統的存儲方式有顯著(zhù)的提高。
當我們涉及到2,3度的關(guān)聯(lián)查詢(xún),基于知識圖譜的查詢(xún)效率會(huì )高出幾千倍甚至幾百萬(wàn)倍。其次,基于圖的存儲在設計上會(huì )非常靈活,一般只需要局部的改動(dòng)即可。
比如我們有一個(gè)新的數據源,我們只需要在已有的圖譜上插入就可以。于此相反,關(guān)系型存儲方式靈活性方面比較差,它所有的Schema都是提前定義好的,如果后續要改變,它的代價(jià)是非常高的。
最后,把實(shí)體和關(guān)系存儲在圖數據結構是一種符合整個(gè)故事邏輯的最好的方式。 4. 應用 在本文中,我們主要討論知識圖譜在互聯(lián)網(wǎng)金融行業(yè)中的應用。
當然,很多應用場(chǎng)景和想法都可以延伸到其他的各行各業(yè)。這里提到的應用場(chǎng)景只是冰山一角, 在很多其他的應用上,知識圖譜仍然可以發(fā)揮它潛在的價(jià)值, 我們在后續的文章中會(huì )繼續討論。
反欺詐 反欺詐是風(fēng)控中非常重要的一道環(huán)節。基于大數據的反欺詐的難點(diǎn)在于如何把不同來(lái)源的數據(結構化,非結構)整合在一起,并構建反欺詐引擎,從而有效地識別出欺詐案件(比如身份造假,團體欺詐,代辦包裝等)。
而且不少欺詐案件會(huì )涉及到復雜的關(guān)系網(wǎng)絡(luò ),這也給欺詐審核帶來(lái)了新的挑戰。 知識圖譜,作為關(guān)系的直接表示方式,可以很好地解決這兩個(gè)問(wèn)題。
首。
1. 知識結構圖是指把所學(xué)內容進(jìn)行整理并制成比較系統完整的知識結構圖示,它在心理學(xué)中被稱(chēng)為知識網(wǎng)絡(luò )圖。
2. 知識結構是指一個(gè)人經(jīng)過(guò)專(zhuān)門(mén)學(xué)習培訓后所擁有的知識體系的構成情況與結合方式。知識結構,就是既有精深的專(zhuān)門(mén)知識,又有廣博的知識面,具有事業(yè)發(fā)展實(shí)際需要的最合理、最優(yōu)化的知識體系。建立起合理的知識結構,培養科學(xué)的思維方式,提高自己的實(shí)用技能,以適應將來(lái)在社會(huì )上從事職業(yè)崗位的要求。合理的知識結構是擔任現代社會(huì )職業(yè)崗位的必要條件,是人才成長(cháng)的基礎。
3. 現代社會(huì )的職業(yè)崗位,所需要的是知識結構合理、能根據當今社會(huì )發(fā)展和職業(yè)的具體要求,將自己所學(xué)到的各類(lèi)知識,科學(xué)地組合起來(lái)的,適應社會(huì )要求的人才。教師專(zhuān)業(yè)素質(zhì)的知識結構主要是由教師在系統專(zhuān)業(yè)知識和教育實(shí)踐的知識構成的體統。
知識圖譜,也稱(chēng)為科學(xué)知識圖譜,它通過(guò)將應用數學(xué)、圖形學(xué)、信息可視化技術(shù)、信息科學(xué)等學(xué)科的理論與方法與計量學(xué)引文分析、共現分析等方法結合,并利用可視化的圖譜形象地展示學(xué)科的核心結構、發(fā)展歷史、前沿領(lǐng)域以及整體知識架構達到多學(xué)科融合目的的現代理論。為學(xué)科研究提供切實(shí)的、有價(jià)值的參考。
北京知識圖譜科技有限公司是2017-05-31在北京市海淀區注冊成立的有限責任公司(自然人投資或控股),注冊地址位于北京市海淀區中關(guān)村大街18號B座9層909室342號。
北京知識圖譜科技有限公司的統一社會(huì )信用代碼/注冊號是91110108MA00EUGR87,企業(yè)法人吳剛,目前企業(yè)處于開(kāi)業(yè)狀態(tài)。
北京知識圖譜科技有限公司的經(jīng)營(yíng)范圍是:技術(shù)開(kāi)發(fā)、技術(shù)推廣、技術(shù)轉讓、技術(shù)咨詢(xún)、技術(shù)服務(wù);銷(xiāo)售自行開(kāi)發(fā)的產(chǎn)品;計算機系統服務(wù);基礎軟件服務(wù)、應用軟件服務(wù);軟件開(kāi)發(fā);軟件咨詢(xún);會(huì )議服務(wù);數據處理(數據處理中的銀行卡中心、PUE值在1.5以上的云計算數據中心除外);接受金融機構委托從事金融信息技術(shù)外包服務(wù);接受金融機構委托從事金融業(yè)務(wù)流程外包服務(wù)。(企業(yè)依法自主選擇經(jīng)營(yíng)項目,開(kāi)展經(jīng)營(yíng)活動(dòng);依法須經(jīng)批準的項目,經(jīng)相關(guān)部門(mén)批準后依批準的內容開(kāi)展經(jīng)營(yíng)活動(dòng);不得從事本市產(chǎn)業(yè)政策禁止和限制類(lèi)項目的經(jīng)營(yíng)活動(dòng)。)。本省范圍內,當前企業(yè)的注冊資本屬于一般。
通過(guò)百度企業(yè)信用查看北京知識圖譜科技有限公司更多信息和資訊。
自己建嗎可以下載圖譜軟件構建可以參考一下這個(gè)SPSS: 大型統計分析軟件,商用軟件。
具有完整的數據輸入、編輯、統計分析、報表、圖形繪制等功能。常用于多元統計分析、數據挖掘和數據可視化。
Bibexcel: 瑞典科學(xué)計量學(xué)家Persoon開(kāi)發(fā)的科學(xué)計量學(xué)軟件,用于科學(xué)研究免費軟件。具有文獻計量分析、引文分析、共引分析、耦合分析、聚類(lèi)分析和數據可視化等功能。
可用于分析ISI的SCI、SSCI和A&HCI文獻數據庫。HistCite: Eugene Garfield等人于2001年開(kāi)發(fā)的科學(xué)文獻引文鏈接分析和可視化系統,免費軟件。
可對ISI的SCI、SSCI和SA&HCI等文獻數據庫的引文數據進(jìn)行計量分析,生成文獻、作者和期刊的引文矩陣和實(shí)時(shí)動(dòng)態(tài)引文編年圖。直觀(guān)的反映文獻之間的引用關(guān)系、主題的宗譜關(guān)系、作者歷史傳承關(guān)系、科學(xué)知識發(fā)展演進(jìn)等。
CiteSpace: 陳超美博士開(kāi)發(fā)的專(zhuān)門(mén)用于科學(xué)知識圖譜繪制的免費軟件。國內使用最多知識圖譜繪制軟件。
可用于追蹤研究領(lǐng)域熱點(diǎn)和發(fā)展趨勢,了解研究領(lǐng)域的研究前沿及演進(jìn)關(guān)鍵路徑,重要的文獻、作者及機構。可用于對ISI、CSSCI和CNKI等多種文獻數據庫進(jìn)行分析。
TDA: Thomson Data Analyzer(TDA)是Thomson集團基于VantagePoint開(kāi)發(fā)文獻分析工具。商用軟件。
具有去重、分段等數據預處理功能;可形成共現矩陣、因子矩陣等多種分析矩陣;可使用Pearson、Cosine等多種算法進(jìn)行數據標準化;可進(jìn)行知識圖譜可視化展示。Sci2 Tools: 印第安納大學(xué)開(kāi)發(fā)的用于研究科學(xué)結構的模塊化工具可從時(shí)間、空間、主題、網(wǎng)絡(luò )分析和可視化等多角度,分析個(gè)體、局部和整體水平的知識單元。
ColPalRed: Gradnada大學(xué)開(kāi)發(fā)的共詞單元文獻分析軟件。商用軟件。
結構分析,在主題網(wǎng)絡(luò )中展現知識(詞語(yǔ)及其關(guān)系);戰略分析,通過(guò)中心度和密度,在主題網(wǎng)絡(luò )中為主題定位;動(dòng)態(tài)分析,分析主題網(wǎng)絡(luò )演變,鑒定主題路徑和分支。Leydesdorff: 系類(lèi)軟件。
阿姆斯特丹大學(xué)Leydesdorff開(kāi)發(fā)的這對文獻計量的小程序集合。處理共詞分析、耦合分析、共引分析等知識單元體系。
使用“層疊圖”實(shí)現可視化知識的靜態(tài)布局和動(dòng)態(tài)變化。Word Smith: 詞頻分析軟件。
可將文本中單詞出現頻率排序和找出單詞的搭配詞組。NWB Tools: 印第安納大學(xué)開(kāi)發(fā)的對大規模知識網(wǎng)絡(luò )進(jìn)行建模、分析和可視化工具. 數據預處理;構建共引、共詞、耦合等多種網(wǎng)絡(luò );可用多種方法進(jìn)行網(wǎng)絡(luò )分析;可進(jìn)行可視化展示.Ucinet NetDraw: Ucinet是社會(huì )網(wǎng)絡(luò )分析工具。
包括網(wǎng)絡(luò )可視化工具Net Draw。用于處理多種關(guān)系數據,可通過(guò)節點(diǎn)屬性對節點(diǎn)的顏色、形狀和大小等進(jìn)行設置。
用于社交網(wǎng)絡(luò )分析和網(wǎng)絡(luò )可視化。Pajek: 來(lái)自斯洛文尼亞的分析大型網(wǎng)絡(luò )的社會(huì )網(wǎng)絡(luò )分析免費軟件。
Pajek基于圖論、網(wǎng)絡(luò )分析和可視化技術(shù),主要用于大型網(wǎng)絡(luò )分解,網(wǎng)絡(luò )關(guān)系展示,科研作者合作網(wǎng)絡(luò )圖譜的繪制。VOSviewer: 荷蘭萊頓大學(xué)開(kāi)發(fā)的文獻可視化分析工具。
使用基于VOS聚類(lèi)技術(shù)技術(shù)實(shí)現知識單元可視化工具。突出特點(diǎn)可視化能力強,適合于大規模樣本數據。
四種視圖瀏覽:標簽視圖、密度視圖、聚類(lèi)視圖和分散視圖。[4]陳悅, 劉則淵, 陳勁等. 科學(xué)知識圖譜的發(fā)展歷程[J]. 科學(xué)學(xué)研究, 2008, (03): 449-460.[5]Shiffrin, R.M., and Katy B?rner. Mapping Knowledge Domains[C]. Proc. Proceedings of the National Academy of Sciences of the United States of America pp. 5183-5185.[6]B?rner, K., Chen, C.和Boyack, K.W. Visualizing knowledge domains[J]. Annual review of information science and technology, 2003, 37, (1): 179-255.[7]CM, C. CiteSpace II: Detecting and visualizing emerging trends and transient patterns in scientific literature[J]. Journal of the American Society for Information Science and Technology, 2006, 57, (3): 359-377.[8]陳悅和劉則淵. 悄然興起的科學(xué)知識圖譜[J]. 科學(xué)學(xué)研究, 2005, (02): 149-154.[9]邱均平. 信息計量學(xué)[M]. (武漢大學(xué)出版社, 2007. 2007).[10]沙勇忠和牛春華. 信息分析[M]. (科學(xué)出版社, 2009. 2009).[11]塞沃爾, 建軍和煦. 鏈接分析: 信息科學(xué)的研究方法[M]. (東南大學(xué)出版社, 2009. 2009).[12]Egghe, L.和Rousseau, R. Introduction to informetrics: Quantitative methods in library, documentation and information science[J]. 1990[13]韓家煒, 坎伯, 裴健等. 數據挖掘: 概念與技術(shù)[M]. (機械工業(yè)出版社, 2007. 2007).[14]Wasserman, S. Social network analysis: Methods and applications[M]. (Cambridge university press, 1994. 1994).[15]Persson, O., R. Danell, J. Wiborg Schneider. How to use Bibexcel for various types of bibliometric analysis[C]. Proc. International Society for Scientometrics and Informetrics., Leuven, Belgium2009 pp. 9–24.[16]Yang, Y., Akers, L., Klose, T.等. Text mining and visualization tools–impressions of emerging capabilities[J]. World Patent Information, 2008, 30, (4): 280-293.[17]B?rner, K., Huang, W., Linnemeier, M.等. Rete-netzwerk-red: analyzing and visualizing scholarly networks 。
聲明:本網(wǎng)站尊重并保護知識產(chǎn)權,根據《信息網(wǎng)絡(luò )傳播權保護條例》,如果我們轉載的作品侵犯了您的權利,請在一個(gè)月內通知我們,我們會(huì )及時(shí)刪除。
蜀ICP備2020033479號-4 Copyright ? 2016 學(xué)習?shū)B(niǎo). 頁(yè)面生成時(shí)間:2.844秒