bigdata術語

A

聚合(Aggregation)?– 搜索、合并、顯示數據的過程

算法(Algorithms)?– 可以完成某種數據分析的數學公式

分析法(Analytics)?– 用于發現數據的內在涵義

異常檢測(Anomaly detection)?– 在數據集中搜索與預期模式或行為不匹配的數據項。除了“Anomalies”,用來表示異常的詞有以下幾種:outliers, exceptions, surprises, contaminants.他們通??商峁╆P鍵的可執行信息

匿名化(Anonymization)?– 使數據匿名,即移除所有與個人隱私相關的數據

應用(Application)?– 實現某種特定功能的計算機軟件

人工智能(Artificial Intelligence)?– 研發智能機器和智能軟件,這些智能設備能夠感知周遭的環境,并根據要求作出相應的反應,甚至能自我學習

B

行為分析法(Behavioural Analytics)?– 這種分析法是根據用戶的行為如“怎么做”,“為什么這么做”,以及“做了什么”來得出結論,而不是僅僅針對人物和時間的一門分析學科,它著眼于數據中的人性化模式

大數據科學家(Big Data Scientist)?– 能夠設計大數據算法使得大數據變得有用的人

大數據創業公司(Big data startup)?– 指研發最新大數據技術的新興公司

生物測定術(Biometrics)?– 根據個人的特征進行身份識別

B字節 (BB: Brontobytes)?– 約等于1000 YB(Yottabytes),相當于未來數字化宇宙的大小。1 B字節包含了27個0!

商業智能(Business Intelligence)?– 是一系列理論、方法學和過程,使得數據更容易被理解

C

分類分析(Classification analysis)?– 從數據中獲得重要的相關性信息的系統化過程; 這類數據也被稱為元數據(meta data),是描述數據的數據

云計算(Cloud computing)?– 構建在網絡上的分布式計算系統,數據是存儲于機房外的(即云端)

聚類分析(Clustering analysis)?– 它是將相似的對象聚合在一起,每類相似的對象組合成一個聚類(也叫作簇)的過程。這種分析方法的目的在于分析數據間的差異和相似性

冷數據存儲(Cold data storage)?– 在低功耗服務器上存儲那些幾乎不被使用的舊數據。但這些數據檢索起來將會很耗時

對比分析(Comparative analysis)?– 在非常大的數據集中進行模式匹配時,進行一步步的對比和計算過程得到分析結果

復雜結構的數據(Complex structured data)?– 由兩個或多個復雜而相互關聯部分組成的數據,這類數據不能簡單地由結構化查詢語言或工具(SQL)解析

計算機產生的數據(Computer generated data)?– 如日志文件這類由計算機生成的數據

并發(Concurrency)?– 同時執行多個任務或運行多個進程

相關性分析(Correlation analysis)?– 是一種數據分析方法,用于分析變量之間是否存在正相關,或者負相關

客戶關系管理(CRM: Customer Relationship Management)?– 用于管理銷售、業務過程的一種技術,大數據將影響公司的客戶關系管理的策略

D

儀表板(Dashboard)?– 使用算法分析數據,并將結果用圖表方式顯示于儀表板中

數據聚合工具(Data aggregation tools)?– 將分散于眾多數據源的數據轉化成一個全新數據源的過程

數據分析師(Data analyst)?– 從事數據分析、建模、清理、處理的專業人員

數據庫(Database)?– 一個以某種特定的技術來存儲數據集合的倉庫

數據庫即服務(Database-as-a-Service)?– 部署在云端的數據庫,即用即付,例如亞馬遜云服務(AWS: Amazon Web Services)

數據庫管理系統(DBMS: Database Management System)?– 收集、存儲數據,并提供數據的訪問

數據中心(Data centre)?– 一個實體地點,放置了用來存儲數據的服務器

數據清洗(Data cleansing)?– 對數據進行重新審查和校驗的過程,目的在于刪除重復信息、糾正存在的錯誤,并提供數據一致性

數據管理員(Data custodian)?– 負責維護數據存儲所需技術環境的專業技術人員

數據道德準則(Data ethical guidelines)?– 這些準則有助于組織機構使其數據透明化,保證數據的簡潔、安全及隱私

數據訂閱(Data feed)?– 一種數據流,例如Twitter訂閱和RSS

數據集市(Data marketplace)?– 進行數據集買賣的在線交易場所

數據挖掘(Data mining)?– 從數據集中發掘特定模式或信息的過程

數據建模(Data modelling)?– 使用數據建模技術來分析數據對象,以此洞悉數據的內在涵義

數據集(Data set)?– 大量數據的集合

數據虛擬化(Data virtualization)?– 數據整合的過程,以此獲得更多的數據信息,這個過程通常會引入其他技術,例如數據庫,應用程序,文件系統,網頁技術,大數據技術等等

去身份識別(De-identification)?– 也稱為匿名化(anonymization),確保個人不會通過數據被識別

判別分析(Discriminant analysis)?– 將數據分類;按不同的分類方式,可將數據分配到不同的群組,類別或者目錄。是一種統計分析法,可以對數據中某些群組或集群的已知信息進行分析,并從中獲取分類規則。

分布式文件系統(Distributed File System)?– 提供簡化的,高可用的方式來存儲、分析、處理數據的系統

文件存貯數據庫(Document Store Databases)?– 又稱為文檔數據庫(document-oriented database), 為存儲、管理、恢復文檔數據而專門設計的數據庫,這類文檔數據也稱為半結構化數據

E

探索性分析(Exploratory analysis)?– 在沒有標準的流程或方法的情況下從數據中發掘模式。是一種發掘數據和數據集主要特性的一種方法

E字節(EB: Exabytes)?– 約等于1000 PB(petabytes), 約等于1百萬 GB。如今全球每天所制造的新信息量大約為1 EB

提取-轉換-加載(ETL: Extract, Transform and Load)?– 是一種用于數據庫或者數據倉庫的處理過程。即從各種不同的數據源提取(E)數據,并轉換(T)成能滿足業務需要的數據,最后將其加載(L)到數據庫

F

故障切換(Failover)?– 當系統中某個服務器發生故障時,能自動地將運行任務切換到另一個可用服務器或節點上

容錯設計(Fault-tolerant design)?– 一個支持容錯設計的系統應該能夠做到當某一部分出現故障也能繼續運行

G

游戲化(Gamification)?– 在其他非游戲領域中運用游戲的思維和機制,這種方法可以以一種十分友好的方式進行數據的創建和偵測,非常有效。

圖形數據庫(Graph Databases)?– 運用圖形結構(例如,一組有限的有序對,或者某種實體)來存儲數據,這種圖形存儲結構包括邊緣、屬性和節點。它提供了相鄰節點間的自由索引功能,也就是說,數據庫中每個元素間都與其他相鄰元素直接關聯。

網格計算(Grid computing)?– 將許多分布在不同地點的計算機連接在一起,用以處理某個特定問題,通常是通過云將計算機相連在一起。

H

Hadoop?– 一個開源的分布式系統基礎框架,可用于開發分布式程序,進行大數據的運算與存儲。

Hadoop數據庫(HBase)?– 一個開源的、非關系型、分布式數據庫,與Hadoop框架共同使用

HDFS?– Hadoop分布式文件系統(Hadoop Distributed File System);是一個被設計成適合運行在通用硬件(commodity hardware)上的分布式文件系統

高性能計算(HPC: High-Performance-Computing)?– 使用超級計算機來解決極其復雜的計算問題

I

內存數據庫(IMDB: In-memory)?– 一種數據庫管理系統,與普通數據庫管理系統不同之處在于,它用主存來存儲數據,而非硬盤。其特點在于能高速地進行數據的處理和存取。

物聯網(Internet of Things)?– 在普通的設備中裝上傳感器,使這些設備能夠在任何時間任何地點與網絡相連。

J

法律上的數據一致性(Juridical data compliance)?– 當你使用的云計算解決方案,將你的數據存儲于不同的國家或不同的大陸時,就會與這個概念扯上關系了。你需要留意這些存儲在不同國家的數據是否符合當地的法律。

K

鍵值數據庫(KeyValue Databases)?– 數據的存儲方式是使用一個特定的鍵,指向一個特定的數據記錄,這種方式使得數據的查找更加方便快捷。鍵值數據庫中所存的數據通常為編程語言中基本數據類型的數據。

L

延遲(Latency)?– 表示系統時間的延遲

遺留系統(Legacy system)?– 是一種舊的應用程序,或是舊的技術,或是舊的計算系統,現在已經不再支持了。

負載均衡(Load balancing)?– 將工作量分配到多臺電腦或服務器上,以獲得最優結果和最大的系統利用率。

位置信息(Location data)?– GPS信息,即地理位置信息。

日志文件(Log file)?– 由計算機系統自動生成的文件,記錄系統的運行過程。

M

M2M數據(Machine2Machine data)?– 兩臺或多臺機器間交流與傳輸的內容

機器數據(Machine data)?– 由傳感器或算法在機器上產生的數據

機器學習(Machine learning)?– 人工智能的一部分,指的是機器能夠從它們所完成的任務中進行自我學習,通過長期的累積實現自我改進。

MapReduce?– 是處理大規模數據的一種軟件框架(Map: 映射,Reduce: 歸納)。

大規模并行處理(MPP: Massively Parallel Processing)?– 同時使用多個處理器(或多臺計算機)處理同一個計算任務。

元數據(Metadata)?– 被稱為描述數據的數據,即描述數據數據屬性(數據是什么)的信息。

MongoDB?– 一種開源的非關系型數據庫(NoSQL database)

多維數據庫(Multi-Dimensional Databases)?– 用于優化數據聯機分析處理(OLAP)程序,優化數據倉庫的一種數據庫。

多值數據庫(MultiValue Databases)?– 是一種非關系型數據庫(NoSQL), 一種特殊的多維數據庫:能處理3個維度的數據。主要針對非常長的字符串,能夠完美地處理HTML和XML中的字串。

N

自然語言處理(Natural Language Processing) – 是計算機科學的一個分支領域,它研究如何實現計算機與人類語言之間的交互。

網絡分析(Network analysis)?– 分析網絡或圖論中節點間的關系,即分析網絡中節點間的連接和強度關系。

NewSQL –?一個優雅的、定義良好的數據庫系統,比SQL更易學習和使用,比NoSQL更晚提出的新型數據庫

NoSQL?– 顧名思義,就是“不使用SQL”的數據庫。這類數據庫泛指傳統關系型數據庫以外的其他類型的數據庫。這類數據庫有更強的一致性,能處理超大規模和高并發的數據。

O

對象數據庫(Object Databases)?– (也稱為面象對象數據庫)以對象的形式存儲數據,用于面向對象編程。它不同于關系型數據庫和圖形數據庫,大部分對象數據庫都提供一種查詢語言,允許使用聲明式編程(declarative programming)訪問對象.

基于對象圖像分析(Object-based Image Analysis)?– 數字圖像分析方法是對每一個像素的數據進行分析,而基于對象的圖像分析方法則只分析相關像素的數據,這些相關像素被稱為對象或圖像對象。

操作型數據庫(Operational Databases)?– 這類數據庫可以完成一個組織機構的常規操作,對商業運營非常重要,一般使用在線事務處理,允許用戶訪問 、收集、檢索公司內部的具體信息。

優化分析(Optimization analysis)?– 在產品設計周期依靠算法來實現的優化過程,在這一過程中,公司可以設計各種各樣的產品并測試這些產品是否滿足預設值。

本體論(Ontology)?– 表示知識本體,用于定義一個領域中的概念集及概念之間的關系的一種哲學思想。(譯者注: 數據被提高到哲學的高度,被賦予了世界本體的意義,成為一個獨立的客觀數據世界)

異常值檢測(Outlier detection)?– 異常值是指嚴重偏離一個數據集或一個數據組合總平均值的對象,該對象與數據集中的其他它相去甚遠,因此,異常值的出現意味著系統發生問題,需要對此另加分析。

P

模式識別(Pattern Recognition)?– 通過算法來識別數據中的模式,并對同一數據源中的新數據作出預測

P字節(PB: Petabytes)?– 約等于1000 TB(terabytes), 約等于1百萬 GB (gigabytes)。歐洲核子研究中心(CERN)大型強子對撞機每秒產生的粒子個數就約為1 PB

平臺即服務(PaaS: Platform-as-a-Service)?– 為云計算解決方案提供所有必需的基礎平臺的一種服務

預測分析(Predictive analysis)?– 大數據分析方法中最有價值的一種分析方法,這種方法有助于預測個人未來(近期)的行為,例如某人很可能會買某些商品,可能會訪問某些網站,做某些事情或者產生某種行為。通過使用各種不同的數據集,例如歷史數據,事務數據,社交數據,或者客戶的個人信息數據,來識別風險和機遇

隱私(Privacy)?– 把具有可識別出個人信息的數據與其他數據分離開,以確保用戶隱私。

公共數據(Public data)?– 由公共基金創建的公共信息或公共數據集。

Q

數字化自我(Quantified Self)?– 使用應用程序跟蹤用戶一天的一舉一動,從而更好地理解其相關的行為

查詢(Query)?– 查找某個問題答案的相關信息

R

再識別(Re-identification)?– 將多個數據集合并在一起,從匿名化的數據中識別出個人信息

回歸分析(Regression analysis)?– 確定兩個變量間的依賴關系。這種方法假設兩個變量之間存在單向的因果關系(譯者注:自變量,因變量,二者不可互換)

RFID – 射頻識別;?這種識別技術使用一種無線非接觸式射頻電磁場傳感器來傳輸數據

實時數據(Real-time data)?– 指在幾毫秒內被創建、處理、存儲、分析并顯示的數據

推薦引擎(Recommendation engine)?– 推薦引擎算法根據用戶之前的購買行為或其他購買行為向用戶推薦某種產品

路徑分析(Routing analysis)?– 針對某種運輸方法通過使用多種不同的變量分析從而找到一條最優路徑,以達到降低燃料費用,提高效率的目的

S

半結構化數據(Semi-structured data)?– 半結構化數據并不具有結構化數據嚴格的存儲結構,但它可以使用標簽或其他形式的標記方式以保證數據的層次結構

情感分析(Sentiment Analysis)?– 通過算法分析出人們是如何看待某些話題

信號分析(Signal analysis)?– 指通過度量隨時間或空間變化的物理量來分析產品的性能。特別是使用傳感器數據。

相似性搜索(Similarity searches)?– 在數據庫中查詢最相似的對象,這里所說的數據對象可以是任意類型的數據

仿真分析(Simulation analysis)?– 仿真是指模擬真實環境中進程或系統的操作。仿真分析可以在仿真時考慮多種不同的變量,確保產品性能達到最優

智能網格(Smart grid)?– 是指在能源網中使用傳感器實時監控其運行狀態,有助于提高效率

軟件即服務(SaaS: Software-as-a-Service)?– 基于Web的通過瀏覽器使用的一種應用軟件

空間分析(Spatial analysis)?– 空間分析法分析地理信息或拓撲信息這類空間數據,從中得出分布在地理空間中的數據的模式和規律

SQL?– 在關系型數據庫中,用于檢索數據的一種編程語言

結構化數據(Structured data)?-可以組織成行列結構,可識別的數據。這類數據通常是一條記錄,或者一個文件,或者是被正確標記過的數據中的某一個字段,并且可以被精確地定位到。

T

T字節(TB: Terabytes)?– 約等于1000 GB(gigabytes)。1 TB容量可以存儲約300小時的高清視頻。

時序分析(Time series analysis)?– 分析在重復測量時間里獲得的定義良好的數據。分析的數據必須是良好定義的,并且要取自相同時間間隔的連續時間點。

拓撲數據分析(Topological Data Analysis)?– 拓撲數據分析主要關注三點:復合數據模型、集群的識別、以及數據的統計學意義。

交易數據(Transactional data)?– 隨時間變化的動態數據

透明性(Transparency)?– 消費者想要知道他們的數據有什么作用、被作何處理,而組織機構則把這些信息都透明化了。

U

非結構化數據(Un-structured data)?– 非結構化數據一般被認為是大量純文本數據,其中還可能包含日期,數字和實例。

V

價值(Value)?– (譯者注:大數據4V特點之一) 所有可用的數據,能為組織機構、社會、消費者創造出巨大的價值。這意味著各大企業及整個產業都將從大數據中獲益。

可變性(Variability)?– 也就是說,數據的含義總是在(快速)變化的。例如,一個詞在相同的推文中可以有完全不同的意思。

多樣(Variety)?– (譯者注:大數據4V特點之一) 數據總是以各種不同的形式呈現,如結構化數據,半結構化數據,非結構化數據,甚至還有復雜結構化數據

高速(Velocity)?– (譯者注:大數據4V特點之一) 在大數據時代,數據的創建、存儲、分析、虛擬化都要求被高速處理。

真實性(Veracity)?– 組織機構需要確保數據的真實性,才能保證數據分析的正確性。因此,真實性(Veracity)是指數據的正確性。

可視化(Visualization)?– 只有正確的可視化,原始數據才可被投入使用。這里的“可視化”并非普通的圖型或餅圖,可視化指是的復雜的圖表,圖表中包含大量的數據信息,但可以被很容易地理解和閱讀。

大量(Volume)?– (譯者注:大數據4V特點之一) 指數據量,范圍從Megabytes至Brontobytes

W

天氣數據(Weather data)?– 是一種重要的開放公共數據來源,如果與其他數據來源合成在一起,可以為相關組織機構提供深入分析的依據

X

XML數據庫(XML Databases) –?XML數據庫是一種以XML格式存儲數據的數據庫。XML數據庫通常與面向文檔型數據庫相關聯,開發人員可以對XML數據庫的數據進行查詢,導出以及按指定的格式序列化

Y

Y字節 (Yottabytes)?– 約等于1000 ZB (Zettabytes), 約等于250萬億張DVD的數據容量。現今,整個數字化宇宙的數據量為1 YB, 并且將每18年翻一番。

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 230,578評論 6 544
  • 序言:濱河連續發生了三起死亡事件,死亡現場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發現死者居然都...
    沈念sama閱讀 99,701評論 3 429
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事?!?“怎么了?”我有些...
    開封第一講書人閱讀 178,691評論 0 383
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 63,974評論 1 318
  • 正文 為了忘掉前任,我火速辦了婚禮,結果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 72,694評論 6 413
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發上,一...
    開封第一講書人閱讀 56,026評論 1 329
  • 那天,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛,可吹牛的內容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 44,015評論 3 450
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 43,193評論 0 290
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當地人在樹林里發現了一具尸體,經...
    沈念sama閱讀 49,719評論 1 336
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 41,442評論 3 360
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發現自己被綠了。 大學時的朋友給我發了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 43,668評論 1 374
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 39,151評論 5 365
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質發生泄漏。R本人自食惡果不足惜,卻給世界環境...
    茶點故事閱讀 44,846評論 3 351
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 35,255評論 0 28
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 36,592評論 1 295
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 52,394評論 3 400
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 48,635評論 2 380

推薦閱讀更多精彩內容