時間:2020-06-16來源:lk瀏覽數:298次
在當今的大數據時代,不僅IT行業的人們需要了解與大數據相關的知識,而且傳統行業的從業者和普通大學生也應了解某些大數據知識。新的基礎架構計劃未來,大數據技術將開始得到全面應用,大數據還將重塑整個產業結構。
要理解大數據,我們必須首先從大數據的概念開始。與人工智能的概念不同,大數據的概念相對清晰,大數據的技術體系也已經成熟。為了解釋大數據的概念,您可以從數據本身的特征開始,然后從方案,應用和行業逐步擴展。
大數據本身的特點通常集中在五個方面,即數據量,數據結構多樣性,數據價值密度,數據增長速度和可信度對這五個維度的理解和認識是理解大數據概念的關鍵。當然,隨著大數據技術的發展及其在行業中的應用,數據本身的規模也在一定程度上得到了擴展,而這些擴展本身也是對大數據概念的一種豐富和改進。而大數據分析的特點和以上五個方面也是密不可分的。
數據量本身就是聚合的概念。不是數據量大的數據被稱為大數據,傳統信息系統生成的“小數據”也是大數據分析的重要組成部分,這點必須清楚。當前,從大數據的數據源的角度來看,它主要集中在互聯網,物聯網和傳統信息系統三個渠道。當前物聯網數據的比例相對較大。相信在5G時代,物聯網仍將是大數據的主要數據源。
與創新信息系統(ERP)中的數據不同,大數據的數據類型非常復雜,包括結構化數據,非結構化數據和半結構化數據,這對傳統數據分析技術提出了巨大挑戰,這也是大數據技術興起的重要原因。在工業互聯網時代,大數據數據結構的多樣性將得到進一步體現,這也給數據價值過程帶來了新的挑戰。
與傳統信息系統相比,大數據中的數據價值密度相對較低,這就需要更快,更方便的方式來完成數據值提取過程,這也是當前大數據平臺所關注的核心競爭力之一。實際上,早期Hadoop和Spark平臺之所以能夠脫穎而出的重要原因是它們的數據處理(排序)速度相對較快。
通常傳統信息系統的數據增量是可以預測的,或者增長率是可控的,但是在大數據時代,數據增長率已經大大超過了傳統數據,處理能力已經超過自身的極限。數據增長是一個相對的概念。與消費互聯網相比,工業互聯網帶來的數據增長可能更加客觀,因此工業互聯網時代將進一步打開大數據的價值空間。
大數據時代帶來的一個重要副作用是,很難區分真假數據,這也是當前大數據技術必須重點解決的問題之一。從當前大型Internet平臺采用的方法來看,它通常是技術和管理的結合。例如,通過對用戶進行身份驗證,可以解決某些數據的真實性(專業性)問題。
億信華辰大數據分析平臺表明,數據價值密度通常是衡量數據價值的重要基礎。與傳統信息系統相比,大數據中的數據值密度較低,需要更快,更方便。完成數據的價值提取過程,這也是當前大數據平臺的核心功能之一。
發布時間:2023-09-26瀏覽量:79次
發布時間:2022-06-28瀏覽量:971次
發布時間:2022-06-15瀏覽量:263次
發布時間:2022-06-14瀏覽量:544次
發布時間:2022-06-14瀏覽量:755次