1樓：喵喵喵喵喵咪
想學習大資料技術，是不是首先要知道大資料技術有哪些呢？也好知道自己未來應該往哪個方向發展，應該重點學習哪些知識？
抽象而言，各種大資料技術無外乎分布式儲存 + 平行計算。具體體現為各種分布式檔案系統和建立在其上的並行運算框架。這些軟體程式都部署在多個相互連通、統一管理的物理或虛擬運算節點之上，形成集群(cluster)。
因此不妨說，雲計算是大資料的基礎。
下面介紹幾種當前比較流行的大資料技術：
1.hadoop
hadoop無疑是當前很知名的大資料技術了。
2003年到2004年間，google發布了關於gfs、mapreduce和bigtable三篇技術**(這幾篇**成為了後來雲計算、大資料領域發展的重要基石)。當時一位因公司倒閉賦閒在家的程式設計師doug cutting根據前兩篇**，開發出了乙個簡化的山寨版gfs – hdfs,以及基於其的mapreduce計算框架，這就是hadoop當初的版本。後來cutting被yahoo僱傭，得以依賴yahoo的資源改進hadoop,並將其貢獻給了apache開源社群。
簡單描述hadoop原理：資料分布式儲存，運算程式被發派到各個資料節點進行分別運算(map)，再將各個節點的運算結果進行合併歸一(reduce)，生成結果。相對於動輒tb級別的資料，計算程式一般在kb – mb的量級，這種移動計算不移動資料的設計節約了大量網路頻寬和時間，並使得運算過程可以充分並行化。
在其誕生後的近10年裡，hadoop憑藉其簡單、易用、高效、免費、社群支援豐富等特徵成為眾多企業雲計算、大資料實施的首選。
2.storm
hadoop雖好，卻有其「死穴」.其一：它的運算模式是批處理。
這對於許多有實時性要求的業務就無法做到很好的支援。因此，twitter推出了他們自己的基於流的運算框架——storm。不同於hadoop一次性處理所有資料並得出統一結果的作業(job)，storm對源源匯入的資料流進行持續不斷的處理，隨時得出增量結果。
3.spark
hadoop的另乙個致命弱點是：它的所有中間結果都需要進行硬碟儲存，i/o消耗巨大，這就使得它很不適合多次迭代的運算。而大多數機器學習演算法，恰恰要求大量迭代運算。
2010年開始，uc berkeley amp lab開始研發分布式運算的中間過程全部記憶體儲存的spark框架，由此在迭代計算上大大提高了效率。也因此成為了hadoop的強有力競爭者。
4.nosql 資料庫
nosql資料庫可以泛指非關係型資料庫，不過一般用來指稱那些建立在分布式檔案系統(例如hdfs)之上，基於key-value對的資料管理系統。
相對於傳統的關係型資料庫，nosql資料庫中儲存的資料無需主鍵和嚴格定義的schema。於是，大量半結構化、非結構化資料可以在未經清洗的情況下直接進行儲存。這一點滿足了處理大量、高速、多樣的大資料的需求。
當前比較流行的nosql資料庫有mongodb,redis,cassandra,hbase等。
nosql並不是沒有sql,而是不僅僅有(not only)sql的意思。為了相容之前許多執行在關係型資料庫上的業務邏輯，有很多在nosql資料庫上執行sql的工具湧現出來，典型的例如hive和pig,它們將使用者的sql語句轉化成mapreduce作業，在hadoop上執行。
大資料產業已進入發展的「快車道」，急需大量優秀的大資料人才作為後盾。能夠在大資料行業崛起的初期進入到這個行業當中來，才有機會成為時代的弄潮兒。
2樓：塵無中心
大資料的關鍵技術
1.分布式儲存系統(hdfs)。2.
mapreduce分布式計算框架。3.yarn資源管理平台。
4.sqoop資料遷移工具。5.
mahout資料探勘演算法庫。6.hbase分布式資料庫。
7.zookeeper分布式協調服務。8.
hive基於hadoop的資料倉儲。9.flume日誌收集工具。
大資料需要掌握哪些技能
3樓：尚矽谷
大資料學什麼
大資料需要掌握的內容包括8個方面，你可以根據這個路線圖的順序學習，選擇培訓機構的時候重點關注機構的口碑，希望你早日學有所成。
4樓：杭州千峰
想學習大資料技術，是不是首先要知道大資料技術有哪些呢？也好知道自己未來應該往哪個方向發展，應該重點學習哪些知識？
抽象而言，各種大資料技術無外乎分布式儲存 + 平行計算。具體體現為各種分布式檔案系統和建立在其上的並行運算框架。這些軟體程式都部署在多個相互連通、統一管理的物理或虛擬運算節點之上，形成集群(cluster)。
因此不妨說，雲計算是大資料的基礎。
下面介紹幾種當前比較流行的大資料技術：
1.hadoop
hadoop無疑是當前很知名的大資料技術了。
2003年到2004年間，google發布了關於gfs、mapreduce和bigtable三篇技術**(這幾篇**成為了後來雲計算、大資料領域發展的重要基石)。當時一位因公司倒閉賦閒在家的程式設計師doug cutting根據前兩篇**，開發出了乙個簡化的山寨版gfs – hdfs,以及基於其的mapreduce計算框架，這就是hadoop當初的版本。後來cutting被yahoo僱傭，得以依賴yahoo的資源改進hadoop,並將其貢獻給了apache開源社群。
簡單描述hadoop原理：資料分布式儲存，運算程式被發派到各個資料節點進行分別運算(map)，再將各個節點的運算結果進行合併歸一(reduce)，生成結果。相對於動輒tb級別的資料，計算程式一般在kb – mb的量級，這種移動計算不移動資料的設計節約了大量網路頻寬和時間，並使得運算過程可以充分並行化。
在其誕生後的近10年裡，hadoop憑藉其簡單、易用、高效、免費、社群支援豐富等特徵成為眾多企業雲計算、大資料實施的首選。
2.storm
hadoop雖好，卻有其「死穴」.其一：它的運算模式是批處理。
這對於許多有實時性要求的業務就無法做到很好的支援。因此，twitter推出了他們自己的基於流的運算框架——storm。不同於hadoop一次性處理所有資料並得出統一結果的作業(job)，storm對源源匯入的資料流進行持續不斷的處理，隨時得出增量結果。
3.spark
hadoop的另乙個致命弱點是：它的所有中間結果都需要進行硬碟儲存，i/o消耗巨大，這就使得它很不適合多次迭代的運算。而大多數機器學習演算法，恰恰要求大量迭代運算。
2010年開始，uc berkeley amp lab開始研發分布式運算的中間過程全部記憶體儲存的spark框架，由此在迭代計算上大大提高了效率。也因此成為了hadoop的強有力競爭者。
4.nosql 資料庫
nosql資料庫可以泛指非關係型資料庫，不過一般用來指稱那些建立在分布式檔案系統(例如hdfs)之上，基於key-value對的資料管理系統。
相對於傳統的關係型資料庫，nosql資料庫中儲存的資料無需主鍵和嚴格定義的schema。於是，大量半結構化、非結構化資料可以在未經清洗的情況下直接進行儲存。這一點滿足了處理大量、高速、多樣的大資料的需求。
當前比較流行的nosql資料庫有mongodb,redis,cassandra,hbase等。
nosql並不是沒有sql,而是不僅僅有(not only)sql的意思。為了相容之前許多執行在關係型資料庫上的業務邏輯，有很多在nosql資料庫上執行sql的工具湧現出來，典型的例如hive和pig,它們將使用者的sql語句轉化成mapreduce作業，在hadoop上執行。
大資料產業已進入發展的「快車道」，急需大量優秀的大資料人才作為後盾。能夠在大資料行業崛起的初期進入到這個行業當中來，才有機會成為時代的弄潮兒。
大資料都需要學什麼？
5樓：楠風吹呀那個吹
大資料技術的學習內容有很多，包括：
基礎階段：linux、docker、kvm、mysql基礎、oracle基礎、mongodb、redis。
hadoop mapreduce hdfs yarn：hadoop：hadoop 概念、版本、歷史，hdfs工作原理，yarn介紹及元件介紹。
6樓：
大資料要學的東西有很多
7樓：尚矽谷
您好，學習大資料有以下幾個方面的內容，按照順序學習就可以了，在學習的方法上就是多思考、多問、多練習，學習就是不斷的重複，熟能生巧，希望你早日學有所成。
8樓：易曉生縁
大資料需要學的東西很多：
基礎階段：linux、docker、kvm、mysql基礎、oracle基礎、mongodb、redis。 hadoop mapreduce hdfs yarn：
hadoop：hadoop 概念、版本、歷史，hdfs工作原理，yarn介紹及元件介紹。
大資料儲存階段：hbase、hive、sqoop。大資料架構設計階段：
flume分布式、zookeeper、kafka。大資料實時計算階段：mahout、spark、storm。
大資料資料採集階段：python、scala。
大資料商業實戰階段：實操企業大資料處理業務場景，分析需求、解決方案實施，綜合技術實戰應用。
大資料有很多專業性的知識，像零基礎在學習的話，大概需要用4-5個月的時間，我是去年在·光環大資料學的，因為是零基礎，所以要更努力一些，付出的時間精力更多一些。
為什麼需要大資料技術？
9樓：茜拉密
企業組織利用相關資料和分析可以幫助它們降低成本、提高效率、開發新產品、做出更明智的業務決策等等。
例如，通過結合大資料和高效能的分析，下面這些對企業有益的情況都可能會發生:
及時解析故障、問題和缺陷的根源，每年可能為企業節省數十億美元。
為成千上萬的快遞車輛規劃實時交通路線，躲避擁堵。分析所有sku，以利潤最大化為目標來定價和清理庫存。
根據客戶的購買習慣，為其推送他可能感興趣的優惠資訊。從大量客戶中快速識別出金牌客戶。
使用點選流分析和資料探勘來規避欺詐行為。
總之，大資料對企業精細運營起到的價值是非常巨大的，可以讓企業在社交平台上的運營更加完善，盡量讓企業能有乙個理想的口碑，並對一些不良的言論做輿情監測等等。
然後根據資料進行產品改進，並且利用大資料還能更好的驅動使用者體驗，促進企業運營目標朝著正確的方向前進，這都是大資料為企業帶來的價值。
學大資料需要什麼學歷，大資料需要什麼學歷才可以學。？
對於學歷這個問題，一般來說，當你沒有任何基礎的時候，能拿得出手的只有學歷，本科生當然競爭不過研究生。但是隨著工作時間久了，你的能力達到了這個職位的要求，學歷就不重要了。尤其是對業務能力要求比較高的資料分析師 資料探勘師這些職位，你的行業知識和業務理解能力在很多情況下比學歷更加重要。對國內就業市場而言...
想培訓大資料，需要什麼基礎，大資料需要培訓多長時間？都學什麼？
大資料 big data 指無法在一定時間範圍內用常規軟體工具進行捕捉 管理和處理的資料集合，是需要新處理模式才能具有更強的決策力 洞察發現力和流程優化能力來適應海量 高增長率和多樣化的資訊資產。在維克托 邁爾 捨恩伯格及肯尼斯 庫克耶編寫的 大資料時代 2 中大資料指不用隨機分析法 抽樣調查 這樣...
大資料需要什麼學歷才可以學，大資料應該怎麼學？有哪些要求？
大資料時代的到來，簡單的說是海量資料同完美計算能力結合的結果。確切的說是移動網際網路 物聯網產生了海量的資料，大資料計算技術完美地解決了海量資料的收集 儲存 計算 分析的問題。大資料時代開啟人類社會利用資料價值的另乙個時代。大資料行業從業者的狀態是怎樣的呢？讓我們走進來看看吧！人才市場需求明顯增大，...
好程式設計師學大資料需要什麼條件呢，學大資料需要什麼條件嗎？
大 專 及 以 上 學 歷 還有一定 的 基 礎 通 過 考核 才 能 入班 學習的呢 大資料需要以下六類人才 一 大資料系統研發工程師。這一專業人才負責大資料系統研發，包括大規模非結構化資料業務模型構建 大資料儲存 資料庫構設 優化資料庫構架 解決資料庫中心設計等，同時，還要負責資料集群的日常運作...
你好，平安普惠的追加貸款需要什麼資料
據悉，申請平安銀行貸款後，並非所有人都有資格辦理追加貸款 未按時足額還款的借款人就不能追加貸款 即使您滿足相關條件，但是在追加貸款的時候，銀行還會考察其資產實力 資信情況等。另外，個人不能追加貸款業務，一般由平安銀行客服人員打 通知借款人後才能辦理。而且，如果個人不在平安銀行的追加名單上，也不能追加...