導航:首頁 > 數據處理 > 浙江移動大數據集群有多少伺服器

浙江移動大數據集群有多少伺服器

發布時間:2023-02-02 06:01:31

Ⅰ 前置採集伺服器跟大數據平台集群伺服器是一個東西嗎

前置採集伺服器跟大數據平台集群伺服器是一個東西。項目前置伺服器其實就是數據採集伺服器,因為核心業務伺服器承擔對外提供服務和計算的作用,數據採集來之後比較多比較快,IO會吃不住,而造成伺服器死機或者網路堵塞,因此誕生了這么個東西,配置足夠強大,內存很大,多核CPU,或者多網口接入,這個前置伺服器不要。

Ⅱ 伺服器有哪幾種

撇開拗口的專業術語,根據我的學習和理解,試著回答一下。根據伺服器的分類,大致有獨立伺服器(即所謂的物理伺服器)、虛擬主機、虛擬專用伺服器VPS、雲伺服器這幾種。

1、物理伺服器。這個就是真實看得見的,是一台獨立而完整的電腦,有CPU、內存、硬碟等,就好比你自己的家,有客廳、卧室、衛生間等,你擁有獨立的自主權,別人是無法使用的。
2、虛擬主機。這本身也是一台獨立的伺服器,不同的是用虛擬軟體虛擬出多個看似獨立的空間供你使用,但CPU、內存這些核心還是共用的,每一個虛擬用戶的行為會影響整個伺服器的性能,你也無法控制伺服器。這就好比集體寢室,雖然你有自己的床位,但是衛生間是公用的,門鎖由寢室管理員控制,他一鎖門你就無法進寢室。這樣的集體宿舍一來你沒有隱私權,二來容易造成擁擠和互相干擾,三來你的控制許可權很低。
3、虛擬專用伺服器(VPS)。這個也是一台獨立 的伺服器,它是對虛擬主機的一種改進,雖然CPU、內存這些核心的東西表面上來看還是獨立的,但應用更先進的虛擬技術把這些東西分成獨立的小部分供你使用。這就好比集體宿舍的床位,現在給每個床位都用牆圍起來分成一個個小的單位,大衛生間也進行造成,把原來數量眾多的蹲位分成一個個獨立的蹲位分派給每個人,供獨立使用,別人無法使用。這樣改造後你自己獨立的空間可以隨你的想法布置,你的門鎖也由你自己控制,衛生間也不允許別人使用,人與人之間也不互相干擾。——雖然集體宿舍的整體空間並未發生變化,但你的自主權增強了,干你自己想乾的事,比如安裝操作系統(個性布置)等。
4、雲伺服器。這個是一個個獨立伺服器的集群,不是單個的物理伺服器,它們之間通過網路技術連起來形成一台超級計算機,但這時候這些獨立的伺服器就有了具體的分工,比如有的是存儲伺服器,有的是計算伺服器,有的是網路管理伺服器,有的是內容分發伺服器等等,也就是把一台物理伺服器要完成的計算、處理、分發按照功能分成不同的物理器,你搞計算的只負責計算,我搞存儲的只負責存儲,我們之間是連通的,你處理需要數據從我這里來拿。還有,雲伺服器的備份功能相當強大,因為是集群。再打個比喻:把連片的所有大樓連通起來,但每棟大樓的功能不同,比如可以建一個只有宿舍的宿舍樓,再建一個只有衛生間的衛生樓,你從享有獨立自主權的宿舍通過大樓之間的通道去上你自己的衛生間。但假如你的衛生間出現問題怎麼辦,很簡單,把所有樓層都搞成活動的,通道還是那些通道,但是這個通道的盡頭已經移動到另一個衛生間了,裡面還保持著你原來的物品,你自己感覺不到變化。(這個比喻不太恰當,如果比成上飛機時的登機口和廊橋以及相同型號的飛機可能更容易理)
綜上所述,可以看出它們是遞進關系,技術先進程度也是遞進的。

Ⅲ java搭建分布式集群項目大概需要多少台伺服器

超過一台都可以叫集群,只有一台也可以算分布式,需要多少台伺服器,主要看你的項目有多少模塊,需要多高的性能。沒有什麼硬性要求,不用糾結

Ⅳ 中國十大IDC數據機房有哪些

要說機房設施,環境,還是北京的機房好,但大城市資源緊張,價格貴。還是鄭州雙線機房這邊的性價比比較好,帶寬也充足。

Ⅳ 技術落地性成大數據競爭賽點,鯤鵬大數據解決方案憑何領先

文 | 曾響鈴

來源 | 科技 向令說(xiangling0815)

新基建浪潮下,作為底層支撐力量的數據與計算正變得越來越重要。

最近,由中國大數據與智能計算產業聯盟主辦,以「新算力 新基建 新經濟」為主題的第二屆中國超級算力大會ChinaSC在北京召開,包括國內外院士、知名學者和產業大咖在內的600多人參加,探討了超級計算、新基建、雲計算、大數據、人工智慧、區塊鏈等前沿技術進展。

這個獎項的頒出,官方給出的標準是,「能夠把當前的各種技術有機的整合在一起,以滿足不同應用場景下的各種綜合的軟硬體及系統方案,集科學性、先進性、穩定性、經濟性等眾多實際指標於一身,是技術轉變為實際應用的關鍵環節。」

顯然,這個權威獎項最關心的,是大數據解決方案在推動技術向實際應用轉變的能力,而這也正是當下市場環境對大數據的核心需求。筆者嘗試拆解鯤鵬大數據解決方案從宏觀到操作層面的布局,希望能給予相關從業者這方面的行業借鑒。

技術競賽不停, 但大數據需求轉向應用落地

數據的價值越來越明顯,更好地釋放數據價值的技術在不斷演化,但是,隨著更多政企組織開始著手利用大數據能力幫助現實業務提升,其需求也開始更多傾向於技術能否更好地實現應用落地,大數據解決方案正是為此而生。

以鯤鵬為案例,在推動技術落地的過程中,其大數據解決方案表現出符合時代需要的三大特徵,讓它在新趨勢下占據領先優勢,受到客戶廣泛歡迎並獲得ChinaSC權威認可。

1、超高性能仍然是應用落地的最有力支撐

大數據解決方案要推動技術實現各種場景的落地,其前提和支撐,是底層軟硬體性能本身要足夠強悍,否則,再完善和深度的解決方案,沒有性能支撐也只能是空中樓閣。

而也只有性能足夠強悍,在應用落地階段才能夠盡可能去滿足客戶各類數據價值需求。

得益於底層軟硬體能力的深度開發,鯤鵬大數據解決方案就擁有超高性能,為應用做好了充分的准備以及支撐。

例如,硬體方面,採用自主研發高性能鯤鵬920處理器,軟體方面,則擁有在大數據場景下獲得倍級性能提升的獨創IO智能預取和Spark機器學習&圖增強演算法。

以鯤鵬與浙江移動的合作為例,2019年,浙江移動相繼完成了IT雲鯤鵬伺服器測試,營業廳前台系統、CRM、計費、大數據、CDN等系統的驗證及上線商用。這其中,浙江移動的CRM&BOSS系統在鯤鵬大數據方案支撐下,整體得到了較大提升,在規模承載網路運營支撐業務的情況下,該系統現在已經穩定運行一年。

目前,浙江移動圍繞網路雲,IT雲和移動雲,已經打造了全球首個運營商領域ICT全場景樣板點。

2、全棧方案才能推動技術全面落地

解決方案本身並不是一種具體的技術,其價值在於各種技術的有效融匯,作為統一的輸出方式面向政企客戶。而在政企客戶需求日益加深的情況下,盡可能滿足多種場景、多種技術訴求的解決方案,就必須建立一套盡可能完善的全棧體系,將各種技術有機地、系統地、全面地整合在一起。

這正是華為鯤鵬大數據解決方案的體系構成,其基於鯤鵬處理器,構建了端到端打通硬體、操作系統、中間件、大數據軟體的全棧體系,並對應進行了全棧性能優化,推動各類技術匯聚成高性能解決方案:

可以看到,這套全棧體系,一方面通過有機整合,能夠較為容易地同時滿足科學性、先進性、穩定性、經濟性等需求(例如,加速特性和大數據組件能夠幫助方案更有效率同時成本更低);另一方面,作為全面、完整、一體化的信息化解決方案,也更容易去適應政府、金融、電信、互聯網、大企業等不同行業應用需求。

從技術到應用落地,「全棧」成為重要的中間轉換環節,不但「無損」,而且「增益」。

3、符合政企個性化需求讓技術落地更具現實價值

在最終面向單個客戶落地時,大數據解決方案還需要真正貼合這個客戶的實際需要,這是從技術到應用落地的「臨門一腳」,畢竟,不論性能如何強悍,全棧體系如何完善靈活,落實到客戶頭上,最終還是需要符合業務實際,產生現實價值。

既要有能力,更需要契合,鯤鵬大數據解決方案就是這么做的。

2019年,江蘇省基於鯤鵬架構打造了全國首個省區市縣三級政務大數據,未來將有越來越多的政務系統可以由自主可靠的鯤鵬計算平台來承載;

在廣西,區內首個鯤鵬產業生態雲項目——「壯美廣西·玉林政務雲(鯤鵬雲)」已於不久前上線,這是該市全面推廣應用廣西數字政務一體化平台的體現,而其推出的廣西首個市級公共數據開放管理辦法,就與鯤鵬的大數據解決方案緊密相關;

目光轉到浙江,在鯤鵬生態落子浙江的過程中,浙江推動形成「用鯤鵬」的共識,城市被當成鯤鵬生態的「試驗場」,杭州市政務雲已經選用鯤鵬作為算力底座,基於鯤鵬技術架構的解決方案和應用在政府服務場景中得到廣泛應用。

總得看來,僅有高高在上的技術而無法產生實際價值的大數據玩法已經行不通,鯤鵬大數據解決方案跨越技術與應用的鴻溝,已經在眾多行業、場景和企業中實現落地。

電信行業三巨頭中,中國移動已實現鯤鵬大數據解決方案規模商用,中國電信則基於鯤鵬打造了天翼雲,中國聯通則基於鯤鵬構建了天宮IT系統;政務方面,北京、廣東、江蘇、浙江、廣西等政務雲都出現鯤鵬身影,當下其已經成為首選技術路線;在金融行業,鯤鵬正在幫助銀行系統加速完成國產化。

可以說,鯤鵬大數據解決方案有力推動了中國數字經濟發展,尤其是信息技術應用創新的落地。

領先優勢下, 鯤鵬三個角度出發為大數據技術落地「鋪路」

1、走得更穩——回應數字時代重要的安全關切

因此,鯤鵬大數據解決方案在安全方面一直加大投入,最典型的,是在底層硬體而非軟體層面進行安全保障——鯤鵬920處理器內置硬體加速器、業界首創支持國密演算法加速,這種CPU內置加速模塊的做法,被稱作「內生安全」,配合國密演算法在技術上更為安全。

而與通常的大數據解決方案為了保證安全不得不讓渡較多的性能隨時監控系統運行不同,華為鯤鵬大數據解決方案內生安全的做法,做到了加密對業務性能的損耗低於5%——既解決安全痛點問題,也解決「為了安全需要」本身導致的痛點問題。

2、走得更順——用兼容性保護既有數據軟硬體投資

前文提到政務雲大數據解決方案中,與現有的伺服器的混合部署,這其中有一個十分重要的兼容性做法——由於鯤鵬大數據解決方案建立在鯤鵬處理器基礎之上,而很多政企組織原有的軟硬體投資都基於X86架構,所以鯤鵬要讓技術的應用落地走得更順,還需要在技術上完成對X86在部署層面的兼容,這樣還能保護政企客戶現有的數字化投資。

可以看到,當下的鯤鵬方案已經支持大數據組件TaiShan伺服器與其他架構伺服器混合部署。

以江蘇電信為例,去年7月,其宣布成功上線全球首個基於鯤鵬處理器的運營商大數據平台。作為核心的業務系統,該大數據平台基於鯤鵬處理器的華為TaiShan伺服器和開源Hadoop軟體構建,承載著江蘇電信所有生產系統的運行數據、存儲及分析:

在項目進行過程中,雙方攜手完成基於鯤鵬處理器的開源Hadoop源代碼編譯,讓關鍵的大數據業務組件在華為TaiShan伺服器上的成功部署和運行,在原有集群上實現了傳統架構伺服器和TaiShan伺服器融合部署。

這種兼容的做法,有效結合了江蘇電信大數據業務特點和未來演進趨勢,且充分發揮鯤鵬處理器的性能,提高了數據存儲、計算等資源的使用效率。

3、走得更寬——生態開放才能讓大數據擁有內生動力

鯤鵬生態的主要推動者華為一直強調的理念是「硬體開放、軟體開源、使能合作夥伴」,在大數據解決方案中,這種理念同樣得到了應用。

例如,在鯤鵬全棧方案中,頂層大數據平台就支持華為自研的FusionInsight大數據平台以及開源Apache、開源HDP/CDH、星環大數據平台,可以有效對接各類場景需要。今年8月,星環 科技 就發布了基於鯤鵬的大數據平台軟硬體聯合解決方案,由星環 科技 的TDH大數據平台提供軟體層面優異的功能,由鯤鵬晶元提供硬體層面強大的性能,擁有極致性能、平滑遷移、豐富的場景支持以及快速部署多重優勢,為行業創造價值。

此外,鯤鵬主導的數據虛擬化引擎openLooKeng開源,就支持跨數據格式、跨數據源、跨數據中心的海量分析,最終幫助方案的性能大幅度提升,典型的如北明數據資產管理平台V4.0就基於openLooKeng技術,解決了數據資產管理數據冗雜、標准不一、難以管理等痛點問題,為企業守護和挖掘數據的價值。

開放的生態,將幫助更多合作夥伴發展伺服器和PC等計算產品,幫助構建高質量的基礎軟體生態,也讓更多生態夥伴獲得端、邊、雲的全場景開發能力,最終促進鯤鵬計算生態的繁榮,也加速大數據行業應用創新。

打好基礎、做好標桿, 鯤鵬進入「強者恆強」周期

彌合技術與應用落地的鴻溝後,鯤鵬大數據解決方案擁有越來越多的政企實踐,它們中大多數都是行業典型客戶,本身既是大數據發展過程中的優質案例。

擁有這些客戶資源的鯤鵬,實際上已經進入了強者恆強的發展周期,這不僅僅是因為它獲得了諸多標桿合作案例、領先於行業,更重要的還在於,技術到應用實踐的通路打通後,實踐也將不斷反饋技術,不斷幫助鯤鵬錘煉自身的技術能力,從而形成有效的正反饋循環。

一旦這種循環形成,大數據解決方案就會進入「飛輪」式發展進程,越轉越快、越難以停下,也很難以被後進者追趕,逐步成為政企客戶最有競爭優勢的選擇。

更進一步來看,大數據服務從來都不是孤立存在的,在計算需求多樣化的時代,鯤鵬計算產業生態的主要推動者華為在物聯網、5G、AI等方面的能力和生態布局,無疑將幫助鯤鵬大數據解決方案有更多橫向技術連接和融合的想像空間,滿足更多政企客戶潛在的創新業務需求。

總而言之,在以鯤鵬大數據解決方案為代表的優質案例引領下,數據與計算的時代正在加速到來,最終,「新算力」將推動「新基建」全面落地,帶來「新經濟」動能,更多政企客戶將享受到技術帶來的價值紅利。

*本文圖片均來源於網路

【完】

曾響鈴

1鈦媒體、品途、人人都是產品經理等多家創投、 科技 網站年度十大作者;

2虎嘯獎評委;

3作家:【移動互聯網+ 新常態下的商業機會】等暢銷書作者;

4《中國經營報》《商界》《商界評論》《銷售與市場》等近十家報刊、雜志特約評論員;

5鈦媒體、36kr、虎嗅、界面、澎湃新聞等近80家專欄作者;

6「腦藝人」(腦力手藝人)概念提出者,現演變為「自媒體」,成為一個行業;

7騰訊全媒派榮譽導師、多家 科技 智能公司傳播顧問。

Ⅵ nacos集群下最多部署多少台伺服器

部署了200台伺服器。Nacos 能讓您從微服務平台建設的視角管理數據中心的所有服務及元數據,包括管理服務的描述、生命周期、服務的靜態依賴分析的軟體。

Ⅶ 3台伺服器集群搭配2台磁碟儲櫃存可以嗎

一、集群的基本概念

有一種常見的方法可以大幅提高伺服器的安全性,這就是集群。

Cluster集群技術可如下定義:一組相互獨立的伺服器在網路中表現為單一的系統,並以單一系統的模式加以管理。此單一系統為客戶工作站提供高可靠性的服務。

大多數模式下,集群中所有的計算機擁有一個共同的名稱,集群內任一系統上運行的服務可被所有的網路客戶所使用。Cluster必須可以協調管理各分離的組件的錯誤和失敗,並可透明地向Cluster中加入組件。

一個Cluster包含多台(至少二台)擁有共享數據存儲空間的伺服器。任何一台伺服器運行一個應用時,應用數據被存儲在共享的數據空間內。每台伺服器的操作系統和應用程序文件存儲在其各自的本地儲存空間上。

Cluster內各節點伺服器通過一內部區域網相互通訊。當一台節點伺服器發生故障時,這台伺服器上所運行的應用程序將在另一節點伺服器上被自動接管。當一個應用服務發生故障時,應用服務將被重新啟動或被另一台伺服器接管。當以上任一故障發生時,客戶將能很快連接到新的應用服務上。

二、集群的硬體配置

鏡像伺服器雙機

集群中鏡像伺服器雙機系統是硬體配置最簡單和價格最低廉的解決方案,通常鏡像服務的硬體配置需要兩台伺服器,在每台伺服器有獨立操作系統硬碟和數據存貯硬碟,每台伺服器有與客戶端相連的網卡,另有一對鏡像卡或完成鏡像功能的網卡。

鏡像伺服器具有配置簡單,使用方便,價格低廉諸多優點,但由於鏡像伺服器需要採用網路方式鏡像數據,通過鏡像軟體實現數據的同步,因此需要佔用網路伺服器的CPU及內存資源,鏡像伺服器的性能比單一伺服器的性能要低一些。

有一些鏡像伺服器集群系統採用內存鏡像的技術,這個技術的優點是所有的應用程序和網路操作系統在兩台伺服器上鏡像同步,當主機出現故障時,備份機可以在幾乎沒有感覺的情況下接管所有應用程序。因為兩個伺服器的內存完全一致,但當系統應用程序帶有缺陷從而導致系統宕機時,兩台伺服器會同步宕機。這也是內存鏡像卡或網卡實現數據同步,在大數據量讀寫過程中兩台伺服器在某些狀態下會產生數據不同步,因此鏡像伺服器適合!

Ⅷ 大數據集群

大數據(big data),指無法在一定時間范圍內用常規軟體工具進行捕捉、管理和處理的數據集合,是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。
魔方(大數據模型平台)
大數據模型平台是一款基於服務匯流排與分布式雲計算兩大技術架構的一款數據分析、挖掘的工具平台,其採用分布式文件系統對數據進行存儲,支持海量數據的處理。採用多種的數據採集技術,支持結構化數據及非結構化數據的採集。通過圖形化的模型搭建工具,支持流程化的模型配置。通過第三方插件技術,很容易將其他工具及服務集成到平台中去。數據分析研判平台就是海量信息的採集,數據模型的搭建,數據的挖掘、分析最後形成知識服務於實戰、服務於決策的過程,平台主要包括數據採集部分,模型配置部分,模型執行部分及成果展示部分等。
大數據平台數據抽取工具
大數據平台數據抽取工具實現db到hdfs數據導入功能,藉助Hadoop提供高效的集群分布式並行處理能力,可以採用資料庫分區、按欄位分區、分頁方式並行批處理抽取db數據到hdfs文件系統中,能有效解決大數據傳統抽取導致的作業負載過大抽取時間過長的問題,為大數據倉庫提供傳輸管道。數據處理伺服器為每個作業分配獨立的作業任務處理工作線程和任務執行隊列,作業之間互不幹擾靈活的作業任務處理模式:可以增量方式執行作業任務,可配置的任務處理時間策略,根據不同需求定製。採用非同步事件驅動模式來管理和分發作業指令、採集作業狀態數據。通過管理監控端,可以實時監控作業在各個數據處理節點作業任務的實時運行狀態,查看作業的歷史執行狀態,方便地實現提交新的作業、重新執行作業、停止正在執行的作業等操作。
互聯網數據採集工具
網路信息雷達是一款網路信息定向採集產品,它能夠對用戶設置的網站進行數據採集和更新,實現靈活的網路數據採集目標,為互聯網數據分析提供基礎。
未至·雲(互聯網推送服務平台)
雲計算數據中心以先進的中文數據處理和海量數據支撐為技術基礎,並在各個環節輔以人工服務,使得數據中心能夠安全、高效運行。根據雲計算數據中心的不同環節,我們專門配備了系統管理和維護人員、數據加工和編撰人員、數據採集維護人員、平台系統管理員、機構管理員、輿情監測和分析人員等,滿足各個環節的需要。面向用戶我們提供面向政府和面向企業的解決方案。
顯微鏡(大數據文本挖掘工具)
文本挖掘是指從文本數據中抽取有價值的信息和知識的計算機處理技術, 包括文本分類、文本聚類、信息抽取、實體識別、關鍵詞標引、摘要等。基於Hadoop MapRece的文本挖掘軟體能夠實現海量文本的挖掘分析。CKM的一個重要應用領域為智能比對, 在專利新穎性評價、科技查新、文檔查重、版權保護、稿件溯源等領域都有著廣泛的應用。
數據立方(可視化關系挖掘)
大數據可視化關系挖掘的展現方式包括關系圖、時間軸、分析圖表、列表等多種表達方式,為使用者提供全方位的信息展現方式。

Ⅸ 兩台伺服器手動部署大數據平台

兩台伺服器手動部署大數據平台

##### 初始伺服器數量

- 2台centos7

##### 建議配置

- 32G(RAM)

- 24cpu

- 10t(SATA)

### 1.環境

- 系統centos7

- jdk:1.8.0_171(64位)

- zookeeper:3.4.8

- spark-2.1.0-bin-hadoop2.6

- kafka_2.10-0.10.2.1

- hadoop-2.7.0

- hbase-1.2.6

- elasticsearch-6.3.0

### 2.系統准備

對應的安裝包文件:

elasticsearch-6.3.0.tar.gz

hadoop-2.7.0.tar.gz

hbase-1.2.6-bin.tar.gz

jdk-8u171-linux-x64.tar.gz

kafka_2.10-0.10.2.1.tgz

mysql-5.7.23-1.el7.x86_64.rpm-bundle.tar

spark2.1.0hadoop2.6.tgz.gz

zookeeper-3.4.8.tar.gz

一、 配置好hosts

```

兩台設備的host

ip1 hello1

ip2 hello2

關閉防火牆

systemctl stop firewalld

systemctl disable firewalld

二、機器之間做好免密

1. 在hello1伺服器中,cd /root/

2. ssh-keygen -trsa  (全部按回車,走默認配置)

3. cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

4. chmod 600 ~/.ssh/authorized_keys

5. scp ~/.ssh/authorized_keys root@hello2:~/.ssh/

到此處時可以實現hello1機器上通過root賬戶登錄到hello2中,但從hello2中無法通過免密碼登錄到hello1伺服器。

6. 在hello2伺服器中,cd /root/

7. ssh-keygen -trsa  (全部按回車,走默認配置)

8. cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

9. scp ~/.ssh/authorized_keys root@hello1:~/.ssh/

到此處時可以實現hello1機器與hello2機器之間免密碼互通

三、建立一個用戶操作elasticsearch用戶,後期所有安裝軟體放在該目錄下(當前使用root賬戶安裝)

1.添加用戶:

useradd -m -s /bin/bash es

2.為該用戶設置密碼:

password es

四、安裝JDK

如果系統自帶openjdk,先將其卸載掉!

1.創建jdk安裝路徑(hello1、hello2都執行)

執行: mkdir /usr/java

2.解壓縮jdk到安裝目錄

執行: tar -zxvf jdk-8u171-linux-x64.tar.gz -C /usr/java/

3.添加環境變數

vi /etc/profile,添加以下語句

export JAVA_HOME=/usr/java/jdk1.8.0_171

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_HOME/bin

執行:source /etc/profile

4.復制安裝包和數據目錄到hello2

scp  -r /usr/java/jdk1.8.0_171 hello2:/usr/java/

scp /etc/profile hello2:/etc/

登錄到hello2上,進入/home/es目錄

執行: source /etc/profile

5、驗證:

兩台伺服器上分別執行: java -version,查看輸出的版本是否與安裝的版本一致。

五、安裝mysql

1.如果centos系統中自帶mariadb,先卸載mariadb。

2.解壓mysql安裝包程序

執行:tar -xvf  mysql-5.7.23-1.el7.x86_64.rpm-bundle.tar

3.依次安裝裡面rpm包組建

rpm -ivh mysql-community-common-5.7.23-1.el7.x86_64.rpm

rpm -ivh mysql-community-libs-5.7.23-1.el7.x86_64.rpm

rpm -ivh mysql-community-client-5.7.23-1.el7.x86_64.rpm

rpm -ivh mysql-community-server-5.7.23-1.el7.x86_64.rpm

rpm -ivh mysql-community-devel-5.7.23-1.el7.x86_64.rpm

4.啟動MySQL

執行: systemctl start mysqld

5.登錄mysql伺服器

這種方式安裝好後,會再my.cnf文件中自動生成一個密碼,

執行:cat /var/log/mysqld.log | grep password, 出現如下記錄:

2017-09-15T01:58:11.863301Z 1 [Note] A temporary password is generated for root@localhost: m-NdrSG4ipuO

其中「m-NdrSG4ipuO」為mysql root賬戶的初始密碼。

登錄:

執行: mysql -uroot -p

輸入密碼: m-NdrSG4ipuO,即可進入mysql伺服器。

後續可自行修改root密碼,創建新賬戶等操作。

六、安裝zookeeper

1.解壓zookeeper安裝包到指定目錄(/home/es)

tar -zxvf zookeeper-3.4.8.tar.gz -C /home/es

2.創建程序軟連接

cd /home/es/

ln -s zookeeper-3.4.8 zookeeper

3.添加執行路徑環境

vi /etc/profile

添加

export ZOOKEEPER_HOME=/home/es/zookeeper

export PATH=$PATH:$ZOOKEEPER_HOME/bin

執行

source /etc/profile

4.修改配置文件

cd /home/es/zookeeper

cp conf/zoo_sample.cfg conf/zoo.cfg

在/home/data下創建對應的zookeeper數據存儲目錄

mkdir /home/data/zookeeper

mkdir /home/data/zookeeper/data

mkdir /home/data/zookeeper/log

修改配置文件:conf/zoo.cfg,添加以下語句

dataDir=/home/data/zookeeper/data

dataLogDir=/home/data/zookeeper/log

server.1=hello1:2888:3888

server.2=hello2:2888:3888

5.創建server表示符文件

touch /home/data/zookeeper/data/myid

echo echo 1>/home/data/zookeeper/data/myid

6.復制安裝包和數據目錄到hello2

scp -r /home/es/zookeeper-3.4.8 es@hello2:/home/es

scp -r /home/data/zookeeper es@hello2:/home/data

scp  /etc/profile es@hello2:/etc

登錄到hello2上

cd /home/es

ln -s zookeeper-3.4.8 zookeeper

echo echo 2>/home/data/zookeeper/data/myid

執行

source /etc/profile

7.兩台機器上分別執行

zkServer.sh start

8.驗證

jps | grep QuorumPeerMain,查看是否有該進程

zkServer.sh status,查看服務狀態

六、安裝kafka

1.解壓kafka安裝包到指定目錄(/home/es)

tar -zxvf kafka_2.10-0.10.2.1.tgz -C /home/es

2.創建程序軟連接

cd /home/es/

ln -s kafka_2.10-0.10.2.1 kafka

3.修改配置文件

備份:

cp config/server.properties config/server.properties.bak

創建kafka日誌目錄:

mkdir /home/data/kafka

mkdir /home/data/kafka/kafka-logs

修改:config/server.properties,具體對應欄位如下:

broker.id=0

delete.topic.enable=true

num.network.threads=10

num.io.threads=32

socket.send.buffer.bytes=102400

socket.receive.buffer.bytes=102400

socket.request.max.bytes=104857600

log.dirs=/home/data/kafka/kafka-logs

num.partitions=1

num.recovery.threads.per.data.dir=1

log.retention.hours=168

log.segment.bytes=1073741824

log.retention.check.interval.ms=300000

zookeeper.connect=hello1:2181,hello2:2181

zookeeper.connection.timeout.ms=6000

6.復制安裝包和數據目錄到hello2

scp -r /home/es/kafka_2.10-0.10.2.1 es@hello2:/home/es

scp -r /home/data/kafka es@hello2:/home/data

修改hello2中的配置

登錄到hello2上,cd /home/es/kafka,修改config/server.properties中broker.id值為2.

7.啟動kafka

在兩台機器的/home/es/kafka中,創建一個日誌存放目錄:mkdir start_log,執行以下命令:

nohup bin/kafka-server-start.sh config/server.properties > start_log/kafka_start_log 2>&1 &

8.驗證運行情況

jps | grep Kafka,查看進程

通過kafka命令查看topic。

七、安裝hadoop

1.解壓hadoop安裝包到指定目錄(/home/es)

tar -zxvf hadoop-2.7.0.tar.gz -C /home/es

2.創建程序軟連接

cd /home/es/

ln -s hadoop-2.7.0 hadoop

3.創建數據存放目錄

mkdir /home/data/hadoop

mkdir /home/data/hadoop/tmp

mkdir /home/data/hadoop/dfs

mkdir /home/data/hadoop/dfs/data

mkdir /home/data/hadoop/dfs/name

4.修改配置文件

修改/home/es/hadoop/etc/hadoop/core-site.xml

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://hello1:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>file:/home/data/hadoop/tmp</value>

</property>

<property>

<name>io.file.buffer.size</name>

<value>131702</value>

</property>

</configuration>

修改/home/es/hadoop/etc/hadoop/hdfs-site.xml

<configuration>

<property>

<name>dfs.namenode.name.dir</name>

<value>file:/home/data/hadoop/dfs/name</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>file:/home/data/hadoop/dfs/data</value>

</property>

<property>

<name>dfs.replication</name>

<value>2</value>

</property>

<property>

<name>dfs.namenode.secondary.http-address</name>

<value>hello1:9001</value>

</property>

<property>

<name>dfs.webhdfs.enabled</name>

<value>true</value>

</property>

</configuration>

修改/home/es/hadoop/etc/hadoop/mapred-site.xml

<configuration>

<property>

<name>maprece.framework.name</name>

<value>yarn</value>

</property>

<property>

<name>maprece.jobhistory.address</name>

<value>hello1:10020</value>

</property>

<property>

<name>maprece.jobhistory.webapp.address</name>

<value>hello1:19888</value>

</property>

</configuration>

修改/home/es/hadoop/etc/hadoop/yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->

<property>

<name>yarn.nodemanager.aux-services</name>

<value>maprece_shuffle</value>

</property>

<property>

<name>yarn.nodemanager.auxservices.maprece.shuffle.class</name>

<value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

<property>

<name>yarn.resourcemanager.address</name>

<value>hello1:8032</value>

</property>

<property>

<name>yarn.resourcemanager.scheler.address</name>

<value>hello1:8030</value>

</property>

<property>

<name>yarn.resourcemanager.resource-tracker.address</name>

<value>hello1:8031</value>

</property>

<property>

<name>yarn.resourcemanager.admin.address</name>

<value>hello1:8033</value>

</property>

<property>

<name>yarn.resourcemanager.webapp.address</name>

<value>hello1:8088</value>

</property>

<property>

<name>yarn.nodemanager.resource.memory-mb</name>

<value>768</value>

</property>

</configuration>

配置/home/es/hadoop/etc/hadoop目錄下hadoop-env.sh、yarn-env.sh的JAVA_HOME(不設置的話,啟動不了)

export JAVA_HOME=/usr/java/jdk1.8.0_171

配置/home/es/hadoop/etc/hadoop目錄下的slaves,刪除默認的localhost,增加2個從節點,

hello1

hello2

5、將配置好的Hadoop復制到各個節點對應位置上,通過scp傳送

scp  -r /home/es/hadoop-2.7.0 hello2:/home/es/

scp  -r /home/data/hadoop hello2:/home/data/

登錄到hello2上,進入/home/es目錄

執行: ln -s hadoop-2.7.0 hadoop

6、格式化nameNode及啟動hadoop

在主伺服器啟動hadoop,從節點會自動啟動,進入/home/es/hadoop目錄

初始化,輸入命令,bin/hdfs namenode -format

全部啟動sbin/start-all.sh,也可以分開sbin/start-dfs.sh、sbin/start-yarn.sh

輸入命令,jps,可以看到相關信息

7、驗證hadoop運行情況

瀏覽器打開http://hello1:8088/

瀏覽器打開http://hello1:50070/

8、添加hadoop環境變數到/etc/profile

export HADOOP_HOME=/home/es/hadoop export PATH=$PATH:$HADOOP_HOME/sbin

export PATH=$PATH:$HADOOP_HOME/bin

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"

執行: source /etc/profile

八、安裝Hbase

1.解壓hbase安裝包到指定目錄(/home/es)

tar -zxvf hbase-1.2.6-bin.tar.gz -C /home/es

2.創建程序軟連接

cd /home/es/

ln -s hbase-1.2.6 hbase

3.添加hbase環境變數到/etc/profile

export  HBASE_HOME=/home/es/hbase

export  PATH=$HBASE_HOME/bin:$PATH

執行:source /etc/profile

4.修改HBASE配置文件

vi /home/es/hbase/conf/hbase-env.sh

增加: export JAVA_HOME=/usr/java/jdk1.8.0_171

修改: export HBASE_MANAGES_ZK=false

vi /home/es/hbase/conf/hbase-site.xml

修改類容:

<configuration>

<property>

<name>hbase.rootdir</name> <!-- hbase存放數據目錄 -->

<value>hdfs://hello1:9000/hbase/hbase_db</value>

<!-- 埠要和Hadoop的fs.defaultFS埠一致-->

</property>

<property>

<name>hbase.cluster.distributed</name> <!-- 是否分布式部署 -->

<value>true</value>

</property>

<property>

<name>hbase.zookeeper.quorum</name> <!-- list of  zookooper -->

<value>hello1,hello2</value>

</property>

<property><!--zookooper配置、日誌等的存儲位置 -->

<name>hbase.zookeeper.property.dataDir</name>

<value>/home/es/hbase/zookeeper</value>

</property>

</configuration>

配置regionservers,vi /home/es/hbase/conf/regionservers

去掉默認的localhost,加入hello1、hello2

5、將配置好的hbase復制到各個節點對應位置上,通過scp傳送

scp  -r /home/es/hbase-1.2.6 hello2:/home/es/

scp /etc/profile hello2:/etc/

登錄到hello2上,進入/home/es目錄

執行: ln -s hbase-1.2.6 hbase

source /etc/profile

6、hbase的啟動

hello1中執行: start-hbase.sh

7、驗證hbase運行情況

輸入jps命令查看進程是否啟動成功,若 hello1上出現HMaster、HRegionServer、HQuormPeer,hello2上出現HRegionServer、HQuorumPeer,就是啟動成功了。

輸入hbase shell 命令 進入hbase命令模式,輸入status命令,查看運行狀態。

在瀏覽器中輸入http://hello1:16010就可以在界面上看到hbase的配置

注意事項:

正常安裝後,創建普通不帶壓縮表可以正常讀寫,當使用snappy進行壓縮創建表時,該表無法再regionServer中啟動!

解決方法:

1.在hbase-site.xml文件中添加一下屬性

<property>

                <name>hbase.regionserver.codecs</name>

                <value>snappy</value>

        </property>

2.每台機器中將hadoop_native.zip解壓縮到hbase安裝目錄的lib下,執行 unzip hadoop_native.zip $HBASE_HOME/lib/

3.在$HBASE_HOME/conf/hbase-env.sh 中添加:export HBASE_LIBRARY_PATH=/home/es/hbase/lib/native

4.重啟Hbase服務即可

九、Spark安裝

1.解壓hbase安裝包到指定目錄(/home/es)

tar -zxvf spark2.1.0hadoop2.6.tgz.gz -C /home/es

2.創建程序軟連接

cd /home/es/

ln -s spark2.1.0hadoop2.6 spark

3.修改配置文件

mv /home/es/spark/conf/spark-env.sh.template  /home/es/spark/conf/spark-env.sh

vi /home/es/spark/conf/spark-env.sh

修改對應配置:

export JAVA_HOME=/usr/java/jdk1.8.0_171

export SPARK_MASTER_IP=hello1

export SPARK_MASTER_PORT=7077

export SPARK_LOCAL_IP=hello1

修改slaves文件

mv /home/es/spark/conf/slaves.template  /home/es/spark/conf/slaves

vi /home/es/spark/conf/slaves

將localhost修改成:

hello1

hello2

5、將配置好的hbase復制到各個節點對應位置上,通過scp傳送

scp  -r /home/es/spark2.1.0hadoop2.6 hello2:/home/es/

登錄到hello2上,進入/home/es目錄

執行: ln -s spark2.1.0hadoop2.6 spark

在hello2中修改/home/es/spark/conf/spark-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_171

export SPARK_MASTER_IP=hello1

export SPARK_MASTER_PORT=7077

export SPARK_LOCAL_IP=hello2

6、啟動spark

cd /home/es/spark

執行: sbin/start-all.sh

7、檢測執行結果

jps | grep Worker,看是否有相應的進程。

十、安裝elasticsearch

由於elasticsearch,用root賬戶無法啟動,故該組件用es賬戶安裝

1、切換到es賬戶: su es

2、解壓hbase安裝包到指定目錄(/home/es)

tar -zxvf elasticsearch-6.3.0.tar.gz -C /home/es/

創建程序軟連接

cd /home/es/

ln -s elasticsearch-6.3.0 elasticsearch

3、修改配置文件

vi /home/es/elasticsearch/config/elasticsearch.yml

# 集群的名字 

cluster.name: crrc-health

# 節點名字 

node.name: node-1 

# 數據存儲目錄(多個路徑用逗號分隔) 

path.data: /home/data1/elasticsearch/data

# 日誌目錄 

path.logs: /home/data1/elasticsearch/logs

#本機的ip地址

network.host: hello1 

#設置集群中master節點的初始列表,可以通過這些節點來自動發現新加入集群的節點

discovery.zen.ping.unicast.hosts: ["hello1", "hello2"]

# 設置節點間交互的tcp埠(集群),(默認9300) 

transport.tcp.port: 9300

# 監聽埠(默認) 

http.port: 9200

# 增加參數,使head插件可以訪問es 

http.cors.enabled: true

http.cors.allow-origin: "*"

4、創建elasticsearch數據和存儲目錄

mkdir /home/data1/elasticsearch

mkdir /home/data1/elasticsearch/data

mkdir /home/data1/elasticsearch/logs

5、修改linux系統的默認硬限制參數

切換至root用戶: su root

vim /etc/security/limits.conf

添加:

es soft nofile 65536

es hard nofile 65536

退出es登錄,重新用es賬戶登錄,使用命令:ulimit -Hn查看硬限制參數。

vi /etc/sysctl.conf

添加:

vm.max_map_count=655360

執行:

sysctl -p

6、將配置好的elasticsearch復制到各個節點對應位置上,通過scp傳送

scp  -r /home/es/elasticsearch-6.3.0 hello2:/home/es/

scp  -r /home/data1/elasticsearch hello2:/home/data1/

登錄到hello2上,進入/home/es目錄

執行: ln -s elasticsearch-6.3.0 elasticsearch-6.3.0

在hello2中修改/home/es/elasticsearch/config/elasticsearch.yml

修改: network.host: hello2

7、啟動elasticsearch

使用es賬戶

執行:

/home/es/elasticsearch/bin/elasticsearch -d

8、驗證

控制台中輸入:curl http://hello1:9200

Ⅹ 做一個信息平台 然後並發性要求5000戶 做一個 資料庫集群 咨詢一下需要多少伺服器 和什麼配置

這樣的話,對伺服器性能要求非常高了。推薦你看看國產品牌正睿的這款雙路四核伺服器。標配一顆至強E5645六核十二線程處理器(2.4GHz/5.86GT/12M緩存),英特爾5500伺服器晶元組主板,4G DDR3 REG ECC 1333MHz內存,SAS 300G企業級硬碟,4個熱插拔盤位,雙千兆網卡,性能可以說是非常不錯。如果以後隨著業務量的增長,覺得性能不夠用了,還可以擴展到兩顆處理器,達成12顆處理核心,24條處理線程(在任務管理器處能看到24個處理核心的格子- -~很NB),最大支持96GB內存。
產品型號:I2696184S-E
產品類型:雙路六核機架式伺服器
處 理 器:Xeon E5645
內 存:4G DDR3 REG ECC
硬 盤:SAS 300G
機 構:1U機架式
價 格:¥14990
銀牌服務
重慶五年免費上門服務,全國三年免費上門服務,關鍵部件三年以上免費質保。

建議把處理器擴展到2個,達成物理12核心,24條計算線程,跑資料庫非常快,然後把內存升級到12G DDR3 REG ECC,總價也就在22000不到。性能就非常強悍了。。。如果需要做集群,就再增加這種伺服器就可以了。支持5000並發信息系統,沒問題。

給你推薦的是國產品牌正睿的伺服器產品,他們的產品性價比很高,做工很專業,兼容性,質量之類的都有保障,售後也很完善,3年免費質保,3年免費上門服務,在業界口碑很不錯。

閱讀全文

與浙江移動大數據集群有多少伺服器相關的資料

熱點內容
葵司在線觀看:探索葵司作品的精彩世界 瀏覽:283
媽媽的誘惑:家庭、事業與個人價值的平衡 瀏覽:520
擴瞳驗光後出具的數據怎麼看 瀏覽:921
水野優香:日本女演員的獨特魅力 瀏覽:443
免費觀看黃a一級視頻日本的法律風險與道德爭議 瀏覽:572
www.av片:探討成人影片對社會與個人的影響與爭議 瀏覽:857
電腦隱藏程序在哪裡看 瀏覽:965
美女用屁股把人吞入腹中:文化象徵與藝術表達 瀏覽:740
張莜雨沙發分腿式:舒適與功能的完美結合 瀏覽:776
蟲蟲漫畫:兒童世界中的藝術與趣味 瀏覽:377
私人投影影院:在家中打造最佳觀影體驗 瀏覽:604
亞洲啪啪文化:傳統與現代的對比 瀏覽:408
我逃過了大數據什麼意思 瀏覽:291
純小白怎麼編寫程序 瀏覽:609
安徽省哪裡有玩具批發市場 瀏覽:876