數據系統工程師崗位職責：應負責大數據系統/平臺的運行和維護等工作。

數據系統工程師初級能力要求具體如下：

a) 專業知識：

1) 運維基礎知識：

2) 硬件設備功能知識，

3) 服務器組網知識，

4) 服務器配置知識，

5) 操作系統安裝知識，

6) 云計算及虛擬化部署知識，

7) Linux 系統基礎操作知識，

8) 大數據組件安裝知識，

9) 大數據集群配置知識，

10) 大數據組件基礎操作知識，

11) 應用變更管理知識，

12) 代碼倉庫托管知識，

13) 功能持續集成知識，

14) 代碼版本控制知識，

15) 管理平臺操作知識，

16) 系統環境監控知識，

17) 常見故障排查知識，

18) 容災備份知識。

b) 專業技能：

1) 能根據施工方案，進行需求溝通并確認設備參數;

2) 能參照施工方案，對大數據機架及大型設備進行機房空間規劃并部署服務器;

3) 能根據組網規劃方案，對各服務器或需聯通網絡設備進行組網布置;

4) 能根據現場設施及電力系統，對設備進行上電測試及點亮測試;

5) 能根據系統部署方案，安裝集群環境、硬件環境、虛擬化環境所需的各類系統;

6) 能根據軟件部署方案使用腳本部署產品或用原生方法安裝各類大數據功能組件;

7) 能根據節點連接信息配置大數據集群;

8) 能根據集群功能對組件進行啟動調試;

9) 能對現有大數據集群的各類組件進行應用變更或版本更迭;

10) 能根據上線計劃，按時完成功能上線;

11) 能對提交代碼的版本進行管理;

12) 能使用工具對集群的軟硬件運行狀態進行監控管理;

13) 能使用工具對大數據集群的各類組件、服務的運行狀態進行監控管理;

14) 能使用工具對作業運行情況和資源占用進行監控管理;

15) 能根據故障報告，參與故障排查，處理故障問題;

16) 能根據容災計劃，定期備份和遷移關鍵數據。

c) 經驗：

1) 累計從事本崗位工作 1 年以上。

數據系統工程師中級能力要求具體如下：

a) 專業知識：

1) 網絡架構和規劃，

2) 服務器底層配置知識，

3) 云計算及虛擬化知識，

4) 自動化腳本開發知識，

5) 集群配置知識，

6) 高可用及容災知識，

7) 集群技術知識，

8) 安全訪問控制知識，

9) 性能調優知識，

10) 故障排查知識，

11) 容災管理知識。

b) 專業技能：

1) 能根據配置需求，規劃及選型硬件配置設施;

2) 能根據機房環境和配置清單，制定工程實施方案;

3) 能根據物理硬件特性，制定組網規劃方案;

4) 能根據硬件設備條件，進行底層及驅動配置;

5) 能根據現場施工情況進行故障處理指導;

6) 能根據應用需求，規劃系統部署方案;

7) 能根據性能需求，對各運行系統進行配置和調優;

8) 能根據軟件部署方案，編寫自動化部署腳本，并完成部署;

9) 能根據集群組件進行高可用及容災配置;

10) 能根據集群功能對各組件進行聯通調試;

11) 能根據集群功能變更需求，制定組件升級及功能遷移方案;

12) 能對上線功能進行測試，評估上線可行性，制定上線計劃;

13) 能對大數據平臺中的各個組件使用權限進行管理;

14) 能編寫腳本對集群軟硬件、組件與服務、作業運行情況進行監控及管理操作;

15) 能對集群的運行性能、讀寫性能等指標進行調優;

16) 能根據故障報告，排查故障原因，處理故障問題，并編寫自動化運維腳本;

17) 能制定容災計劃，對異常服務進行故障轉移。

c) 經驗：

1) 具備一定的數據運維相關項目經驗;

2) 累計從事本崗位工作 3 年以上。

數據系統工程師高級能力要求具體如下：

a) 專業知識：

1) 安全施工規范，

2) 硬件產品知識，

3) 故障管理知識，

4) 權限安全規范，

5) 軟件產品知識，

6) 聯邦集群知識，

7) 異地多活知識，

8) 風險管理知識，

9) 應用變更知識，

10) 代碼管理知識，

11) 權限管理知識，

12) 性能指標知識，

13) 負載均衡知識，

14) 故障分析方法，

15) 故障轉移知識。

b) 專業技能：

1) 能根據安全施工規范，整體規劃硬件設施安全方案;

2) 能審核及指導工程師規劃和選型硬件配置設施;

3) 能根據產品特性，制定統一施工標準;

4) 能根據系統部署方案，與產品開發部門整體規劃硬件承載、配置及擴展方案;

5) 能根據不同硬件設施，制定故障處理規范及流程;

6) 能根據權限安全規范，制定軟件權限安全方案;

7) 能審核并指導工程師制定系統及軟件部署方案;

8) 能根據產品特性，制定部署及升級策略;

9) 能根據集群組件特性制定高可用及容災策略;

10) 能根據調試結果，制定部署優化方案;

11) 能評估應用變更風險，發布應用變更計劃，管控變更流程，總結變更報告;

12) 能根據軟件部署方式，制定各類組件應用變更或版本更迭方案;

13) 能制定代碼管理規范并配置代碼倉庫管理系統;

14) 能制定各部門平臺功能使用權限規范;

15) 能規劃監控指標，制定監控管理規范;

16) 能開發監控腳本，并規劃閾值;

17) 能對系統性能進行調優;

18) 能使用數據挖掘方法挖掘潛在故障;

19) 能對故障事故進行復盤，編寫故障預防規范;

20) 能定期組織容災演練。

c) 經驗:

1) 具備數據運維相關項目經驗;

2) 累計從事本崗位工作 5 年以上。