崗位職責:
1.負責分布式數(shù)據采集系統(tǒng)的設計與研發(fā)工作,實施互聯(lián)網相關數(shù)據的抓取和解析。
2.負責采集策略的設計與優(yōu)化工作,提升網頁抓取的效率和質量,解決信息精準抽取等核心技術難題;
3.分析已有采集系統(tǒng)的技術缺陷,對策略架構做出合理地調整和改進。
4.負責公司數(shù)據中心的運營和維護。
崗位要求:
1.計算機類及相關專業(yè)本科及以上學歷;
2.精通一門以上的主流開發(fā)語言(Python、Java),熟悉常用的數(shù)據抓取策略和原理;
3.具有大規(guī)模網頁爬蟲開發(fā)經驗優(yōu)先,掌握爬蟲開發(fā)原理,能夠分析網站的結構特點與規(guī)律;
4.對算法設計和數(shù)據結構有深刻的理解,精通網絡編程;
5.有分布式爬蟲架構經驗者優(yōu)先;
6.強烈的責任心和良好的團隊合作精神,較好的溝通能力,善于學習新知識,能承擔較大的工作壓力。
1.負責分布式數(shù)據采集系統(tǒng)的設計與研發(fā)工作,實施互聯(lián)網相關數(shù)據的抓取和解析。
2.負責采集策略的設計與優(yōu)化工作,提升網頁抓取的效率和質量,解決信息精準抽取等核心技術難題;
3.分析已有采集系統(tǒng)的技術缺陷,對策略架構做出合理地調整和改進。
4.負責公司數(shù)據中心的運營和維護。
崗位要求:
1.計算機類及相關專業(yè)本科及以上學歷;
2.精通一門以上的主流開發(fā)語言(Python、Java),熟悉常用的數(shù)據抓取策略和原理;
3.具有大規(guī)模網頁爬蟲開發(fā)經驗優(yōu)先,掌握爬蟲開發(fā)原理,能夠分析網站的結構特點與規(guī)律;
4.對算法設計和數(shù)據結構有深刻的理解,精通網絡編程;
5.有分布式爬蟲架構經驗者優(yōu)先;
6.強烈的責任心和良好的團隊合作精神,較好的溝通能力,善于學習新知識,能承擔較大的工作壓力。
職位類別: JAVA
舉報溫馨提示
- 你可能感興趣的職位
- 最近瀏覽記錄
-
25-35K/月
-
4-7K/月
-
6-18K/月
-
13-20W/年
-
6-9K/月
-
8-10K/月
-
7-9K/月
-
6-8K/月
暫沒有相關信息
- 所屬行業(yè):IT行業(yè)-計算機、互聯(lián)網、通訊、電子、儀器儀表等
- 所在地區(qū):北京
- 聯(lián)系人:曹云會
- 手機:會員登錄后才可查看
- 郵箱:會員登錄后才可查看
- 郵政編碼:
工作地址
- 地址:






