職位類別：

崗位職責(zé):

1. 遵循robots 協(xié)議，對互聯(lián)網(wǎng)公開信息進行采集；

2. 負責(zé)網(wǎng)頁信息抽取技術(shù)算法的研究和開發(fā)，提升數(shù)據(jù)采集的效率和質(zhì)量；

3. 負責(zé)設(shè)計和開發(fā)分布式的網(wǎng)絡(luò)數(shù)據(jù)采集技術(shù)，能獨立解決實際開發(fā)過程碰到的各類問題(優(yōu)化調(diào)度、并發(fā)、覆蓋率等) ，提升數(shù)據(jù)采集的效果與性能;

4. 負責(zé)數(shù)據(jù)采集解析入庫、系統(tǒng)異常監(jiān)控與警報等。

任職要求:

1. 具備扎實的編程能力、優(yōu)秀的設(shè)計能力和代碼品味，具有強烈的責(zé)任心

2. 熟練掌握HTML、JavaScript、Python、Scrapy等，能快速完成采集腳本的編寫;

3. 了解主流網(wǎng)絡(luò)數(shù)據(jù)采集技術(shù)和框架工具，如Selenium/Puppeteer/PhantomJS/Scrapy等;

4. 了解NLP基本技術(shù)，實際使用過如 Fasttext、N-gram、Bert、GPT 等算法和模型者優(yōu)先；

5. 熟悉常見限制訪問服務(wù)器資源和獲取數(shù)據(jù)技術(shù)，具備相關(guān)的實戰(zhàn)經(jīng)驗。