爬蟲架構師職位要求
1.全日制本科及以上，5年以上python/java開發經驗，3年以上數據抓取工作經驗；
2.精通使用分布式基本知識，設計與開發爬蟲系統架構；
3.精通使用爬蟲相關技術，如：python， scrapy， selenium， xpath， 正則表達式 但不限于以上技術等，有app研發背景或app爬蟲開發經驗佳，有逆向經驗尤佳；
4.精通高并發、高性能的分布式系統的設計及應用，熟悉常用數據存儲，各種數據處理技術優先；
5.能夠解決封賬號、封IP采集等問題，解決網頁抓取、信息抽取等問題，構建完善的網絡信息收集平臺；
6.熟悉Linux常用命令，獨立完成日常部署更新等；
7.具備較強的團隊協作精神，工作責任心強，良好的溝通、理解、執行能力。
爬蟲架構師崗位職責
1.參與消費大數據的建設，專注于垂直領域數據爬取，進行多平臺信息的抓取和分析；
2.對爬蟲系統的架構設計與開發；
3.深刻理解爬蟲系統架構，能對系統架構提出自己的見解和優化方案；
4.實現數據提取、清洗、結構化、入庫、統計分析等需求；
5.建立爬蟲監測體系，及時分析及解決爬蟲在運行過程中出現的缺陷；
6.研究優化算法，提升爬蟲系統的穩定性、可擴展性；
7.設計爬蟲策略和防屏蔽規則，提升網頁抓取的效率和質量；
8.能獨立解決實際開發過程碰到的各類問題。
