職位描述
職責描述:
1、設計工商和金融類的主流網站反扒解決方案
2、負責分布式爬蟲系統的核心技術研究、架構設計和落地指導
3、負責爬蟲算法的策略優化,提升網頁抓取的效率和動態增量更新
任職要求:
1、計算機相關專業,三年以上網頁,APP和微博類爬取等相關工作經驗優先
2、熟悉反爬機制,有能力解決圖片驗證碼、IP訪問限制和增量更新問題。
3、負責指導爬蟲工程師進行技術驗證,核心技術問題的攻關,解決爬取過程中的難題
4、熟悉MongoDB、Mysql、Oracle等數據庫操作,具有數據庫應用軟件的開發經驗
5、熟悉JAVA,Python等語言,掌握爬蟲框架(如Scrapy,WebMagic)的設計和優化
6、熟悉網絡編程和多線程機制,具有http網絡編程項目經驗
7、邏輯思維嚴謹,具有良好的溝通能力和團隊協作精神
企業介紹
北京知因智慧數據科技有限公司,是一家致力于行業大數據和知識圖譜的金融科技企業。即利用機器學習和知識圖譜技術,結合金融行業咨詢經驗,為金融企業的風險管理、精準營銷、客戶價值、供應鏈金融等領域提供全新的數據服務和產品運營。
知因智慧,是IBM和中國科學院大數據團隊的跨界融合,創始人是中國最早一批從事金融大數據挖掘,利用知識圖譜分析企業風險的專家團隊。此外,知因智慧的團隊來自咨詢公司金融領域專家,長期服務于銀監會、央行、工商銀行、建設銀行、中國銀行、國家開發銀行、交通銀行、中信銀行等各大金融機構,具有豐富大數據分析背景和金融行業的服務經驗,將在中國提供具有高水準的數據服務。
早在2006年,知因智慧的創始團隊即在中國銀監會利用中國最大的十九家銀行的跨行客戶信貸數據,分析集團客戶、信貸客戶的企業關系圖譜,并研發了中國第一個該領域的模型——OSCAR客戶風險預警模型,成功應用于我國監管機構,并推廣至眾多大型國有銀行、股份制銀行、城市商業銀行,取得了巨大經濟效益。