為了更好的為用戶服務以及公司的長遠發展，通過日志信息的采集以及對數據多維度的分析， 分析網站中各個模塊的點擊、瀏覽、下載、安裝等行為，獲得用戶行為及價值取向等統計信息，例如批發商品在各個地區 Top 排行、日活用戶、月活用戶等，為公司各部門提供需求報表以及公司決策提供數據支持。

抽取和地理信息相關行業新聞信息以及旅游景點新聞信息內容來豐富公司素材庫，為司南的APP、公眾號做內容推送提供精準素材。此項目為一期項目，分布式高并發爬蟲框架配合 MySQL 數據庫，獲取相關網址信息。

數據結構、地理數據庫、webGis等

通過獲取用戶下載 App 的行為和用戶喜好，基于對物品推薦算法進行研究，根據物品的長尾性原理，分析出用戶點擊、下載、安裝等行為間的關聯性，通過 MapReduce 和后期用 Spark 優化實現算法程序，對用戶流量進行切分，找到最合適的廣告投放策略，為用戶有針對性地推薦喜歡的商品，從而 給用戶更好的體驗以及給公司帶來更大的效益。

1. 參與研究基于物品的協同過濾相似度推薦算法 2 .負責 MapReduce、Spark 程序實現基本的算法以及后期的優化 3. 制定離線測試，線上試驗驗證結果，以確認是否達到與通投相比 CVR 提升到指定指標 4. 負責導出 App 相似度數據集，供后續廣告部門使用

為了更好的為用戶服務以及公司的長遠發展，通過日志信息的采集以及對數據多維度的分析， 分析網站中各個模塊的點擊、瀏覽、下載、安裝等行為，獲得用戶行為及價值取向等統計信息，例如批發商品在各個地區 Top 排行、日活用戶、月活用戶等，為公司各部門提供需求報表以及公司決策提供數據支持。

1. 負責從數據集取、轉換、清洗數據到數據存儲，以及數據處理功能的開發 2. 負責編寫 MapReduce 進行離線數據分析 3. 負責編寫通用任務工作鏈工具，作為統一的 Mapreduce 編寫標準。 4. 負責使用 Flume 歸集 Nginx 行為日志和 Tomcat 日志數據 5. 負責編寫 Shell 腳本及 Oozie 配置項目的調度與依賴

抽取和地理信息相關行業新聞信息以及旅游景點新聞信息內容來豐富公司素材庫，為司南的APP、公眾號做內容推送提供精準素材。此項目為一期項目，分布式高并發爬蟲框架配合 MySQL 數據庫，獲取相關網址信息。

1. 參與分布式網絡爬蟲系統平臺的架構設計與開發 2. 根據生產者消費者模式的分布式并發框架,編寫程序實現新聞頁面的下載,以 Python 語言實現過程 3. 研究反爬蟲策略，如封賬號、封 IP 等問題，提升網頁抓取的效率和質量 4. 將爬取的數據推送到 Kafka 隊列并上傳到 Hadoop 集群，供其他人使用。 5. 項目后期的維護和優化