職位描述
崗位職責:1、負責分布式網(wǎng)絡爬蟲系統(tǒng)及數(shù)據(jù)庫的設計與開發(fā);2、維護和優(yōu)化已有的爬蟲服務;3、負責爬蟲核心算法的策略優(yōu)化研究,設計爬蟲策略和防屏蔽規(guī)則,充分利用資源,提升網(wǎng)頁抓取的效率和質(zhì)量;4、負責數(shù)據(jù)平臺建設,數(shù)據(jù)清洗、處理,提供數(shù)據(jù)服務以及數(shù)據(jù)管理;5、分析、理解大數(shù)據(jù)業(yè)務需求,設計技術方案并落地實施6、處理各個業(yè)務在使用數(shù)據(jù)平臺過程中的各種問題,分析并給出優(yōu)化方案;7、可以獨立跟進需求項目開發(fā)進度;任職資格:1、計算機相關專業(yè),4年及以上數(shù)據(jù)采集和大數(shù)據(jù)生態(tài)開發(fā)工作經(jīng)驗;2、Python服務器應用開發(fā)經(jīng)驗,熟悉Django/flask等web開發(fā)框架。并具有獨立搭建、維護和優(yōu)化Django/flask框架和系統(tǒng)的能力。3、掌握網(wǎng)絡爬蟲開發(fā)原理,對互聯(lián)網(wǎng)各種類型數(shù)據(jù)交互模式熟悉,知道如何處理需登錄網(wǎng)站、動態(tài)網(wǎng)頁等各種情況下的數(shù)據(jù)采集方法。4、有網(wǎng)絡爬蟲開發(fā)經(jīng)驗、有scrapy等開源抓取工具開發(fā)經(jīng)驗優(yōu)先。5.熟悉常用數(shù)據(jù)庫(MySQL/Oracle/SQLSever) ,熟悉索引技術和SQL優(yōu)化6.精通大數(shù)據(jù)生態(tài)技術:有Hadoop、Zookeeper、HBase、Hive、Flume、Kafka、Sqoop、Spark等實際項目經(jīng)驗。7、對代碼和設計質(zhì)量有嚴格要求,重視代碼檢查和審核,良好的編程習慣的標準;8、具備良好的學習能力、溝通能力和團隊協(xié)作精神,對技術有非常強烈的熱情;
企業(yè)介紹
蘇州百捷信息科技有限公司隸屬于賽博威集團,廣東賽博威信息科技有限公司(以下簡稱:賽博威)是信息產(chǎn)業(yè)內(nèi)多元化發(fā)展的大型企業(yè),自成立以來,通過信息技術革新和行業(yè)智慧創(chuàng)新,以及憑借眾多的高科技和IT專家和人才,結(jié)合超25年核心行業(yè)(大消費、房地產(chǎn)物業(yè)、石化等)經(jīng)驗,致力于為企業(yè)提供數(shù)字化咨詢、軟件技術實施與運營服務。賽博威在華南(廣州)、華東(蘇州)設有兩大交付中心,同時在華南(廣州)還設有服務中心,業(yè)務范圍面向全國,輻射亞太,目前公司員工已超過600人,其中80%為專業(yè)技術團隊人員。賽博威深耕大消費行業(yè),憑借豐富的資源與經(jīng)驗沉淀,已形成一體化數(shù)字營銷平臺-TPM、微鏡大數(shù)據(jù)分析、新零售SBC產(chǎn)業(yè)電商平臺等企業(yè)數(shù)字賦能產(chǎn)品系列,同時面向房地產(chǎn)、物業(yè)以及石化行業(yè),有成熟的智慧社區(qū)物管系統(tǒng),智慧物流管理系統(tǒng)、無人值守地磅稱重系統(tǒng)等智慧科技產(chǎn)品系列。目前賽博威已成為寶潔、瑪氏、維他奶、屈臣氏、強生、小罐茶、中石化、廣州地鐵、泛海物業(yè)、珠海正方、富力地產(chǎn)、歐派等多家知名大型企業(yè)的長期IT軟件服務合作伙伴。未來,賽博威將秉承面向客戶-客戶至上、誠實守信、合作共贏,面向員工-探索創(chuàng)新、簡單快樂、彼此成就的企業(yè)價值觀以及全渠道數(shù)字營銷產(chǎn)品體系、扎實的大數(shù)據(jù)分析能力與IT建設及運維服務能力,攜手B端客戶為C端消費者提供更便捷、舒適的生活體驗,致力于成為企業(yè)數(shù)字賦能的領跑者。蘇州地址:工業(yè)園區(qū)啟月街288號紫金東方C座2樓216廣州:廣州市越秀區(qū)先烈中路73號穗豐大廈C座7-8樓 廣州市黃埔區(qū)科學城彩頻路11號廣東軟件園F棟10樓、12-13樓