爬蟲采集亞馬遜數據庫

  

做亞馬遜懂技術的很多人都在用爬蟲采集亞馬遜數據庫，但很多新手不是很理解，下面一米亞馬遜采集軟件就來和大家介紹一下。


爬蟲采集亞馬遜數據庫


scrapy-amazon(亞馬遜爬蟲)


基于scrapy的亞馬遜的爬蟲


默認python3環境，python2未測試


默認抓取手機版亞馬遜


默認采集亞馬遜指定關鍵詞所有商品


采集屬性包括商品名稱、鏈接、圖片地址、ASIN、商品描述、評論等等


爬取到的數據存儲到MongoDB數據庫


未開源版本新增功能


支持采集指定不同國家的亞馬遜(美國亞馬遜、日本亞馬遜等等)


支持指定代理IP訪問,減少亞馬遜Robot Check幾率


支持采集、發布日志保存到文件,方便查詢


接入百度翻譯、有道翻譯、騰訊翻譯,自定義語種實現偽原創


支持采集到的數據清洗偽原創一鍵發布到wordpress(帶特色圖片)


支持發布去重、減少網站被K幾率


一米軟件提醒您：建議自行指定IP池，隨機更換User-Agent，防止被封

相關資訊

推薦軟件