正文

數(shù)據(jù)抓取軟件（爬蟲(chóng)數(shù)據(jù)抓取軟件）

發(fā)布時(shí)間：2023-03-21 05:59:16 稿源：創(chuàng)意嶺閱讀： 600 問(wèn)大家

大家好！今天讓創(chuàng)意嶺的小編來(lái)大家介紹下關(guān)于數(shù)據(jù)抓取軟件的問(wèn)題，以下是小編對(duì)此問(wèn)題的歸納整理，讓我們一起來(lái)看看吧。

開(kāi)始之前先推薦一個(gè)非常厲害的Ai人工智能工具，一鍵生成原創(chuàng)文章、方案、文案、工作計(jì)劃、工作報(bào)告、論文、代碼、作文、做題和對(duì)話答疑等等

只需要輸入關(guān)鍵詞，就能返回你想要的內(nèi)容，越精準(zhǔn)，寫(xiě)出的就越詳細(xì)，有微信小程序端、在線網(wǎng)頁(yè)版、PC客戶端

官網(wǎng)：https://ai.de1919.com

如需咨詢小紅書(shū)相關(guān)業(yè)務(wù)請(qǐng)撥打175-8598-2043，或微信：1454722008

本文目錄:

1、fiddler2 是什么？電腦管家顯示半年都沒(méi)有用過(guò)，可以卸載嗎？
2、基于百度地圖API的城市數(shù)據(jù)采集方式
3、有沒(méi)有能夠自動(dòng)定時(shí)抓取某個(gè)網(wǎng)站數(shù)據(jù)的軟件或工具
4、有什么軟件能抓取圖片上的數(shù)據(jù)導(dǎo)入到excel中去？

數(shù)據(jù)抓取軟件（爬蟲(chóng)數(shù)據(jù)抓取軟件）

一、fiddler2 是什么？電腦管家顯示半年都沒(méi)有用過(guò)，可以卸載嗎？

您好：

fiddler2是一款數(shù)據(jù)包抓取軟件，如果您平時(shí)使用不到這款fiddler2軟件的話，您可以打開(kāi)騰訊電腦管家的軟件管理，然后使用軟件管理的軟件卸載功能將其一鍵卸載掉的哦，您可以點(diǎn)擊這里下載最新版的騰訊電腦管家：騰訊電腦管家下載

二、基于百度地圖API的城市數(shù)據(jù)采集方式

在進(jìn)行定量城市分析時(shí)（如研究某市某片區(qū)的空間分析），需要用到地理位置信息以及現(xiàn)狀設(shè)施建筑等的分布情況，這就必須獲得相關(guān)的地理坐標(biāo)信息。因此數(shù)據(jù)的獲取與處理是進(jìn)行定量城市分析所需的前置作業(yè)，此階段的工作決定了后續(xù)分析的效度和質(zhì)量。

這里采集數(shù)據(jù)使用到的工具是火車頭采集器8.5。

火車頭采集器一款互聯(lián)網(wǎng)數(shù)據(jù)抓取、處理、分析，挖掘軟件，可以抓取網(wǎng)頁(yè)上散亂分布的數(shù)據(jù)信息，并通過(guò)一系列的分析處理，準(zhǔn)確挖掘出所需數(shù)據(jù)。

特點(diǎn)：采集不限網(wǎng)頁(yè)，不限內(nèi)容；

分布式采集系統(tǒng)，提高效率；

支持PHP和C#插件擴(kuò)展，方便修改處理數(shù)據(jù)，但需要懂得火車頭規(guī)則或者正則表達(dá)式。

API是一些預(yù)先定義的函數(shù)，目的是提供應(yīng)用程序開(kāi)發(fā)人員基于某軟件或硬件得以訪問(wèn)一組程序的能力，而又無(wú)需訪問(wèn)源碼，或理解程序內(nèi)部工作機(jī)制的細(xì)節(jié)。API服務(wù)商在提供數(shù)據(jù)的同時(shí)也在收集用戶的信息，這是一個(gè)雙向過(guò)程。

百度地圖Web服務(wù)API中提供了地點(diǎn)檢索服務(wù)、正/逆地理編碼服務(wù)、路線規(guī)劃、批量算數(shù)、時(shí)區(qū)服務(wù)、坐標(biāo)轉(zhuǎn)換服務(wù)及鷹眼軌跡服務(wù)等。其中地點(diǎn)檢索服務(wù)（又名Place API），提供多種場(chǎng)景的地點(diǎn)（POI）檢索功能，包括城市檢索、周邊檢索、矩形區(qū)域檢索。

以通過(guò)百度地圖API獲取綿陽(yáng)市飯店數(shù)據(jù)為例。

1.申請(qǐng)百度地圖開(kāi)放平臺(tái)開(kāi)發(fā)者秘鑰

首先打開(kāi)百度地圖開(kāi)放平臺(tái)（http://lbsyun.baidu.com/index.php?title=%E9%A6%96%E9%A1%B5），點(diǎn)擊右上角控制臺(tái)，再點(diǎn)擊應(yīng)用管理→我的應(yīng)用→創(chuàng)建應(yīng)用，申請(qǐng)開(kāi)發(fā)者秘鑰（ak），并選擇以下服務(wù)項(xiàng)。

2.通過(guò)接口獲取詳細(xì)地理信息

開(kāi)發(fā)者可以通過(guò)接口獲取地點(diǎn)（POI）基礎(chǔ)或詳細(xì)地地理信息。其返回的是Json類型數(shù)據(jù)（一個(gè)區(qū)域最大返回?cái)?shù)是400，每頁(yè)最大返回?cái)?shù)為20）。當(dāng)某區(qū)域、，某類POI個(gè)數(shù)多于400時(shí)，可以選擇把該區(qū)域分成子區(qū)域進(jìn)行檢索或通過(guò)矩形、圓形區(qū)域方式進(jìn)行檢索查閱頁(yè)面中Place檢索格式和實(shí)例如下：

格式： http://api.map.baidu.com/place/search?&query=關(guān)鍵字&bounds=查詢區(qū)域&output=輸出格式類型&key=用戶密鑰

實(shí)例： http://api.map.baidu.com/place/search?&query=ATM機(jī)&bounds=綿陽(yáng)&output=json&ak=你的密鑰 (你的秘鑰就是上一步申請(qǐng)得到的)

（什么是Place API詳細(xì)說(shuō)明可見(jiàn)此網(wǎng)址https://developer.baidu.com/map/place-api.htm#.E4.BB.80.E4.B9.88.E6.98.AFPlace_API.EF.BC.9F）

其中“關(guān)鍵字”、“查詢區(qū)域”、“輸出格式類型”、“用戶秘鑰”可以根據(jù)自己的需要替換，而page_num為選填項(xiàng)，表示分頁(yè)碼，因?yàn)橹挥性O(shè)置了page_num字段才會(huì)在結(jié)果頁(yè)面中返回標(biāo)識(shí)總條數(shù)的total字段，方便在火車采集器中做相關(guān)設(shè)置，如下：

http://api.map.baidu.com/place/v2/search?&query=飯店&tage=美食®ion=綿陽(yáng)&output=json&page_num=0&ak=kRA0vIfH6UHEVYUAhPLnkS72BwtVBYnI

訪問(wèn)該網(wǎng)址，返回結(jié)果如下圖：

3.用火車頭采集器采集地理信息

在火車頭軟件中，首先點(diǎn)擊左上角的“新建”，然后點(diǎn)擊“分組”進(jìn)入新建界面自己命名然后保存既可。建好分組后，再點(diǎn)擊新建。然后點(diǎn)擊“任務(wù)”，命名為“百度API”。

然后在第一步--采集規(guī)則頁(yè)面，點(diǎn)擊“添加”鍵，在添加開(kāi)始采集網(wǎng)址頁(yè)面，選擇“批量/多頁(yè)”方式獲取地址格式，在地址格式一欄中填入Place檢索鏈接，并將page_num字段用(*)標(biāo)識(shí)為變量，選擇等差數(shù)量方式，在項(xiàng)數(shù)與返回Json結(jié)果中total字段一致，公差為1。

在訪問(wèn)百度地圖API接口返回的Json網(wǎng)頁(yè)中，在需要提取信息處復(fù)制該條信息。例如復(fù)制此處獲得“name”:周肥腸（總店）”，。

在火車頭采集器第二步采集內(nèi)容規(guī)則頁(yè)面，添加標(biāo)簽，標(biāo)簽名填入“名稱”，提取數(shù)據(jù)方式處選擇“前后截取”，在標(biāo)簽編輯頁(yè)用（*）代替要采集的內(nèi)容，并將要采集內(nèi)容的前后內(nèi)容分別填入“開(kāi)始字符串”、“結(jié)束字符串處”。

經(jīng)度、緯度的獲取方式與“名稱”方式相同。

添加完成后，點(diǎn)擊規(guī)則測(cè)試頁(yè)面的“測(cè)試”鍵，對(duì)POI的“名稱”、“經(jīng)度”、“緯度”三種標(biāo)簽進(jìn)行測(cè)試，測(cè)試可以得到正確獲取信息之后，進(jìn)入“第三步：發(fā)布內(nèi)容設(shè)置”頁(yè)面，選擇“方式二：保存為本地Word，Excel，Html，Txt等文件”，并制作與標(biāo)簽相對(duì)應(yīng)的Gsv格式的模板，完成后，點(diǎn)擊“保存”按鈕，采集數(shù)據(jù)就完成了。

退回到主界面，在“采網(wǎng)頁(yè)”及“采內(nèi)容”下打?qū)?，點(diǎn)擊開(kāi)始任務(wù)，即可完成百度地圖綿陽(yáng)市飯店的數(shù)據(jù)獲取。

三、有沒(méi)有能夠自動(dòng)定時(shí)抓取某個(gè)網(wǎng)站數(shù)據(jù)的軟件或工具

可以試下爬一爬采集器，先創(chuàng)建任務(wù)，可在已創(chuàng)建好的任務(wù)中配置任務(wù)調(diào)度，讓任務(wù)在云端按計(jì)劃進(jìn)行數(shù)據(jù)采集自動(dòng)抓取。官網(wǎng)有介紹。希望幫到你。

下面這個(gè)截圖就是我建立的安居客二手房數(shù)據(jù)，然后在管理選項(xiàng)，設(shè)置了cron表達(dá)式，用來(lái)設(shè)置抓取的頻率

四、有什么軟件能抓取圖片上的數(shù)據(jù)導(dǎo)入到excel中去？

去知網(wǎng)下載 CAJViewer 軟件。里面有從圖片抓取文字功能然后可以拷貝到EXCEL。

以上就是關(guān)于數(shù)據(jù)抓取軟件相關(guān)問(wèn)題的回答。希望能幫到你，如有更多相關(guān)問(wèn)題，您也可以聯(lián)系我們的客服進(jìn)行咨詢，客服也會(huì)為您講解更多精彩的知識(shí)和內(nèi)容。