91精品国产手机在线-白筒袜嫩萝双腿之间乳白液体-青青操手机在线视频观看-日本中文字幕人妻日韩-日韩精品在线观看视频网站-天堂资源中文最新版在线一区-欧美专区一区二区三区-国产综合亚洲欧美在线-国产精品久久久久久福利69堂

什么是爬蟲技術(shù) 什么是爬蟲技術(shù)?怎樣來判斷爬蟲行為是不是合法的?

【什么是爬蟲技術(shù) 什么是爬蟲技術(shù)?怎樣來判斷爬蟲行為是不是合法的?】

什么是爬蟲技術(shù) 什么是爬蟲技術(shù)?怎樣來判斷爬蟲行為是不是合法的?

文章插圖
1、爬蟲技術(shù)即網(wǎng)絡(luò)爬蟲(又稱為網(wǎng)頁蜘蛛,網(wǎng)絡(luò)機器人,在FOAF社區(qū)中間,更經(jīng)常的稱為網(wǎng)頁追逐者),是一種按照一定的規(guī)則,自動地抓取萬維網(wǎng)信息的程序或者腳本 。另外一些不常使用的名字還有螞蟻、自動索引、模擬程序或者蠕蟲 。
2、網(wǎng)絡(luò)爬蟲按照系統(tǒng)結(jié)構(gòu)和實現(xiàn)技術(shù),大致可以分為以下幾種類型:通用網(wǎng)絡(luò)爬蟲(GeneralPurposeWebCrawler)、聚焦網(wǎng)絡(luò)爬蟲(FocusedWebCrawler)、增量式網(wǎng)絡(luò)爬蟲(IncrementalWebCrawler)、深層網(wǎng)絡(luò)爬蟲(DeepWebCrawler) 。實際的網(wǎng)絡(luò)爬蟲系統(tǒng)通常是幾種爬蟲技術(shù)相結(jié)合實現(xiàn)的 。

    推薦閱讀