多項(xiàng)選擇題按照使用場景，可以將爬蟲劃分為哪幾種？（）

A.表層爬蟲
B.聚焦網(wǎng)絡(luò)爬蟲
C.通用網(wǎng)絡(luò)爬蟲
D.深層爬蟲


您可能感興趣的試卷

你可能感興趣的試題

1.多項(xiàng)選擇題下列選項(xiàng)中，屬于應(yīng)對(duì)反爬蟲策略的是（）

A.降低訪問頻率
B.使用代理ip
C.識(shí)別驗(yàn)證碼
D.偽裝User-agent

2.多項(xiàng)選擇題下列選項(xiàng)中，屬于URL 的組成元素的是（）

A.IP地址
B.服務(wù)器
C.路徑
D.協(xié)議頭

3.多項(xiàng)選擇題關(guān)于聚焦爬蟲的工作原理，下列描述正確的是（）

A.根據(jù)一定的搜索策略，從URL 隊(duì)列中選擇下一步要抓取的網(wǎng)頁URL
B.我們需要根據(jù)爬取需求定義聚焦爬蟲的爬取目標(biāo)，并進(jìn)行相關(guān)的描述
C.聚焦爬蟲會(huì)根據(jù)一定的網(wǎng)頁分析算法過濾與主題無關(guān)的鏈接，保留有用的鏈接
D.有用的鏈接會(huì)放入等待抓取的URL 隊(duì)列

4.單項(xiàng)選擇題下列選項(xiàng)中，用于在robots.txt 文件中描述搜索引擎名字的是（）

A.Disallow
B.Allow
C.accept
D.User-agent

5.單項(xiàng)選擇題用于robots.txt 文件中，標(biāo)記不允許的是（）

A.disallow
B.User-agent
C.allow