單項選擇題用于robots.txt 文件中,標記不允許的是()
A.disallow
B.User-agent
C.allow
您可能感興趣的試卷
你可能感興趣的試題
1.單項選擇題下列選項中,被稱為主題網(wǎng)絡爬蟲的是()
A.聚焦網(wǎng)絡爬蟲
B.深層網(wǎng)絡爬蟲
C.通用網(wǎng)絡爬蟲
D.增量式網(wǎng)絡爬蟲
2.單項選擇題下列數(shù)據(jù)中,能夠被網(wǎng)絡爬蟲抓取的是()
A.互聯(lián)網(wǎng)非公開信息
B.網(wǎng)站后臺信息
C.互聯(lián)網(wǎng)公開的且可訪問到的信息
D.用戶的注冊信息
4.判斷題深層網(wǎng)頁是指大部分內(nèi)容無法通過靜態(tài)鏈接獲取的,只能通過用戶提交一些關(guān)鍵詞才能獲取的網(wǎng)頁,如用戶注冊后內(nèi)容才可見的網(wǎng)頁。
最新試題
以下哪些是Python中的列表方法?()
題型:多項選擇題
哪些選項描述了在Python中類的正確定義和使用?()
題型:多項選擇題
在Python中,縮進的空格數(shù)是固定的。
題型:判斷題
在Python中,所有字符串都是Unicode字符串。
題型:判斷題
在Python中,字符串是可變的。
題型:判斷題
在Python中,函數(shù)的參數(shù)必須是位置參數(shù)。
題型:判斷題
以下哪些是Python中的模塊導入方式?()
題型:多項選擇題
在面向?qū)ο缶幊讨?,抽象類是一個可以實例化的類。
題型:判斷題
在Python中,以下哪些語句可以用于生成整數(shù)序列?()
題型:多項選擇題
在Python中,函數(shù)的參數(shù)可以有默認值。
題型:判斷題