未满18岁勿入10000,久久久国产99久久国产久一

填空題robots.txt文件必須放置在一個(gè)站點(diǎn)的（）目錄下，且文件名必須小寫(xiě)。

1.填空題網(wǎng)絡(luò)爬蟲(chóng)時(shí)一種按照一定的規(guī)則，（）請(qǐng)求萬(wàn)維網(wǎng)站并提取網(wǎng)絡(luò)數(shù)據(jù)的程序或腳本。

2.填空題當(dāng)網(wǎng)絡(luò)爬蟲(chóng)訪問(wèn)網(wǎng)站時(shí)，會(huì)優(yōu)先檢查該站點(diǎn)的根目錄下是否存在（）文件。

3.填空題robots.txt文件是（）訪問(wèn)網(wǎng)站時(shí)要查看的第一個(gè)文件，它會(huì)限制網(wǎng)絡(luò)爬蟲(chóng)的訪問(wèn)范圍。

4.填空題如果數(shù)據(jù)市場(chǎng)上沒(méi)有需要的數(shù)據(jù)，那么可以利用（）技術(shù)抓取網(wǎng)站上的數(shù)據(jù)。

5.填空題網(wǎng)絡(luò)爬蟲(chóng)的基本流程包括抓取網(wǎng)頁(yè)數(shù)據(jù)、（）、存儲(chǔ)數(shù)據(jù)。