趙老師,
最近一直有個問題得不到解決,網(wǎng)站做了robots協(xié)議,書寫規(guī)則都是正確的已查證,書寫中直接禁止爬蟲抓取站點,屏蔽所有爬蟲禁止訪問網(wǎng)站,但是首頁依然收錄了,這個是什么問題導(dǎo)致的呢?具體該怎么做禁止爬蟲抓取頁面
趙老師,
最近一直有個問題得不到解決,網(wǎng)站做了robots協(xié)議,書寫規(guī)則都是正確的已查證,書寫中直接禁止爬蟲抓取站點,屏蔽所有爬蟲禁止訪問網(wǎng)站,但是首頁依然收錄了,這個是什么問題導(dǎo)致的呢?具體該怎么做禁止爬蟲抓取頁面
換言之,這種情況避免不了?