所有工具

爬蟲能否存取,
清楚看見。

依指定網址檢查搜尋與 AI 爬蟲的 robots.txt 規則,查看命中的規則、HTTP 索引標記與 sitemap 回應。

讀取網頁、robots.txt 與最多三個同來源 sitemap。允許爬取不保證索引或 AI 引用;結果依本工具收到的回應判斷,並非各爬蟲的實際造訪。

存取依據