社會543 爬蟲說明

本文件為草稿，上線前請委請熟悉網路與著作權法的律師審閱。

新聞收錄程式

社會543 的新聞收錄程式使用以下 User-Agent：

Mozilla/5.0 (compatible; tw543-bot/1.0; +https://tw543.cc/bot)

我們抓取什麼

• 讀取媒體公開提供的 RSS／Atom 訂閱，或媒體提供給搜尋引擎的新聞網站地圖（sitemap）；
• 撰寫（或編輯要求重新撰寫）報導時，讀取該則新聞的原文網頁，只用來整理事實，不保存、不轉載原文；
• 不下載新聞照片與影音。

我們如何降低對網站的負擔

• 每個來源每 10～30 分鐘最多抓取一次；
• 使用條件式請求（ETag、If-Modified-Since），內容沒有更新就不重複下載；
• 遵守 robots.txt：若 robots.txt 禁止 tw543-bot 或所有爬蟲存取 RSS、sitemap 或新聞網址，我們就不會抓取；
• 抓取失敗時會記錄錯誤，不會連續重試。

不希望被收錄？

可以在網站的 robots.txt 加上：

• User-agent: tw543-bot
• Disallow: /

或來信 [email protected]，我們會立即停用該來源；已收錄的新聞摘要也可以依要求下架。