ChatGPT的開發商OpenAI在去年公開其網頁爬蟲”GPTBot“相關資訊之後,
個人便立刻按照說明文件著手更新robots.txt,將GPTBot給加入拒絕名單了,
畢竟放給它檢索對吸引新讀者毫無幫助,僅僅就只是增加我的伺服器負擔而已;
然而坊間推出AI相關服務的廠商如雨後春筍,其中大部份卻不見得像OpenAI那樣真小人、
肯光明正大的介紹自己的爬蟲機制,面對如此情況…..又該如何過濾即將湧來的大批bot呢?
根據從iThome看到的報導,Cloudflare日前所推出的AI內容爬蟲封鎖功能,或許可以解決這個問題!
記錄一些旅行遊記、有趣科技發明、紳士研究、ACG相關新聞與心得；為一受阿部馬賽克守護、可說完全看不到任何奇怪內容的清純部落格！