OpenAI, 사이트 관리자를 위한 웹 크롤러 차단 규칙 공개
* 공식 - GPTBot
https://platform.openai.com/docs/gptbot
* The Verge 기사 - Now you can block OpenAI’s web crawler
https://www.theverge.com/2023/8/7/23823046/openai-data-scrape-block-ai
[요약]
사이트 관리자는 OpenAI의 GPT 모델을 훈련하기 위해 접근하는 웹 크롤러를 차단할 수 있습니다. 아래 공식 설명 번역.
[차단 방법]
1) robots.txt 만들기
1-1) 크롤링 허용(allow)할 부분 정하기
2) IP 대역 차단하기
https://openai.com/gptbot-ranges.txt 참조…
via: https://clien.net/service/board/news/18233250?od=T31&po=0&category=0&groupCd=