저희는 스크래핑을 쉽게 해드리기 위해 노력했습니다.00:00

인터넷상의 어떤 웹사이트든 스크래핑하기 위해 사용하실 필요가 있는 단 하나의 엔드포인트일 뿐입니다.00:02

잠시만요, 잠시만요, 잠시만요. 혹시 그렇게 생각하실 수도 있을 거예요, 클라우드플레어가00:09

저의 웹사이트를 스크래핑으로부터 보호하는 데 도움을 주실 수 있으신가요?00:15

그리고 말씀하신 대로 틀린 말씀이 아닙니다. 새로운 크롤링 엔드포인트요.00:19

귀하의 웹사이트의 robots.txt 파일을 존중합니다.00:23

따라서, 봇 사용을 금지하는 규칙이 있으시다면요.00:27

귀하의 웹사이트 콘텐츠를 스크래핑할 예정이며, 그러한 점을 존중하겠습니다. 또한, 설정하신 내용도 잘 따르겠습니다.00:30

혹시 봇 관리 규칙을 설정해두셨거나, WAAP 또는 턴스틸을 적용하신 경우, 해당 설정을 존중하겠습니다.00:37

즉, 귀하의 사이트가 클라우드페어 뒤에 있고 robots.txt 파일이 있다면, 이00:43

크롤링을 허용하거나, 또는 waaf 봇 관리 또는 턴스틸을 사용하시는 경우에 활용할 수 있습니다.00:50

봇을 차단하면 크롤링 엔드포인트가 귀하의 웹사이트를 스크래핑하지 않을 것입니다.00:57

간단한 데모로 보여드리겠습니다. 제가 '크롤 미 낫'이라는 웹페이지를 만들었어요.01:01

이제 이 웹페이지에는 모든 종류의 봇을 차단하는 robots.txt 파일이 있어요.01:07

실제로 작동하는 모습을 보여드리겠습니다. 지금 제가 인터랙티브한 놀이터도 추가했습니다.01:13

이를 통해 크롤 엔드포인트를 사용하여 웹사이트를 크롤링하실 수 있습니다.01:19

이제 필요하신 것을 준비해 주십시오.01:24

이 기능을 사용하려면 크라우드페어 계정 ID와 API 토큰이 필요합니다. 저는 이미 제 계정 ID를 설정했습니다.01:26

API 토큰이 필요하고, 당분간은 제 개인 웹사이트를 크롤링해 볼게요. 실행 분석을 누르면 작업이 시작되었고, 콘텐츠가 준비되면 결과를 보여줄 겁니다.01:32

여기서 볼 수 있듯이요.01:39

보고서와 함께01:45

보시다시피, 제 개인 웹사이트는 일부 차단되었습니다. 제가 원해서 그렇게 한 것입니다.01:49

보시다시피, 저희 웹사이트의 페이지를 정말 많은 양을 크롤링할 수 있었습니다.02:02

크롤 미 낫(crawl me not) 웹사이트에서도 동일한 결과를 시도해 보겠습니다. 페이지를 새로고침하고 여기 URL을 업데이트했습니다.02:08

자, 그럼 이제 분석을 다시 한번 진행해 보겠습니다. 보시다시피, 시작되었네요.02:15

새로운 업무를 시작하게 되면, 이 사이트를 탐색하는 과정이 끝난 후 결과를 함께 확인해 보도록 하겠습니다.02:20

보시다시피, 저희 웹사이트에 robots.txt 파일이 있어서가 아니라 다른 이유로 크롤링이 불가능한 것으로 보입니다.02:39

거기에 금지 규칙이 포함되어 있습니다.02:46

만약 규칙 자체를 정확히 확인하시는 대신에 관심이 있으시다면요.02:49

robots.txt 파일에 다음과 같은 내용이 있습니다. 저희는 다양한 종류의 봇을 차단하고 있기 때문에 다시 한번 말씀드립니다.02:54

크롤링 엔드포인트는 이를 존중하고 해당 웹사이트를 스크래핑하지 않을 것입니다.03:02

따라서, 고객님께서 사이트 스크래핑으로부터 보호받기 위해 신뢰하시는 저희 회사가 그 점을 확실히 하고 있습니다.03:06

귀하에게 적합한 일이 있을 것입니다.03:14

웹사이트를 스크래핑하실 수 있도록 크롤 엔드포인트를 사용하실 수 있는 방법이 있지만요.03:14

크롤링을 방지하기 위해 크롤 엔드포인트를 스크래핑하지 않도록 다양한 규칙을 설정하고 싶습니다.03:21

네, 그렇게 하겠습니다. 이것은 크롤 미(Crawl Me)와 크롤 엔드포인트에 대한 간단한 시연이었습니다.03:28

크롤 엔드포인트를 활용한 더 재미있는 데모들을 작업 중인데, 혹시 크롤 엔드포인트를 이용해서 무언가를 만드시는 분이 계시다면 알려주세요. 무엇을 만드시는지 보고 싶습니다. 다음 영상에서 뵙겠습니다.03:35

다음 영상에서 뵙겠습니다.03:41