초기 계획
픽시브에서 주는 이미지url 을 긁어와서 나만의 몰루 사이트에 렌더링하고 싶었다.
픽시브 썸네일 이미지 url 60장을 긁어오기는 성공했고, 이제 렌더링만 하면 되겠지 생각했다.
하지만 렌더링 과정에서 문제가 생겼다.
픽시브의 nginx 설정으로 인한 문제에 봉착
픽시브에서는 nginx에서 지정된 referer 이외엔 리소스 접근을 차단하는 설정을 하고 있다.
내가 접근하려는 리소스는 이미지인데, 이미지 url 을 알아도 지정된 referer 설정 때문에 접근할 수 없는 것이다.
따라서 referer 헤더가 https://www.pixiv.net/가 아니면 nginx 에서 접근을 차단하여 아래처럼 403 에러가 뜬다.
사실 이건 처음 구상할때 알고 있었는데 분명 postman 으로 referer 헤더만 설정해두면 되길래 어려울거 없다고 생각했다.
하지만 이게 생각처럼 쉽게 해결되는 문제가 아니었다.
브라우저에서는 임의로 referer 를 설정할 수 없다.
이놈의 referer 헤더를 설정하려고 별짓을 다 해보고 챗GPT를 혹사시키기도 해봤지만 얻은 결론이었다.
결국 따로 이미지 저장할 필요 없이 픽시브에서 주는 이미지 주소를 날로 먹으려 했는데 노선을 변경해야할듯.
아무래도 이미지를 저장해서 렌더링하는 방향으로 잡아야 할것 같다.
'픽시브 크롤링 해보기 > 기능구현' 카테고리의 다른 글
[BE] 픽시브 짤 다운로더 구현 (0) | 2023.11.29 |
---|---|
[BE] 셀레니움을 이용한 스크롤 자동화 (0) | 2023.11.26 |
[BE] 픽시브 몰루 짤 크롤링 API (0) | 2023.11.24 |