스크래퍼

셀레니움을 활용한 스크래퍼 만든 소회

노마드코더(nomadcoder.co)에서 니꼬쌤에게 배운 파이썬으로 혼자 로켓펀치 스크래퍼를 만들어봤다. 첨엔 강의에서 배운대로 따라하면 금방 만들겠지(?)라는 생각으로 재밌겠다고 시작했다. 허나 왠걸, 로켓펀치는 자바스크립트(를 사용한 것 같다)를 통해 브라우저에서 페이지를 로딩하는 것 형식이라 indeed나 stackoverflow와 다르게 requests만으로 html소스를 가져올 수가 없었다. pagination에서 마지막 페이지를 가져오는 것조차 아예 긁어와지지 않는다면 처음부터 다른 방법을 찾았을텐데 난 내가 css selector를 잘못 선택한 줄 알았다. 근데 오히려 지금 생각해보면, 어떨때는 html 태그가 가져와지는 것 자체가 css selector 문제는 아니란거네. 암튼, 그래서 찾..