최근 만들고 있는 제품은 데이터 수집이 핵심이다.워낙 데이터 수집 관련된 강의도 오래 했고, 웹에 대한 이해도 있는 편이라 크롤링은 전혀 문제가 없다고 생각했다. 실제로 지금까지는 대부분 문제가 없었다.정말 특별한 경우(인스타그램의 데이터를 API 없이 수집해야 하거나..)가 아니고서야, 정적 페이지를 받아와 파싱해서 처리했었다. 지금 수집해야 하는 웹은 살펴보니 모든 홈 접근 외에 모든 페이지 이동이 POST로 이뤄져있었다…. Continue reading →