빅데이터 처리 후기 (검색엔진 처리)
빅데이터 처리 후기를 써본다. 진행 중인 사항이기 때문에 후기보다는 경과보고가 맞는것 같다. 이 글은 검색엔진 최적화(SEO)와 관계가 없다. 1. DB 설계를 최적화 해야할 것 (쿼리의 최적화) 이게 무슨 뜻이냐면, 쿼리를 아주 단순하게 날릴 수 있어야 한다는 것이다. SELECT, FROM, JOIN ON 막 이렇게 복잡하게 날리면 복잡도가 늘어난다. DB를 처음배울때 중복을 제거하는 정규화라는 것을 배우는데, 이 정규화를 깨버리면 성능이 올라간다. 물론 중첩에 대해서는 관리를 잘 해주어야한다. 쿼리는 되도록 PK 가 포함되도록 요청하는게 좋고, 조금만 복잡해 질것 같으면 SQL 에서 조건 제외하고, 실행 결과를 받아서 프로그램단에서 처리해야 한다. 2. 페이징 최적화를 해야할 것 전체 document 의 개수가 10만건이 넘었을 때, 2만 이상의 index 를 실행하면 응답이 매우 느린 것을 알 수 있다. 즉 페이지당 글이 15개이고, 1001 페이지를 불러올…