Politeness
Explicit Politeness
- Sitemaps
- Google에 의해 도입된 open standard 임
- xml based
- webmaster가 web crawler에게 힌트를 줄 수 있도록 할 수 있음
- Location of pages (URL islands)
- 각 페이지의 상대적 중요성
- 페이지의 업데이트 주기
Robots.txt
- 스파이더(crawling bot)에게 웹사이트의 제한된 접근을 알려주기 위한 프로토콜
- 어떤 것이 크롤링 가능하고 불가능한지에 대해 알려줌
Domain Name Server
일반적인 OS 구현은 DNS lookup을 한번에 하나의 요청만 처리하기에 blocking이 일어나게 됨
해결책
- Caching
- Batch requests
What is XML sitemap priority & sitemap change frequency & are they needed for SEO?
Key takeaways
- sitemap
priority values, ranging from 1.0 to 0.0, 은 search engine에게 페이지의 중요성을 알려주는 값임. 그러나 그것이 더 향상된 검색을 제공하는 것은 아님. Google이 그 값을 이용해서 indexing을 하지는 않기에
Change frequency는 검색 엔진에게 얼마나 자주 페이지의 컨텐츠가 업데이트되는지를 알려주는 값. crawling prioritization에 힌트를 줄수 있음
- 사이트의 키 페이지에 정확한 priority value를 할당하는 것은 검색엔진이 사이트 컨텐츠의 구조와 계층에 대해 이해하는데 도움을 줄 수 있음
- XML sitemap에 대한 정기적인 업데이트는 효과적인 SEO에 도움을 줌. 왜냐하면 검색엔진에게 가장 최신의 유의미한 컨텐츠를 알려줄수 있기 때문임
Google Search Central — XML Sitemap
XML Sitemap tag
<changefreq>, <loc>, <lastmold>, <URL> and <urlset>priority values
crawl budget : Crawl budget is the number of URLs on your website that search engines like Google will crawl (discover) in a given time period. And after that, they’ll move on.
crawl budget이 있기에, priority value는 크롤러에게 그들이 어디를 먼저 봤으면 좋겠는지를 알려주는 값이 될 수 있음
1.0-0.8: High priority
Homepage, product information, landing pages, category pages
0.7-0.4: Mid-range priority
News articles, weather services, blog posts, pages that no site would be complete without.
0.3-0.0: Low priority
FAQs, old news stories, old press releases, completely static pages that are still relevant
Best practices for optimizing priority tags
Prioritize the most important pages
- These are typically your homepage, product pages and other high value pages. Assign these pages higher numbers (0.8-1.0).
- Use a consistent approach (블로그 게시글 하나에 0.7을 부여했다면 다른 게시글에도 0.7을 부여하기)
Priority tag는 사이트의 계층구조를 반영해야 한다
For example, if you have a large e-commerce store with many product categories, you’d want to assign higher values to product category pages than to individual product pages.
- 정기적으로 업데이트하기
Sitemap priority vs change frequency: What’s the difference
- sitemap priority는 페이지의 중요성을 나타내는 값이고
- change frequency는 얼마나 자주 컨텐츠가 업데이트 되는지를 나타내는 값임
changefreq attributes
Always
These are pages that are constantly changing and include index pages on major news publications, Google News, stock market data and social bookmarking categories.
Hourly
These pages update every hour and will also include major news publications as well as weather services and forums.
Daily
Pages updated on average once per day and include things like blog posts, smaller web forum pages, message boards and classified ads.
Weekly
Updates typically occur once per week, these pages will include website directories, product info and pricing pages as well as less frequent blogs.
Monthly
include category pages, FAQs, Help Desk articles that require occasional updates.
Yearly
typically your contact page, “About” page, login pages and registration pages.
- Never
sitemap priority와 change frequency 사이의 균형맞추기
이것은 주로 각각의 분명한 목적을 인지하고, 크롤링 봇이 사이트를 들어왔을때 어떻게 가이드를 할지를 포함한다.
균형잡힌 이 태그들의 사용은 크롤링 봇에게 최신 컨텐츠 업데이트를 알려주고, 잠재적으로 새로운 정보와 새로운 페이지에 대한 시기적절한 인덱싱(검색 엔진 인덱싱)을 도와줄 수 있음
Tools and resources for managing sitemaps
- sitemap generators
- Google Search Console : sitemap을 Google에게 제출하는 것은 구글이 웹사이트의 계층을 이해할 수 있게 도와주고 페이지가 적절히 인덱싱되도록 해줌