버튼 수집상

웹 로봇사람과의 상호작용 없이 연속된 웹 트랜잭션들을 자동으로 수행하는 소프트웨어'크롤러', '스파이더', '웜', '봇' 인터넷 검색엔진은 웹을 돌아다니면서 그들이 만나는 모든 문서를 끌어오기 위해 크롤러를 사용한다.크롤러가 리퀘스트를 빠르게 요청하면서 네트워크 대역폭을 다 차지하는 현상을 방지해야 한다.URL 인덱싱크롤러는 어떤 URL이 방문했던 곳인지 빠르게 결정하기 위해 검색 트리나 해시 테이블을 필요로 함.다양한 형식의 URL을 표준형식으로 정규화할 수 있다.첫번째 URL두번째 URL두 URL이 같은 경우http://www.foo.com/bar.htmlhttp://www.foo.com:80/bar.html기본포트가 80번http://www.foo.com/~fredhttp://www.foo.com..