[버그수정]

README.md

@@ -214,6 +214,7 @@ http://127.0.0.1:8000/
 - `POST /projects`
 - `GET /ontology/{domain}`
 - `POST /crawl`
+- `POST /crawl-site`
 - `GET /projects/{project_name}/entities`
 - `GET /projects/{project_name}/claims`
 - `PATCH /claims/{claim_id}/confidence`
@@ -221,6 +222,45 @@ http://127.0.0.1:8000/
 - `GET /projects/{project_name}/recommendation-tags`
 - `POST /recommend`
 
+## 사이트 순회 수집
+
+단일 상품 URL뿐 아니라 Seed URL에서 시작해 같은 도메인의 링크를 따라가는 수집도 지원합니다.
+
+```text
+Seed URL
+→ robots 확인
+→ 링크 추출
+→ same-domain 필터
+→ URL queue 저장
+→ depth / max pages 제한
+→ 각 페이지 fetch
+→ 상품/브랜드/리뷰 페이지 판별
+→ 분석
+→ DB 저장
+→ 다음 링크 반복
+```
+
+웹 UI에서는 `Crawl site from seed`를 사용합니다.
+
+API 예시:
+
+```bash
+curl -X POST http://127.0.0.1:8000/crawl-site \
+  -H "Content-Type: application/json" \
+  -d '{
+    "config_path": "configs/perfume_subscription.yaml",
+    "source_name": "official_brand_site",
+    "url": "https://example-brand.com",
+    "extractor_provider": "rule_based",
+    "max_depth": 2,
+    "max_pages": 50,
+    "same_domain_only": true,
+    "analyze_page_types": ["product", "brand", "review"]
+  }'
+```
+
+주의: 검색 결과 페이지나 robots가 막는 페이지는 수집하지 않습니다. 그런 데이터는 공식 API Provider로 붙이는 방식이 맞습니다.
+
 ## 향수 도메인 MVP
 
 기본 엔티티: