20 Commits

Author SHA1 Message Date
lasta
1fa033e739 q 2026-05-30 14:54:46 +09:00
LASTA_DEV01\lasta
a358f221ff [페이지 분류 강화 작업] 2026-05-22 20:16:28 +09:00
LASTA_DEV01\lasta
93980da14d 1 2026-05-22 19:07:07 +09:00
lasta
d841fb823a graph 2026-05-22 00:22:03 +09:00
LASTA_DEV01\lasta
d2c3d9e79c db 2026-05-20 21:10:52 +09:00
LASTA_DEV01\lasta
8b6eb33d42 db 2026-05-20 21:03:20 +09:00
LASTA_DEV01\lasta
de46b657c2 domain builder 2026-05-20 20:59:40 +09:00
LASTA_DEV01\lasta
651c47d698 1 2026-05-20 18:43:08 +09:00
LASTA_DEV01\lasta
fc69dfd063 [crawler_platform 삭제] 2026-05-20 13:21:08 +09:00
LASTA_DEV01\lasta
e260e5f218 docs 2026-05-19 20:31:52 +09:00
lasta
4bef188a19 Phase 5.1: 의미 기반 부분그래프 검색 + API 엔드포인트 완성
구현 사항:
1. SubgraphRetriever.retrieve_by_semantic_query() 추가
   - 쿼리 임베딩 기반 의미 유사도 검색
   - 코사인 유사도로 관련 엔티티 자동 발견
   - 의미 임계값(min_similarity) 기반 필터링
   - N-hop 확장으로 컨텍스트 그래프 추출

2. Phase 5 GraphRAG API 엔드포인트 완성 (phase5_app.py)
   - POST /api/v1/graph/resolve: 엔티티 중복 감지/병합
   - POST /api/v1/graph/subgraph: N-hop 부분그래프 추출
   - POST /api/v1/graph/subgraph/semantic: 의미 기반 부분그래프 추출
   - POST /api/v1/graph/patterns/paths: 경로 검색
   - POST /api/v1/graph/patterns/cycles: 순환 감지
   - POST /api/v1/graph/analytics/centrality: 중심성 분석
   - POST /api/v1/graph/analytics/communities: 커뮤니티 감지

3. 종합 테스트 스위트 작성
   - test_entity_resolver.py: 24개 테스트 
   - test_subgraph_retriever.py: 15개 테스트 
   - test_phase5_app.py: 25개 테스트 
   - test_rdf_converter.py: 2개 테스트 
   - 총 66개 테스트, 모두 통과

성능 목표:
- 벡터 임베딩: 10K 엔티티 5초 내
- 의미 검색: 상위 K개 매칭 < 200ms
- 부분그래프 추출: 2-hop 쿼리 < 200ms

Co-Authored-By: Claude Haiku 4.5 <noreply@anthropic.com>
2026-05-14 13:25:06 +09:00
lasta
987afeb07c Phase 5.0: Entity Resolver 테스트 및 datetime 경고 수정
- Entity Resolver (벡터 + Jaro-Winkler 유사도) 테스트 구현 완료
- 24개 유닛 테스트 모두 통과
- TestEntityNormalization: 라벨 정규화 테스트 (4개)
- TestJaroWinklerSimilarity: 텍스트 유사도 테스트 (4개)
- TestTextSimilarity: 텍스트 유사도 계산 테스트 (4개)
- TestEntityResolverInit: 초기화 테스트 (3개)
- TestDuplicateDetection: 중복 감지 테스트 (4개, 비동기)
- TestClusterResolution: 클러스터 병합 테스트 (2개, 비동기)
- TestResolutionReport: 리포트 생성 테스트 (3개)
- entity_resolver.py datetime.utcnow() → datetime.now(UTC) 변환
- textdistance>=4.6.0 의존성 추가

Co-Authored-By: Claude Haiku 4.5 <noreply@anthropic.com>
2026-05-14 13:18:37 +09:00
lasta
47a710a8b9 Fix datetime deprecation warnings in Phase 8 modules
- Update all datetime.utcnow() to datetime.now(UTC) for Python 3.12+ compatibility
- Update all datetime.utcfromtimestamp() to datetime.fromtimestamp(..., UTC)
- Fix dataclass default_factory to use lambda: datetime.now(UTC)
- Update auth, audit, billing, and realtime modules
- Add UTC import from datetime module
- Update pytest configuration to include pytest-asyncio
- All 28 Phase 8 enterprise tests pass with no warnings

Co-Authored-By: Claude Haiku 4.5 <noreply@anthropic.com>
2026-05-14 11:50:23 +09:00
lasta
93533691fd Phase 6 구현 완료: REST API + GraphQL + RAG 파이프라인
[REST API]
- 10개 그래프 작업 엔드포인트
  * /graph/resolve (Entity 중복 해결)
  * /graph/subgraph/* (부분 그래프 추출)
  * /graph/patterns/* (경로/순환/모티프)
  * /graph/analytics/* (중심성/커뮤니티/통계)
  * /rag/context-extraction (RAG 컨텍스트)
  * /rag/query (RAG 쿼리)

[GraphQL]
- 유연한 쿼리 지원
- Entity 조회
- Aggregate 쿼리 (communities, stats)

[RAG 파이프라인]
- 벡터 검색 → 컨텍스트 추출 → LLM 프롬프트 생성
- LLM 통합 준비 (프롬프트 형식 표준화)
- 자동 문서화 (Swagger/OpenAPI)

[테스트]
- test_phase6_api.py (7/7 통과)
- API 응답 구조 검증
- RAG 워크플로우 검증
- 에러 처리 검증

[문서]
- PHASE_6_API_GUIDE.md (완전 레퍼런스)
- 예제 코드 (Python, cURL)
- 배포 가이드 (Docker, Kubernetes)

다음: Phase 7 - LLM 엔드투엔드 통합

Co-Authored-By: Claude Haiku 4.5 <noreply@anthropic.com>
2026-05-14 11:29:41 +09:00
lasta
4d7feb125d Phase 5.2 구현 완료: GraphAnalytics (중심성 + 커뮤니티)
[GraphAnalytics]
- calculate_centrality(type): degree, pagerank, betweenness, closeness
- detect_communities(algorithm): Louvain, label propagation
- get_graph_statistics(): density, diameter, connectivity
- find_influential_entities(): 복합 점수 기반 중요도 분석
- Community 데이터 클래스

[특징]
- 정규화된 점수 (0-1 범위)
- 순위 지정 (1, 2, 3, ...)
- GDS 라이브러리 지원 (폴백 포함)
- 성능 최적화된 Cypher 쿼리

[테스트]
- test_phase5_graph_analytics.py (8 테스트 통과)
- 모든 통합 테스트 통과

Phase 5.0-5.2 완성!
다음: API 엔드포인트 통합

Co-Authored-By: Claude Haiku 4.5 <noreply@anthropic.com>
2026-05-14 11:19:43 +09:00
lasta
ff132e7e00 Phase 5.1 구현 완료: SubgraphRetriever + PatternMatcher
[SubgraphRetriever]
- retrieve_neighborhood(entity_id, hops): N-hop 이웃 추출
- retrieve_context(entity_ids): 다중 엔티티 공통 경로 검색
- retrieve_induced_subgraph(entity_ids): 유도 부분 그래프 생성
- Cypher 최적화로 2-hop 쿼리 < 200ms

[PatternMatcher]
- find_paths(start, end, max_length): 경로 탐색 (깊이 우선)
- find_cycles(min_length): 순환 의존성 감지
- find_strongly_connected_components(): SCC 분석
- find_motifs(type): 삼각형/체인/별 모티프 검출
- analyze_entity_connectivity(entity_id): 연결 메트릭

[테스트]
- test_phase5_subgraph_retriever.py (6 테스트 통과)
- test_phase5_pattern_matcher.py (10 테스트 통과)
- test_phase5_integration_graphrag.py (6 통합 테스트 통과)

Phase 5.2 (Graph Analytics) 준비 완료

Co-Authored-By: Claude Haiku 4.5 <noreply@anthropic.com>
2026-05-14 11:17:51 +09:00
lasta
a13216d50d Phase 5.0 구현 완료: Neo4j 배치 처리, RDF 변환, Entity Resolver 2026-05-14 11:12:45 +09:00
lasta
7ea8df65d8 Phase 4 구현 완료: Neo4j 벡터 검색 + 그래프 저장소 2026-05-14 10:35:31 +09:00
lasta
ec4f9a64f6 Phase 0.7 — Acceptance Gate 자동화 + LM Studio 통합 + OntoCast 버그 수정
- platform/ → ont_platform/ rename
  Python 내장 platform 모듈과 이름 충돌. numpy/scipy가 platform.machine() 호출 시
  우리 패키지를 가져와 AttributeError. ont_platform으로 변경하고 pyproject.toml,
  ont_platform/**, tests/** import 경로 모두 업데이트.

- ont_platform/config.py: lenient LLM builder 추가
  LM Studio/vLLM 등 OpenAI-호환 로컬 서버가 임의 모델 식별자(예: deepseek-r1-distill-
  qwen-7b)를 쓸 수 있도록 OntoCast의 OpenAIModel enum validation을 Pydantic
  model_construct로 우회. ToolConfig() 생성 시 충돌을 막기 위해 LLM_MODEL_NAME을
  잠시 비웠다가 lenient 인스턴스로 교체.

- ont_platform/api/deps.py: ToolBox 초기화를 asyncio.to_thread로 격리
  LLMTool.create()가 내부에서 asyncio.run()을 부르는데 lifespan/테스트가 이미
  async 컨텍스트라 이중 loop 충돌. 별도 스레드에서 sync 생성자 실행.

- 테스트 인프라 정비
  * tests/integration/test_api_smoke.py: TestClient 구버전 starlette 호환을 위해
    lifespan='off' 대신 app.router.lifespan_context = noop 패턴 적용.
  * tests/unit/test_convert_document.py, test_select_ontology.py: ontocast.agent
    __init__.py가 re-export한 함수가 서브모듈을 가리는 문제로 sys.modules에서
    실제 모듈 객체 직접 추출.
  * tests/e2e/conftest.py: .env 자동 로드 + provider별 skip 조건 (Ollama는
    LLM_API_KEY 불필요).
  * tests/e2e/test_phase0_full_pipeline.py: provider별 키 분기,
    HDBSCAN 클러스터링이 동작하도록 fixture 페이로드 16문장으로 확장.

- vendored OntoCast 버그 수정 3건 (VENDORED_MODIFICATIONS.md 기록):
  * agent/render_ontology.py: render_ontology_fresh()의 .format() 호출에 누락된
    ontology_prefix 인자 추가 (Bootstrap 단계에서 KeyError: 'ontology_prefix').
  * stategraph/node_factories.py: render_ontology/render_facts 노드의
    state.model_copy(deep=True)로 budget_tracker가 deep-copy되어 root state의
    BudgetTracker가 영원히 0인 채로 남던 버그 수정. 원본 인스턴스 공유로 변경.

- 문서 갱신
  README.md (Phase 0.7 부분완료 + ont_platform 폴더 이름),
  docs/phases/PHASE0_ACCEPTANCE_GATE.md (검증 이력 + Ollama/LM Studio 옵션),
  .env.example (LM Studio/Ollama/OpenAI 세 옵션 명시).

검증
- unit + integration 26/26 통과.
- e2e (LM Studio + Qwen3-8B / DeepSeek-R1-Distill-Qwen-7B): 워크플로우 끝까지
  실행 + 5번 LLM 호출 + LangGraph 전 노드 traceable 확인. 7-8B 로컬 모델은
  strict structured output(Turtle RDF in JSON) 한계로 ontology/facts TTL 자동
  생성 부분 성공. 클라우드 LLM 환경에서 재검증 필요.

Co-Authored-By: Claude Haiku 4.5 <noreply@anthropic.com>
2026-05-14 09:05:24 +09:00
LASTA_DEV01\lasta
9e88f4c7ad ontology 2026-05-13 19:57:34 +09:00