ARCHITECTURE AUDIT · 01 SRL / AX FIELD NOTES

PUBLIC SHARE VERSION
sensitive identifiers redacted

목차01 · 판정
ONTOLOGY / KNOWLEDGE GRAPH / AGENT읽는 시간 18분

두 그래프,
하나의 정본

Snowflake의 결정론적 구조 그래프와 Console의 의미 추출 프로토타입은 경쟁안이 아니다. 전자는 사실의 뼈대, 후자는 검토할 주장이다. 둘을 증거와 시간축으로 연결할 때 비로소 업무 온톨로지가 된다.

LIVE AUDIT2026.08.07
CONSOLE SHAc72808c4…0d80
CLASSIFICATIONPUBLIC / REDACTED

중앙 결론 Snowflake 현황은 완성된 업무 의미 온톨로지가 아니라 결정론적 canonical structural KG, Graph-A다. Console은 계획된 Graph-B의 일부를 이미 실험하지만 정본 식별자·타입 스키마·검토 거버넌스·불변 RAW 이력·강한 평가가 부족하다.

01 EXECUTIVE VERDICT

완성도보다 층위를 먼저 구분해야 한다

RAW

100,18521 tables · errors 0

CORE

39 + 34tables + views · gates 38/38

GRAPH-A

79,538entities · 190,445 relationships

SEARCH

57,378indexed chunks

GRAPH-B

0assertions · evidence rows 0

EVIDENCE

97%Graph-A relationship coverage

OBSERVED · SNOWFLAKE

신뢰할 수 있는 구조적 정본

원문을 RAW에 보존하고 CORE에서 정규화한 뒤, Graph-A가 채널·메시지·파일·스레드 같은 결정적 사실을 투영한다. 재현 가능하고 lineage가 강하다.

  • 강점 38/38 품질 게이트, 관계 증거 97%
  • 경계 6개 소스 레코드형이 78,694 / 79,538개(98.9%)
  • 부재 Organization / Project / Decision / Topic

OBSERVED · CONSOLE

의미 주장의 작동하는 프로토타입

벡터 seed에서 graph corridor를 확장하고, LLM이 SPO 트리플을 추출하며, 활성 트리플의 시간적 교체와 fail-secure RBAC를 처리한다.

  • 강점 의미 술어·temporal supersede·권한 게이트
  • 경계 유사도·구조·주장을 한 그래프에 병합
  • 배포 prod에서 slack_ai / wiki_graph 비활성

RECOMMENDATION

정본은 Snowflake, 의미 계층은 Console에서

최적안은 Snowflake형 canonical CORE/Graph-A 위에 Console 유래 Graph-B assertion을 얹고, 모든 주장에 증거·발화자·대리 관계·상태·시간을 강제하는 것이다.

추천안이며 현재 구현 사실이 아니다.

02 PIPELINE ANATOMY

하나는 정본화, 하나는 추론 실험에 강하다

PIPELINE A

Snowflake

관측된 live audit

  1. 01
    RAW21 tables / immutable source copy
  2. 02
    COREnormalize · identity · lineage
  3. 03
    GRAPH-Adeterministic structural projection
  4. 04
    SEARCHCortex Search / 57,378 chunks
  5. 05
    AGENTAnalyst + procedures + 15 rules
  6. 06
    GRAPH-Bplanned assertions / current 0
PIPELINE B

Console

private repo · fixed SHA

  1. 01
    VECTOR SEEDShybrid retrieval entrance
  2. 02
    GRAPH CORRIDORFK · wiki · flow · SPO merged
  3. 03
    TRIPLESLLM predicates + fallback
  4. 04
    SERVE / SHADOWevidence context · fail-secure RBAC

주석상 기본 경로는 legacy 결과를 제공하고 KG 경로를 shadow 비교한다. 프로덕션 설정에서는 관련 두 모듈이 꺼져 있다.

SNOWFLAKE / WHAT THE NUMBERS SAY구조는 충분히 크지만, 의미는 아직 비어 있다.

98.9% Message·File·Thread·Resource·Canvas·Channel 78,694 / 전체 79,538

19종 현재 관계 타입은 모두 구조적 관계

114 / 191,111 관계 VALID_TO 입력 — 0.06%

0 / 191,111 관계 ASSERTION_ID 입력

AGENT REALITY CHECK

답변 품질은 아직 Graph-A의 의미 추론으로 설명할 수 없다

실제 답변 경로는 Cortex Search, Analyst, 결정론적 파일 공유 프로시저, 결정론적 타임라인 프로시저와 15개 라우팅 규칙의 조합이다. 품질의 대부분은 검색 + CORE SQL + 규칙에서 나온다. 골드 정답은 검색 색인에 포함되지 않았다.

Untuned · 28×17.04/8
V2 · 28×37.38/8
V4 final · 28×37.12/8

해석: 튜닝 기능은 실제로 구현됐다. 다만 V2→V4 전체세트 하락과 untuned 대조군과의 작은 차이 때문에 일반화 향상은 입증되지 않았다. 부분집합 점수는 전체 점수처럼 비교하면 안 되며, 과적합 위험이 남는다.

03 FIVE OPERATING PRINCIPLES

그래프보다 먼저 무엇을 믿을지 정의한다

  1. 01

    Canonical fact ≠ derived assertion

    원문에 직접 존재하는 채널 멤버십·파일 공유는 정본 사실이다. “누가 결정했다”는 해석은 모델·프롬프트·검토 상태를 가진 파생 주장이다. 한 테이블에서 같은 무게로 섞지 않는다.

  2. 02

    Structural ≠ semantic ≠ similarity

    AUTHORED는 구조적 edge, decided는 의미 assertion, cosine 이웃은 탐색용 similarity edge다. 각각 생성 규칙·수명·신뢰·승인 기준이 다르다.

  3. 03

    Identity와 temporal truth는 독립 축이다

    동일 인물의 별칭을 하나의 canonical person으로 해소하고, 사실과 주장의 valid_from/valid_to를 관리해야 “그 시점에는 누가 담당했나”를 답할 수 있다.

  4. 04

    Routing은 증거 종류에 맞춰야 한다

    식별자·현황은 structured SQL, 내용 발견은 search, 다단계 구조 탐색은 graph, 반복 가능한 업무 규칙은 procedure로 보낸다. 에이전트가 한 도구로 모든 질문을 처리하게 하지 않는다.

  5. 05

    Evaluation은 재현보다 일반화다

    실제 expected IDs, unseen holdout, 주장 정확도·인물 동일성·시간 유효성 지표를 분리한다. 평가셋을 보고 만든 규칙은 동일 평가셋이 아니라 별도 holdout에서 승격한다.

REDACTED BENCHMARK WALKTHROUGH

“천장벽 항목”은 한 문장처럼 보여도 세 사람의 행위다

A원 질문자항목을 질문함
B의사결정자제외를 결정함
C메신저결정을 전달함

메시지의 작성자만 보면 C가 결정자로 오인된다. 정답은 의미 주장을 “누가 썼나”와 “누구의 의사인가”로 나눌 때만 보존된다.

asserted_by
메시지를 실제로 전달한 C
on_behalf_of
결정의 원 주체 B
evidence
주장을 뒷받침하는 원 메시지·스레드

사람 이름, 채널명, 계정 ID는 공개본에서 역할 기반 가명으로 대체했다.

04 ARCHITECTURE COMPARISON

두 구현은 서로의 빈칸을 정확히 채운다

감사 축Snowflake 현황Console 현황목표 원칙
원천 보존강함 RAW 무변환·lineage약함 immutable raw 계약 불명확모든 파생값이 원문 해시까지 역추적
정본 식별자강함 CORE identity부분 서비스별 entity resolution하나의 canonical person/project ID
구조 관계강함 결정론적 19종혼합 FK와 타 edge 병합structural edge 전용 layer
의미 주장계획 Graph-B 0행프로토타입 SPO 추출·upserttyped assertion + evidence + review
시간 진실희박 VALID_TO 0.06%부분 active/supersedesource edit/delete와 유효시간 동기화
Edge 분리명료 현재 구조 edge혼합 similarity·fact 한 graphstructural / semantic / similarity 분리
권한강함 플랫폼 권한강함 fail-secure RBACclaim·evidence 모두 동일 권한 경계
평가부분 전체세트 있으나 holdout 부족미비 50개 expected IDs 공란identity·claim·temporal holdout gate
운영 상태운영 live audit비활성 prod flags falseshadow → gate 통과 → 단계 승격

KNOWN DATA GAPS

TimezoneCORE 일부는 미국 서부, event/search 일부는 KST. 같은 시각 비교 전에 명시적 변환이 필요하다.
Slack handle핸들이 identity/alias에 빠져 있어 사용자 질문의 별칭 해소가 불완전하다.
Current view베이스와 V_*_CURRENT의 계약을 라우터·semantic layer가 강제해야 한다.
Truth setConsole rag_golden_queries.json 50건의 expected_doc_ids가 모두 비어 있다.

05 TARGET ARCHITECTURE · RECOMMENDATION

사실의 척추 위에 검토 가능한 주장을 올린다

아래 구조와 필드는 제안이다. 현재 Snowflake 또는 Console에 완성돼 있다고 읽으면 안 된다.

L0IMMUTABLE RAWreplay boundary
source payloadedit / delete tombstonecontent hashingest run
deterministic normalize
L1CANONICAL CORE + GRAPH-Afact boundary
canonical identitytyped source recordsstructural_edgeslineage
extract · resolve · validate
L2GOVERNED GRAPH-Bassertion boundary
semantic_assertionsassertion_evidencereview statestemporal truth
route by question + risk
L3AGENT SERVING + EVALUATIONanswer boundary
structured-first SQLsearch discoveryclaim citationsholdout gates

Structural edge

결정론적 FK·원문 구조. 예: authored, in_channel.

Semantic assertion

모델/사람이 해석한 주장. 증거와 상태가 필수.

Similarity edge

탐색용 근접성. 사실처럼 답변 근거로 승격 금지.

RECOMMENDED SCHEMA

semantic_assertions

semantic_assertions (
  subject_id,
  predicate,
  object_id,
  object_text,
  asserted_by_person_id,
  on_behalf_of_person_id,
  valid_from,
  valid_to,
  confidence,
  status,
  extraction_model,
  prompt_version,
  evidence_id,
  supersedes_assertion_id
)

COMPANION TABLES

structural_edges
결정론적 관계와 source lineage
assertion_evidence
claim ↔ 원문 조각·위치·해시
ontology_runs
재생 가능한 ingest/extract 실행
quality_results
실행별 gate 결과와 실패 사유

Review states
proposed → extracted → reviewed
rejected / superseded

MODULE-BY-MODULE CHANGE SET · RECOMMENDATION

triple_extractor

제약 어휘, typed schema validation, 저장 전 entity resolution, prompt/model version 기록.

private source ↗

upsert

술어별 cardinality 정책과 원문 edit/delete 처리. 다중값 술어의 공존 규칙을 스키마 계약으로 승격.

private source ↗

graph_projection

layer/edge_class 분리. similarity를 fact와 합치지 말고 탐색 힌트로만 유지.

private source ↗

kg_orchestrator

structured-first routing, evidence bundle, claim-level citation. 현재 fail-secure RBAC는 유지.

private source ↗

Slack ingestion

명시적 edit/delete tombstone, idempotent하고 replay 가능한 run, 원문 해시 검증.

evaluation

실제 expected IDs 입력, unseen holdout, claim·identity·temporal metric 분리.

private source ↗

06 PROMOTION ROADMAP

기능 출시가 아니라 증거 기반 승격으로 운영한다

PHASE 0Baseline / Instrument

현재 질문 경로·오류·지연·권한 실패를 관측하고, 50개 golden query의 기대 문서를 실제로 채운다.

Gate 재현 가능한 baseline + source coverage 보고
PHASE 1Canonicalize

Snowflake CORE를 identity SSOT로 두고 timezone, Slack handle, current-view 계약, edit/delete replay를 정리한다.

Gate 구조 lineage 목표 100% · identity merge 정밀도 목표 ≥99%
PHASE 2Govern Assertions

typed assertion/evidence와 검토 상태를 도입하고 high-risk predicate는 human review를 통과시킨다.

Gate active assertion evidence 목표 100% · high-risk semantic precision 목표 ≥95%
PHASE 3Route / Evaluate / Promote

structured-first 라우팅과 claim-level citation을 shadow에서 비교한 뒤, holdout 기준을 넘는 경로만 승격한다.

Gate holdout regression 목표 ≤0.2/8 · edit/delete 반영 SLA 예시 목표 30분

모든 Phase acceptance 수치는 관측값이 아닌 제안 목표다. 운영 데이터의 위험 등급·변경 빈도·검토 비용을 측정한 뒤 확정해야 한다.

07 SOURCE REGISTER / LIMITS

확인한 것과 아직 증명하지 못한 것

S-01

09_ontology_and_tuning_assessment.md

온톨로지·튜닝 직접 감사, Graph-A/Graph-B 판정, 증거·시간축 수치.

Internal · authorized access required
S-02

10_pipeline_facts_rawdata.md

2026-08-07 실측 fact register, 층별 수치와 평가 결과.

Internal · authorized access required
S-03

11_pipeline_explained.md

파이프라인 단계와 이해관계자용 쉬운 설명.

Internal · authorized access required
S-04

07_cli_untuned_baseline_result.md

untuned 28문항 1회, 7.04/8 및 비교 한계.

Internal · authorized access required
S-05

agent_spec.yaml / questions.json

라우팅 규칙과 평가 질문 구조. 공개본은 식별자 가명화.

Internal · authorized access required