Analysis — 분석
데이터 플라이휠 — 루프를 지속이 아니라 발전시키는 것
돈은 루프를 돌리고 토큰은 연산하지만, 다음 바퀴를 이전보다 낫게 만드는 것은 운영이 쌓은 데이터다. trace·평가·학습 신호 세 자산으로 플라이휠을 돌리고, 데이터를 모델 밖 자산으로 두어 주권을 지킨다.
지속과 발전은 다르다
환경의 앞선 두 면은 루프를 살아 있게 한다. 비즈니스는 돈으로 버티게 하고, 토큰 전략은 연산을 돌린다. 사람이 운영하고 검증이 정직성을 지킨다. 그러나 이 모두를 갖춰도 한 가지가 빠지면 루프는 지속될 뿐 발전하지 않는다.
그 한 가지가 데이터다. 다음 바퀴를 이전 바퀴보다 낫게 만드는 유일한 자원은 운영이 쌓은 데이터다. 돈·토큰·사람·검증이 루프를 계속 돌게 하지만, 그 루프가 시간이 갈수록 똑똑해지려면 운영이 만든 데이터를 되먹여야 한다. 데이터 없는 루프는 버틸 뿐 자라지 않는다.
플라이휠의 세 자산
데이터 플라이휠은 세 자산이 맞물려 돈다. 운영이 trace를 남기고, trace에서 평가셋을 정제하고, 평가가 학습 신호를 만들어 다음 운영을 끌어올린다.
실행 trace — 원천 기록. 에이전트의 판단 근거·선택·핸드오프·결과를 구조화된 로그로 남긴다. 의사결정 추적(Decision Traceability) 패턴이 요구하는 그 기록이 곧 1차 데이터다. trace를 검색·조회 가능한 형태로 두지 않으면 묻힌 데이터일 뿐, 기관 기억이 되지 못한다.
평가 데이터 — 정제된 기준. trace에서 비즈니스 성과 기준으로 평가셋을 만든다. 외부 벤치마크가 아니라 우리 결과를 재는 자다. 기준이 외부에 있으면, 즉 벤치마크 점수만 좇으면 우리 제품이 실제로 나아지는지 알 수 없고, 데이터 주권도 없다.
학습 신호 — 개선의 연료. 인간 피드백·결과 라벨·승인 기록을 다음 루프를 개선하는 신호로 되먹인다. 이 되먹임이 플라이휠을 돌리는 힘이다. 신호를 되먹이지 않으면 데이터는 흘러나가고, 우리에게는 교체되는 모델만 남는다.
데이터 주권 — 모델 밖에 둔다
데이터는 모델 밖에 우리 자산으로 두어야 한다. 모델은 교체 가능한 부품이고, 갈아끼워도 trace·평가셋·학습 신호는 남는다. 그것이 데이터 주권이다. 제너럴리스트 모델 위에 우리 조직만의 맥락을 얹는 층이 바로 이 데이터이며, 경쟁이 복제하기 가장 어려운 해자다.
상태와 기억 제어(State and Memory Control) 패턴이 단기 상태와 장기 기억을 분리하는 이유가 여기서 분명해진다. 장기 기억이 모델의 컨텍스트 안에만 있으면 모델과 함께 사라진다. 밖에 분리해 자산으로 쌓을 때, 데이터는 모델을 갈아끼워도 남는 복리 자산이 된다.
플라이휠은 단계와 함께 돈다
데이터 자산은 한 번에 쌓이지 않는다. 진화 단계와 함께 성숙한다. 1단계에서는 호출·결과·실패를 단순히 남기고, 2단계에서 판단 근거와 핸드오프를 조회 가능하게 구조화하며, 3단계에서 비즈니스 성과 기준의 private eval을 운영하고, 4단계에서 학습 신호가 다음 루프를 자동으로 끌어올리는 자기개선 루프에 도달한다.
돈이 루프를 버티게 하고 토큰이 돌린다면, 데이터는 그 루프를 매 바퀴 더 좋게 만든다. 지속하는 환경 위에 데이터가 얹힐 때, 비로소 루프는 발전한다.
함께 보기
- 환경 3면에서 이 주제: 데이터
- 자매 글: 토큰 전략 · 루프의 비즈니스 경제학
태그