세션 290개, 교훈 13개: AI 에이전트가 스스로 배운 것

아침이면 대개 내 터미널 맨 위에 교훈 하나가 나타난다. 직접 작성한 테스트를 실행하고, 일이 끝났다고 말하기 전에 성공했는지 실패했는지 보고하라는 내용이다.

우리 팀에서 그 문장을 쓴 사람은 없다. 어느 날 밤, 에이전트가 하루 동안 자신이 한 일을 읽다가 테스트를 작성하고도 실행하지 않는 일이 반복된다는 걸 알아채고 썼다.

사람들은 이를 재귀적 자기 개선(RSI)이라고 부른다. 세상의 종말을 다룬 논문에 나올 법한 이름이다. 실제로는 공연이 끝난 뒤 연주자가 녹음을 다시 듣는 일에 가깝다. 서둘러 연주한 대목이 들린다. 메모해 둔다. 다음 날에는 조금 덜 서두른다.

우리는 구월 중순부터 우리 컴퓨터에서 이 과정을 돌리고 있다. 내가 읽은 AI 에이전트의 RSI 관련 글은 대부분 언젠가 무엇을 할 수 있을지에 관한 것이다. 이 글은 우리 에이전트들이 지금까지 실제로 한 일에 관한 것이다.

이 과정이 돌아가는 방식

Sno Station은 하루에 한 번 이 과정을 실행한다. 단계는 단순하다.

Claude Code와 Codex에서 그날의 세션을 모은다. 각 세션에 간단한 표시를 붙인다. 남길 가치가 있는지, 성공했는지 실패했는지다. 남긴 세션은 무언가를 배운 순간을 찾는 판정 모델로 간다. 대개 사람이 에이전트를 바로잡은 순간이다. 에이전트가 스스로 잘못을 발견할 때도 있고, 환경 때문에 문제가 생길 때도 있다.

그런 순간마다 판정 모델은 네 부분으로 된 교훈을 쓴다. 어떤 상황에서 적용되는지. 무엇을 해야 하는지. 왜 그래야 하는지. 그리고 근거다. 근거는 세션에서 나온 문장을 출처 줄과 함께 한 글자도 바꾸지 않고 인용한다.

그다음 교훈은 두 관문을 통과해야 한다.

첫 번째는 기계적인 검사다. 교훈에서 인용한 모든 문장이 출처라고 밝힌 세션에 글자 하나까지 똑같이 있어야 한다. 없는 인용문에 기대어 만든 교훈은 버린다. 두 번째 관문은 의심하는 일만 맡은 별도의 모델이다. 교훈의 문장마다 근거와 대조해 점수를 매기고, 근거가 뒷받침하는 것보다 더 큰 주장을 하면 통과시키지 않는다.

그다음은 사람 차례다. 나는 남은 교훈을 읽고 보관할지 말지 결정한다.

살아남은 교훈은 이후 세션이 시작될 때 에이전트에게 한 줄씩 보인다. 가장 도움이 된 교훈이 맨 위에 온다. 관련이 있어 보이면 에이전트가 전문을 열어볼 수 있다.

나온 결과

다음은 우리 빌드 컴퓨터에서 돌아간 이 과정의 기록에 나온 숫자다.

세션 1,879개를 모았다. 그중 290개를 판정 모델로 보냈다. 교훈 13개가 두 관문을 모두 통과했다. 나는 6개를 남겼다. 나머지 7개는 아직 내 결정을 기다리고 있다.

세션 290개에 교훈 13개. 처음에는 이 비율이 놀라웠다. 하지만 생각해 보니 그렇다. 자신의 업무 중에서 적어서 벽에 붙일 만한 내용이 있는 날이 얼마나 될까? 대부분의 날은 그저 평범한 날이다.

교훈 자체도 작다. 솔직히 말하면 좀 더 거창한 것을 기대했다. 아래 세 가지는 에이전트가 쓴 그대로 인용한 것이다.

npm 작업 공간에서 git mv로 패키지나 디렉터리 이름을 바꾼 뒤 검증을 실행하기 전에, 각 패키지에서 git이 무시하는 빌드 결과 디렉터리(dist/, build/, out/)에 오래된 파일이 남아 있는지 명시적으로 확인하라. 남아 있다면 옮기거나 삭제하라.

패치의 각 변경 부분을 만들기 전에 그 대상의 정확한 줄 범위를 읽고 원문 그대로의 문맥을 확보하라. 같은 파일을 앞서 읽다가 출력이 잘렸다면 거기에 나온 식별자나 구문을 다시 사용하지 마라.

명시적인 계약이나 범위를 한정한 테스트로 기능이 없다는 사실을 확인하기 전까지는 그 기능을 "검토한 자료에 문서화되지 않음"으로 표시하라.

첫 번째 교훈이 생긴 날, 우리는 이 문제로 오후 시간을 날렸다. 패키지 이름을 바꾼 뒤 소스는 모두 올바랐지만 설치가 계속 실패했다. git이 살펴보지 않는 폴더에 예전 컴파일 파일이 남아 있었기 때문이다. 두 번째는 에이전트가 일주일에 마흔 번쯤 하는 일이다. 파일 내용을 대충 기억하고는 실제 파일 대신 그 기억에 맞춰 패치를 쓴다.

나는 세 번째가 가장 마음에 든다. 한 에이전트가 제품을 비교하다 경쟁사 문서에서 어떤 기능을 찾지 못하자 그 경쟁사에는 그 기능이 없다고 보고했다. 언급이 없다는 것과 기능이 없다는 것은 다르다. 사람들에게도 가르쳐야 했던 교훈이다.

숙련된 엔지니어가 자기도 모르게 몸에 지니고 다니는 경험이다. 상처 자국 같은 것이다. 차이는 에이전트는 세션을 시작할 때마다 그런 상처 자국이 하나도 없다는 점이다.

얼마나 가치가 있나

이 교훈들이 얼마나 도움이 되는지는 아직 말할 수 없다.

교훈은 세션 5,595개가 시작될 때 표시됐다. 에이전트가 교훈 하나의 전문을 연 것은 135번이었다. 약 2퍼센트다. 한 줄짜리 요약이 대부분의 일을 하는 것인지, 아무 효과도 없는 것인지 언제나 구별할 수는 없다.

이 과정은 결과도 스스로 확인한다. 교훈을 보여준 뒤 에이전트가 그것을 따랐는지, 따랐다면 도움이 됐는지 묻는다. 지금까지 "따랐고 도움이 됐다"고 분명히 답한 사례는 두 개다. 둘 다 같은 교훈에 대한 것이다. 다른 일곱 개는 결과가 불분명했다.

그리고 내 터미널 맨 위에 뜨는, 테스트를 실행하라는 그 교훈은 어떨까? 적용된 뒤에도 에이전트들은 가끔 테스트를 건너뛰었다. 세션 12개에서 실패가 4번 있었다. 그전에는 119개 중 22번이었다. 표본이 너무 작아 더 나빠졌다고 말할 수 없다. 좋아졌다고 말하기에는 더더욱 부족하다.

그러니 아직은 모른다. 말 그대로다. 오늘 당장 가치를 매겨야 한다면, 남긴 교훈 하나가 십 분에서 오후 한나절까지 잡아먹는 실수 하나를 막아 주고, 같은 여섯 가지 실수가 충분히 자주 되풀이되므로 의미가 있다고 하겠다. 어느 날 밤 세션 193개를 판정하는 데 든 비용은 약 오십 센트였다. 가치에 대한 내 판단이 틀려도 치르는 값은 작다.

내가 신뢰하는 것은 측정치보다 작은 것이다. 그 교훈들이 낯설지 않다. 읽으면서 생각한다. 그래, 그 일이 있었지. 그리고 그래, 나라도 그렇게 말했을 것이다.

잘못된 점

이 과정 자체에도 에이전트에게 하던 것과 같은 점검이 필요했다.

초기에는 결함 때문에 초안 교훈이 두 번째 관문에서 전혀 검사받지 않고 빠져나갔다. 우리는 그런 교훈을 전부 버렸다. 위 숫자에는 전체 과정을 거친 것만 포함했다.

이 과정도 지나치게 조심스럽게 만들었다. 사전 시험, 해시 검사, 충돌 복구까지 있었다. 어느 날 밤 그중 724줄을 잘라냈더니 더 잘 돌아갔다. 실수에서 배우는 시스템을, 일어난 적도 없는 실수에 대비하는 보호 장치로 둘러싸 놓았던 셈이다.

그러다 구월 말에 이 과정이 조용해졌다. 설정 파일 하나가 사라졌고, 매일 밤 깨어나도 보낼 수 있는 것이 없다는 사실만 확인한 뒤 다시 잠들었다. 누군가 알아차리기까지 일주일 동안 그랬다. 새벽 세 시에 아무 말 없이 실패하는 것에는 정이 가기 어렵다.

그 일도 이제 목록에 올랐다. 아마 교훈으로 만들어야 할 것이다.

앞으로

교훈 열세 개를 얻었다고 해서 에이전트가 스스로를 다시 쓴 것은 아니다. 공책 한 권에 가깝다. 한 달 전만 해도 우리 에이전트들은 월요일에 한 실수를 화요일에 또 했고, 어느 쪽도 기억하지 못했다.

어떤 아침에는 알림이 떠 있어도 테스트는 여전히 실행되지 않는다.

Sno Station은 오픈 소스이며, 매일 밤 하는 검토도 그 일부다. sno.ai에서 볼 수 있다.