혼자, 노트북 한 대로 일합니다. 2026년 7월 중순에 시작해 앱 다섯 개를 두 스토어에 여덟 판으로 냈고, 동료들이 쓰는 윈도우 프로그램 둘을 스스로 업데이트되게 배포했고, 장비 1,443대 규모의 라인 트윈을 세웠습니다. 지금은 책상 위 기기 셋을 만들면서, 맥 안의 로컬 모델로만 도는 비서를 키우고 있습니다. 10월 중순부터 쓴 제작기 35편 가운데 16편이 그 비서와 말하는 기기 이야기입니다. 제가 빨라서 가능했던 일은 아닙니다.
판단은 한 사람이, 실행은 여럿이
일을 여러 AI 에이전트에게 역할별로 나눠 맡기면 실행을 나란히 진행할 수 있습니다. 결정은 제가 혼자 내리니 순서대로일 수밖에 없지만, 실행까지 그럴 이유는 없습니다. 한 작업이 도는 동안 다른 작업을 시작할 수 있어서, 동시에 진행하는 일의 수가 사람 수에 묶이지 않습니다.
맡기는 방식은 세 겹입니다. 대화 안에서 에이전트에게 맡기는 일, 정해진 시각에 사람 없이 도는 예약 작업, 그리고 가장 최근에 더한 밤 작업입니다. 밤 작업은 저장소마다 남은 일 가운데 혼자 끝낼 수 있는 것 하나를 골라 처리하는데, 일하는 에이전트와 검토하는 에이전트를 따로 두고 검토를 통과한 것만 합칩니다. 두 에이전트 모두 웹 도구는 받지 않습니다. 합칠 사람을 기다리는 동안 밤 작업은 그 저장소를 건너뛰었다 →
대가도 따릅니다. 에이전트는 매번 빈 책상에서 시작하고 이전 맥락을 기억하지 못하기 때문에, 그 역할이 알아야 할 것을 계약서처럼 문서로 먼저 정해 둡니다. 저장소마다 지킬 것과 남은 일을 적은 문서가 있고, 일을 끝내면 코드와 함께 그 문서를 고칩니다. 사람 없이 도는 쪽은 실패도 조용했습니다. 예약 작업 넷을 옮겼더니 승인 창 앞에서 몇 시간씩 멈추거나 한 단계만 소리 없이 건너뛰었고, 둘 다 오류를 남기지 않았습니다. 무인 작업은 멈추거나, 조용히 빠졌다 →
구분해 둘 것이 하나 있습니다. 라인 트윈 위에서 교대마다 판단하고 서로 협상하는 에이전트 14개는 제가 만든 결과물입니다. 여기서 말하는 에이전트는 그것을 만드는 동안 함께 일한 쪽입니다.
나눠 맡기지 않는 일도 있습니다. 무엇을 잴지, 결과를 믿을지, 되돌릴지는 제가 정합니다. 모델은 스스로 틀렸다고 먼저 말하지 않습니다. 아래에 적은 되돌린 결정도 모두 사람이 내린 판단이고, 그 과정을 제작기에 기록합니다.
재 보고 되돌린 결정 여섯 가지
만든 것보다 되돌린 결정을 더 많이 기록합니다. 그중 여섯 가지를 꼽았습니다.
여섯 가지를 글로 읽기
- 모델 대신 기준을 고쳤습니다. 장비 1,443대 규모의 라인 트윈이 기준 실행 로그와 3% 어긋난다고 나왔는데, 그 기준값의 추이를 그려 보니 4년이 지나도 수렴하지 않는 누적 평균이었습니다. 같은 로그의 재공과 산출로 Little's law 를 적용해 기준을 다시 잡자 오차가 +0.5%로 줄었습니다. 모델은 한 줄도 고치지 않았습니다. 4년째 자라고 있는 자로 쟀다 →
- 모델의 대표 결론을 철회했습니다. 우선순위는 대기시간을 줄이지 못하고 재분배할 뿐이라는 결론을 문서 첫 줄에 적어 뒀는데, 그 정리는 일감이 있으면 설비를 놀리지 않는다는 전제 위에 서 있었습니다. 실제 라인에는 재공도 설비도 멀쩡한데 품질 기준에 막혀 진행이 멈추는 구간이 있어 그 전제가 성립하지 않았습니다. 찾아낸 편향이 예외 없이 같은 방향이어서, 답을 점추정 대신 상한으로 제시하기로 했습니다. 설비는 노는데 재공은 쌓였다 →
- 12배 저렴한 모델로 바꾼 결정을 되돌렸습니다. 성조만 다른 최소대립쌍 10쌍을 합성해 실제 채점 경로에 넣어 봤더니 10쌍 중 하나도 잡아내지 못했습니다(0/10). 그 모델은 들은 소리를 옮기는 대신 말했어야 할 문장을 병음까지 적고 있었습니다. 알려진 오답을 넣어 보기 전에는 구별할 방법이 없었습니다.
- API 키 없이 동작해야 한다는 제약을 버렸습니다. 온디바이스 전사 경로를 붙여 API 키 없이 끝까지 동작하게 만들었는데, 같은 녹음으로 비교해 보니 두 전사 결과가 갈린 다섯 곳 모두 다른 쪽이 맞았습니다. 동작한다는 것과 쓸 만하다는 것은 다른 이야기였습니다.
- 목록의 수를 늘리는 대신 줄였습니다. 추천이 존재하지 않는 음반을 지어내지 않도록 검증된 카탈로그를 만들고 악장 번호를 전수 조사했습니다. 다른 곡에 잘못 연결된 항목이 나왔고 곡 수가 하나 줄었습니다. 정확한 수가 큰 수보다 낫습니다.
- 범인으로 지목한 곳은 결백했습니다. 책상용 기기의 목록 화면이 굼떠서 통신 속도를 의심했습니다. 재 보니 400kHz 에서 0.38ms, 100kHz 에서 1.04ms 로 세 배 가까이 차이가 나 범인처럼 보였습니다. 터치 쪽 속도만 올리고 다시 물었더니 체감은 같다고 했습니다. 0.6ms 는 손끝으로 느낄 수 있는 차이가 아니었고, 원인은 화면을 다시 그리는 쪽에 있었습니다. 예제대로 구웠으면 카드가 지워졌다 →
여섯 가지 모두, 재 보기 전에는 반대쪽이 맞아 보였습니다. 잰 수치와 그 수치가 바꾼 결정을 모두 모아 두었습니다 →
무엇을 만드는가
시작점은 저마다 다릅니다. 이론에서 출발한 것도 있고, 직접 쓰다가 불편했던 데서 출발한 것도 있고, 옛 게임을 다시 짓는 일처럼 개인 연구로 시작한 것도 있습니다. 역량마다 그 역량이 쓰인 작업을 모았고, 칩을 누르면 그 작업으로 갑니다.
어떻게 일하는가
- 재는 자부터 의심합니다. 검증 결과가 표본마다 뒤집힌 적이 있습니다. 모델은 그대로였고 반복 실행 횟수가 모자랐습니다. 그 뒤로 판정에는 95% 신뢰구간 반폭을 함께 적습니다. 다음번에는 기준으로 삼은 값이 4년이 지나도 수렴하지 않는 누적 평균이었고, 옛 게임을 다시 지을 때는 원본과 견주던 시험이 난수가 어긋나도 통과시키고 있었습니다. 세 번 모두 먼저 틀린 것은 재는 쪽이었습니다. 4년째 자라고 있는 자로 쟀다 → 원본보다 재는 도구가 먼저 틀렸다 →
- 쓰는 자리에서 다시 잽니다. 맥 안에서 잰 첫 소리는 1.48초였는데, 기기로 말을 주고받자 25~31초가 걸렸습니다. 합성 목소리 대화에서 다 맞히던 말한 사람 나누기는 실제 녹음을 613명으로 쪼갰습니다. 대역에서 통과한 것은 그럴 것이라는 짐작일 뿐이어서, 실제로 쓰는 자리에서 잰 뒤에야 됐다고 적습니다. 맥에서 잰 1.48초가 기기에서는 25~31초였다 → 합성 목소리로 맞춘 문턱이 실제 녹음을 613명으로 쪼갰다 →
- 숫자는 코드가 정하고, 모델은 옮기기만 합니다. 메일을 찾을 때 "지난달"을 한 모델은 30일로, 작은 모델은 8월로 알아들었습니다. 그 뒤로 기간·개수·시각처럼 틀리면 안 되는 값은 코드가 정하고, 모델에는 그 값을 말로 옮기는 일만 맡깁니다. 말하는 기기의 브리핑은 자료에 없는 숫자가 나오면 다시 쓰게 하고, 끝내 틀리면 사실 줄을 그대로 읽습니다. 지난달이 며칠인지는 코드가 정했다 →
- 자동 검사는 물어본 것만 답합니다. 4페이지 × 화면 폭 11가지 × 2개 언어, 88개 조합이 모두 통과했는데 두 번 다 틀린 곳은 눈으로 보고서야 찾았습니다. 문서의 수를 코드와 대조하는 검사기가 설명 문단에 인용된 숫자를 찾아 헛통과한 일도 있습니다. 화면이 바뀌는 수정은 지금도 반드시 눈으로 한 번 봅니다. 검사기는 설명 문단의 인용을 보고 통과했다 →
- 답보다 그 답이 기댄 가정을 먼저 봅니다. 모르는 값을 채워 둔 기본값 다섯 개를 하나씩 바꿔 가며 다시 재 보니 넷이 같은 방향으로 기울어 있었고, 다섯을 한꺼번에 적용하자 답이 3.4배가 됐습니다. 정적 용량 모델이 내놓는 "가장 잘 풀리면 이만큼"을 운영 목표로 읽으면 설비를 늘려야 할 것처럼 보이는데, 실제로 필요했던 것은 투입 규칙의 상수 하나였고 설비 투자 없이 처리량 3.5%를 얻었습니다. 중립인 줄 알았던 기본값 → 배치는 늘 꽉 찬다는 거짓말 →
- 지어낸 답보다 빈칸이 낫습니다. 내놓을 것이 없을 때 그럴듯한 것을 만들어 내는 대신 비워 둡니다. 서로 다른 세 작업에서 같은 결론에 이르렀습니다. 같은 이유로, 공개 데이터로 만든 지표는 리포트에 그 한계가 매번 함께 출력되게 했습니다. 읽는 사람이 따로 문서를 찾아볼 거라고 기대하지 않기 때문입니다. 공개 데이터는 열려 있지 깨끗하지 않다 →
지향하는 바
만드는 범위가 넓어져 왔습니다. 스토어에 내는 모바일 앱에서 시작해 동료들이 쓰는 윈도우 프로그램, 펌웨어부터 직접 짠 책상 위 기기를 거쳐, 지금은 말로 대화하는 작은 기기 포키(POKI)와 맥 앞에 두는 보조 화면을 만들고 있습니다.
지향하는 바는 현실에서 보고, 판단하고, 움직이는 AI입니다. 흔히 피지컬 AI 라고 부르는 분야입니다. 라인 트윈 위에서는 에이전트 14개가 교대마다 판단하지만 시뮬레이션 안의 일이고, 책상 위 기기는 현실을 재고 보여 주지만 판단은 하지 않습니다.
그림의 점은 실측 한 건씩입니다. 작업마다 현실과 얼마나 닿는지, 판단을 어디까지 하는지를 0·1·2 세 단계로 먼저 정해 두고, 그 작업에서 잰 것을 그 자리에 찍었습니다. 현실은 시뮬레이션이나 공개 자료 안이면 0, 사람이 남긴 기록(말소리·메일·사진)을 받으면 1, 기기로 물리 세계를 직접 재면 2입니다. 판단은 규칙대로 계산하면 0, 모델이 답이나 요약을 만들면 1, 그 판단으로 다음 행동까지 정하면 2입니다. 달마다 무게중심을 이어 보면 목표 쪽으로 옮겨 왔습니다. 첫 달에서 마지막 달까지 현실 쪽으로 +0.64, 판단 쪽으로 +0.04 움직였습니다.
포키는 그 사이에 놓은 첫 기기입니다. 사람의 말을 듣고, 맥의 로컬 모델이 판단해 목소리로 답하고, 때가 되면 먼저 챙겨 줍니다. 판단이 닿는 곳은 아직 말까지입니다. 일정을 쓰거나 무엇을 보내는 것처럼 바깥으로 나가는 일은 사람이 확인 카드를 눌러야 합니다. 판단을 움직임으로 잇는 것이 다음 목표입니다.
물리적인 기기는 되돌리는 비용이 크다는 것을 기기를 만들며 배웠습니다. 움직이는 기계라면 그 비용은 더 커집니다. 여기에 기록해 온, 재 보고 되돌리는 방식이 그 분야에서 더 쓸모 있으리라 생각합니다. 아직 해 보지 않은 일이라, 해 보게 되면 여기에 기록하겠습니다.
왜 업계를 밝히지 않는가
여기 있는 글에는 산업명도 소속도 없습니다. 일부러 뺐습니다.
이름과 이메일을 걸고 쓰기 때문입니다. 업계를 밝히면 소속까지 짐작할 수 있게 되는데, 그건 제가 감당하기로 한 범위를 넘습니다.
대신 뺀 것보다 넣은 것이 훨씬 많습니다. 문제의 구조, 규모, 알고리즘과 이론, 검증 방법, 실측값, 그리고 제약과 그 이유는 모두 적었습니다. 어떤 판단이 옳았는지 따지는 데 필요한 것은 그쪽이고, 산업명은 없어도 됩니다.
빠진 것은 산업명뿐이라 여기 있는 수치는 직접 따져 보실 수 있습니다. 틀린 곳이 있으면 그 수치를 들어 지적해 주세요.
저장소도 같은 이유로 비공개여서 직접 재현해 보실 수는 없습니다. 이 글들의 분명한 한계이고, 짐작에 맡기는 대신 이렇게 밝혀 둡니다.
One person, one laptop. Since mid-July 2026, five apps have gone onto the two stores in eight editions, two Windows programs that colleagues use have shipped with their own updater, and a twin of a 1,443-machine line has been built. Three desk devices are in the making now, alongside an assistant that runs only on local models inside the Mac. Of the 35 build notes written since mid-October, 16 are about that assistant and the device you talk to. Not because I am fast.
One place decides, many places carry out
Handing work to several AI agents, each with its own role, lets execution run side by side. Deciding is serial because one person does it; executing has no such reason to be. One task can be running while another is started, so the number of things in progress is not bound to the number of people.
Work is handed off in three layers: agents I give work to inside a conversation, scheduled runs that go off at set times with nobody there, and, most recently, a night run. The night run picks one remaining task that can be finished alone from a repository's list, keeps the agent doing the work separate from the agent reviewing it, and merges only what passes review. Neither agent is given web tools. While Waiting for Someone to Merge, the Night Run Skipped That Repository →
It has a price. An agent starts from an empty desk every time and remembers no context, so what a role needs to know is handed to it as a document, like a contract. Every repository has a document of what to keep and what is left to do, and when work is finished that document is changed along with the code. The unattended side also failed quietly. Moving four scheduled runs over, some sat in front of an approval prompt for hours and one skipped a single step without a sound; neither left an error. Unattended Runs Stalled, or Quietly Skipped →
One distinction is worth keeping. The fourteen agents deciding and negotiating each shift on top of the line twin are something I built. The agents here are the ones that were beside me while building it.
Some work is not handed off. What to measure, whether to believe the result, and whether to go back are mine to decide. A model does not volunteer that it was wrong. The reversals below were all human judgements, and the build log is where I write down how they happened.
Six decisions I measured, then reversed
More gets written down here about what I reversed than about what I made. Six of them, to start with.
Read all six in full
- I fixed the baseline, not the model. A twin of a 1,443-machine line came out 3% off its reference run log. Plotting the trajectory of that baseline showed a running mean still unconverged after four years. Re-deriving it from the same log's WIP and output via Little's law brought the error to +0.5% — without changing a line of the model. I Measured With a Ruler That Was Still Growing →
- I withdrew the model's headline conclusion. Its documentation opened with the claim that priority only redistributes waiting time rather than reducing it, and the theorem behind that claim assumes a machine is never left idle while work is waiting. On the real line there are places where the WIP and the machine are both fine and a quality gate stops the work anyway, so that assumption does not hold. Every bias I found pointed the same way, so the model's answer is now read as an upper bound instead of a point estimate. The Machines Idled While the Queue Grew →
- I went back on switching to a model that was 12× cheaper. I synthesized ten minimal pairs differing only in tone and fed them through the app's actual grading path: 0 detected out of 10. The model was transcribing — pinyin and all — not the sound it heard but the sentence that should have been spoken. Short of feeding it known-wrong answers, there was no way to tell.
- I dropped the constraint that it must run without an API key. I wired an on-device transcription path and got the whole flow working with zero keys. Compared on the same recording, the five places the two transcripts disagreed went 5 : 0 the other way. Working end to end and being good enough are not the same claim.
- I made a list shorter instead of longer. To stop recommendations from inventing albums that do not exist, I built a vetted catalogue and then audited every movement number. Recordings filed under the wrong work came out, and the count of pieces went down by one. A correct number beats a big one.
- The suspect I pointed at was innocent. A list on the desk device felt sluggish, so I looked at the bus speed. Timing it gave 0.38ms at 400kHz against 1.04ms at 100kHz — nearly three times, which reads like a culprit. I raised only the touch controller and asked again: it felt the same. 0.6ms is not a quantity a fingertip can feel, and the sluggishness was the redraw. Flashing the Example Would Have Wiped the Card →
In all six, the opposite looked right until I measured. Every number I measured, and what each one changed →
What I build
The starting points differ. Some begin in theory, some at a place where something I was using got in the way, and some, like rebuilding an old game, began as personal research. Each capability below lists the work it went into; a chip opens that piece of work.
How I work
- Suspect the instrument first. A verification result once kept flipping between samples. The model had not changed; there were too few replications. Every verdict since carries the half-width of a 95% confidence interval. The next time, the figure I had taken as a baseline was a running mean still unconverged after four years, and while rebuilding an old game, the test comparing against the original was passing runs whose random numbers had drifted. All three times, the thing that was wrong first was the measuring side. I Measured With a Ruler That Was Still Growing → The Ruler Was Wrong Before the Original Was →
- Measure again where it is used. The first sound measured inside the Mac came at 1.48 seconds; talking through the device, it took 25–31. Splitting speakers, which got every synthetic-voice conversation right, cut a real recording into 613 people. Passing on a stand-in is a guess, so something is written down as done only after it is measured where it is actually used. The 1.48 Seconds Measured on the Mac Were 25–31 Seconds on the Device → A Threshold Tuned on Synthetic Voices Split a Real Recording into 613 Speakers →
- Code decides the numbers; the model only puts them into words. Searching mail, one model took "last month" as thirty days and a smaller one as August. Since then, values that must not be wrong, such as periods, counts and times, are set by code, and the model is only asked to say them. The talking device's briefing is sent back for rewriting when a number appears that is not in the data, and if it stays wrong the plain fact lines are read out instead. Code Decides What Last Month Means →
- An automated check answers only what it was asked. Four pages × eleven widths × two languages: all 88 combinations passed, and both times I found the broken layout by looking at it. A checker that compares a document's numbers with the code once passed because it found the number quoted in an explanatory paragraph. Anything that changes the screen still gets looked at. A Quote Made the Checker Pass →
- Look at what an answer leans on before the answer. I reverted five defaults that had filled in unknown values, one at a time, and re-ran; four of them leaned the same way, and stacking all five made the answer 3.4× larger. A static capacity model's "this much if everything goes well", read as an operating target, makes buying equipment look necessary, when what was needed was one constant in the release rule and a 3.5% throughput gain came with no capital spend. The Defaults Were Not Neutral → The Lie That Batches Are Always Full →
- Empty-handed beats invented. When there is nothing to show, leave it blank rather than manufacture something plausible. Three separate pieces of work arrived at the same decision. For the same reason, the indicators built from public data make the report print its own limits every run; a reader is not expected to go looking for the documentation. Public Data Is Open, Not Clean →
Where I am heading
What I build has been widening. It started with mobile apps on the stores, moved through Windows programs colleagues use and a desk device written from the firmware up, and now includes POKI, a small device you talk to, and a side display that sits in front of the Mac.
What I am aiming for is AI that sees, decides and moves in the real world, what is usually called physical AI. On the line twin, fourteen agents make decisions every shift, but inside a simulation; the desk devices measure and show the real world, but decide nothing.
Each dot in the figure is one measurement. Every project was first given a level from 0 to 2 on two counts, how closely it touches the real world and how far its decisions go, and each measurement is placed where its project sits. Reality is 0 inside a simulation or public data, 1 when it takes in records people leave (speech, mail, photos), and 2 when a device measures the physical world directly. Deciding is 0 when it calculates by rule, 1 when a model produces an answer or a summary, and 2 when that decision also sets the next action. Joined month by month, the centre of mass has moved toward the goal: from the first month to the last, +0.64 toward reality and +0.04 toward deciding.
POKI is the first device placed between the two. It hears what a person says, a local model on the Mac decides, and it answers in its own voice; when the time comes it speaks first. Its decisions still reach only as far as words. Anything that goes outward, like writing to the calendar or sending something, waits for a person to press a confirmation card. Joining decisions to movement is the next goal.
Building devices taught me that undoing is expensive once there is hardware. With a machine that moves, it costs more still. I expect the habit recorded on this site, measuring and then being willing to reverse, to matter more there. I have not done that work yet; when I do, it will be written up here.
Why no industry is named
Nothing here names an industry or an employer. That is deliberate.
I write under my own name and address. Naming the industry would make the employer inferable, and that is past what I agreed to carry.
What is left out is far less than what is put in. The structure of the problem, the scale, the algorithms and the theory, how it was validated, the measured numbers, and the constraints with their reasons are all written down. Judging whether a decision was sound needs those; it does not need the industry.
So the numbers here can be checked. If something is wrong, argue with the number.
The repositories are private for the same reason, which means you cannot reproduce any of this. That is a real limit of these write-ups, and I write it down rather than leave it to be assumed.