합성 목소리로 맞춘 문턱이 실제 녹음을 613명으로 쪼갰다
맥북 안에서 녹음을 받아 적고 요약하는 웹 화면을 쓰고 있습니다. 받아 적기는 whisper large-v3-turbo, 요약은 Ollama 로 띄운 12b 모델이 하고, 녹음은 맥 밖으로 나가지 않습니다. 여럿이 말한 녹음은 누가 말했는지 빠지면 요약에서 할 일을 누가 맡았는지 알 수 없었습니다. 말한 사람을 구별할 수 있느냐고 물은 것이 시작이었습니다.
그 뒤 이틀 동안 나누는 방식을 한 번 통째로 바꾸고, 규칙 하나를 넣었다가 되돌렸습니다. 돌아보면 처음 방식을 고른 근거가 된 시험 자료가 실제 녹음을 닮지 않았습니다.
합성 목소리 대화에서는 다 맞혔다
처음 방식은 두 단계였습니다. NVIDIA Sortformer(4명까지 표시)로 혼자 말한 녹음인지 먼저 보고, 여럿이면 음성 합성 모델 Qwen3-TTS 1.7B 의 목소리 특징 추출기만 올려 받아 적기 구간마다 벡터를 만듭니다. 벡터는 평균을 뺀 코사인으로 비슷한 것끼리 묶고, 사람 수를 모르면 가장 가까운 두 묶음의 비슷함이 0.65 아래로 내려갈 때 멈춥니다.
시험 자료는 macOS 의 합성 목소리로 만든 가짜 대화 둘이었습니다. 3명이 49초, 4명이 2분 44초 말하는 대화에서 사람 수와 문장별 화자를 모두 맞혔고, 나누는 데 1~3초가 걸렸습니다. 문턱을 0.6에서 0.75 사이 어디에 두어도 맞았습니다. 그 넓은 폭을 안전한 여유로 읽었습니다. 실제 사람 여럿의 녹음으로는 아직 재지 않았다는 줄은 문서의 남은 일에 적어 두었습니다.
40분 돌다가 '혼자'로 나왔다
처음 올린 실제 녹음은 받아 적기와 요약까지는 됐는데, 나누기가 2,425초를 돈 끝에 GPU 메모리 부족으로 실패해 '혼자'로 처리됐습니다. 녹음은 처리 뒤 지우게 되어 있어서 다시 돌릴 수 없었습니다. 4명 합성 대화를 49분으로 이어 붙여 같은 실패를 만들었습니다.
원인은 Sortformer 에 넘긴 조각 길이였습니다. 모델은 188프레임(약 15초)씩 먹고 상태를 한 번에 188프레임까지만 줄이는데, 30초 조각을 넘기자 상태가 조각마다 188, 376, 564프레임으로 늘기만 했습니다. 15초 조각으로 바꾸자 10분 녹음이 23.5초·최고 5.19GB 에서 3.0초·0.81GB 로 줄었고, 첫 조각도 못 내던 49분 녹음이 15.5초에 끝났습니다. 같이 재 보니 받아 적기 모델이 끝난 뒤에도 4.2GB 를 쥐고 있어서, 받아 적은 직후 놓게 했습니다(1.06GB).
같은 사람끼리도 비슷하지 않았다
메모리를 고친 뒤 녹음을 다시 올리자, 이번에는 화자가 613명으로 나왔습니다. 받아 적은 649줄이 거의 한 줄에 한 번호였습니다.
녹음이 다시 지워졌으므로 정답 표가 있는 공개 자료로 재현했습니다. 에든버러 대학이 CC BY 4.0 으로 공개한 AMI 의 4명 녹음 두 편(17.5분, 14분)입니다. 문턱 0.65 에서 각각 176명과 168명이 나왔습니다. 같은 사람끼리의 비슷함을 재 보니 합성 대화에서는 0.86 이던 값이 0.29 와 0.08 이었습니다. 합성 목소리는 같은 사람이면 늘 똑같은 소리를 내고, 실제 사람은 그러지 않습니다. 문턱이 어디 있어도 맞던 넓은 폭은 시험이 쉬웠다는 표시였습니다.
사람 수를 정답으로 넣어 줘도 88%와 60%였습니다. 사람 수를 실루엣 점수로 고르는 방법도 시도했는데, 합성 3명 대화에서 7명을 골랐습니다.
순위가 뒤집혔다
같은 네 녹음으로 세 방식을 견줬습니다. 받아 적기 구간마다 정답 화자와 맞는지를 시간으로 쟀습니다.
| 녹음 | Nemotron-3-Diarization | Sortformer 만 | 목소리 특징 + 0.65 |
|---|---|---|---|
| AMI 17.5분 4명 | 97% | 83% | 27% |
| AMI 14분 4명 | 89% | 85% | 10% |
| 합성 2분 44초 4명 | 82% | 83% | 100% |
| 합성 49초 3명 | 71% | 68% | 100% |
합성 대화에서 1등이던 방식이 실제 녹음에서는 꼴찌였습니다. 실제 녹음에 맞는 쪽을 골라 Nemotron-3-Diarization(약 199MB, 8명까지)으로 바꿨습니다. 합성에서 점수가 낮은 것은 서로 비슷한 합성 목소리를 한 사람으로 합쳐서입니다. 49분 녹음을 2.8초, 최고 0.78GB 에 나눕니다. 이 모델은 사람 수를 입력으로 받지 않아서, 녹음 화면의 2~6명 고르기를 빼고 '자동'과 '혼자'만 남겼습니다.
Sortformer 만 쓰는 쪽은 4명까지라 6명을 나눌 수 없어서 뺐습니다. 이 6명이라는 수도 틀린 것이었습니다.
6명인 줄 알았던 녹음은 10명이었다
48.8분짜리 그 녹음을 Nemotron 으로 나누자 모델 최대인 8명이 나왔습니다. 결과 화면을 보고 같은 사람이 두 번호로 갈린 곳은 없다는 것을 확인했습니다. 확인에 쓴 기록에는 화자 구간의 시각과 번호만 남기고 소리와 글은 남기지 않았고, 확인이 끝난 뒤 폴더째 지웠습니다.
제가 처음에 "약 6명"이라고 말했기 때문에, 0.3분(전체의 1%)만 말한 화자 7은 헛번호처럼 보였습니다. 말한 시간이 2% 안 되는 번호를 버리는 규칙을 넣었고, 같은 기록에 다시 붙이니 7명이 됐습니다. 공개 녹음 하나는 4명을 3명으로 셌습니다. 그 뒤에 다시 세어 보니 실제로는 10명이었습니다. 아주 적게 말한 사람을 빼고 센 것이 6명이었고, 화자 7이 그중 한 사람이었습니다.
그 규칙은 실제 사람을 지우는 규칙이었습니다. 되돌리고, 왜 기각했는지를 문서에 적었습니다. 10명이면 8명 한계 때문에 적어도 둘은 다른 사람의 번호에 묶입니다. 이 맥에서 돌릴 수 있는 8명 넘는 공개 모델은 찾지 못했습니다. 지금 것을 써 보고 모자라면 붙이기로 정했고, 후보와 시험 계획(공개 녹음 넷을 이어 16명으로 만들기)은 남은 일에 적어 두었습니다.
줄마다 녹음 시각을 붙였다
누가 몇 분 몇 초부터 말했는지 보고 싶어서, 받아 적은 글의 줄마다 녹음 시각을 붙였습니다. '화자 2 (12:05~12:41): …' 꼴이고, 같은 사람이 이어 말한 구간은 한 줄로 묶어 첫 구간의 시작과 마지막 구간의 끝을 씁니다. 1시간이 넘으면 1:01:40 처럼 씁니다. 혼자 말한 녹음은 예전처럼 시각 없는 한 덩어리 글입니다. 4명 합성 대화로 처음부터 끝까지 돌려 보니 받아 적기 7.8초, 나누기 1.1초, 요약 8.6초였습니다.
정리하면
시험 자료가 쉬우면 문턱의 여유도 믿을 수 없습니다. 합성 목소리는 같은 사람이 늘 같은 소리라서, 0.6~0.75 어디에서나 맞던 방식이 실제 녹음을 613명으로 쪼갰습니다.
정답이 있는 실제 자료로 다시 재면 순위가 바뀔 수 있습니다. 합성에서 100%이던 방식이 공개 녹음에서 27%와 10%였고, 합성에서 낮던 모델이 97%와 89%였습니다.
처리 뒤 지워지는 녹음은 실패를 재현할 수단을 따로 마련해야 합니다. 메모리 부족은 이어 붙인 합성 대화로, 613명은 공개 녹음으로 다시 만들었습니다.
사람 수를 센 제 기억도 재는 자였습니다. 그 수에 맞춰 적게 말한 사람을 지우는 규칙을 넣었다가, 10명이라는 것을 알고 되돌렸습니다. 실제로 여럿이 말한 녹음으로 확인한 것은 아직 이 한 건뿐입니다.
메모리를 재는 방법이 틀렸던 다른 일은 첫 소리 다음에 남은 것은 메모리였고, 메모리를 재는 자도 틀렸다에 있습니다.
I use a web page on my MacBook that transcribes and summarises recordings. Transcription is done by whisper large-v3-turbo and summarising by a 12b model served through Ollama, and the recordings never leave the Mac. When several people spoke and the transcript did not say who said what, the summary could not show who had taken on which task. It started with a question: could it tell the speakers apart?
Over the next two days I replaced the splitting method wholesale once, and put in a rule and then took it back out. Looking back, the test material that justified the first method did not resemble real recordings.
On synthetic-voice conversations, it got everything right
The first method had two stages. NVIDIA Sortformer (labels up to 4 speakers) first checks whether a single person is speaking, and if there are several, only the voice feature extractor of the speech synthesis model Qwen3-TTS 1.7B is loaded to make a vector for each transcription segment. The vectors are grouped by similarity, using cosine after subtracting the mean, and when the number of speakers is unknown, grouping stops once the similarity of the two closest groups falls below 0.65.
The test material was two fake conversations made with macOS synthetic voices. On a 49-second conversation among 3 speakers and a 2-minute-44-second one among 4, it got both the number of speakers and the speaker of every sentence right, and splitting took 1–3 seconds. The threshold gave the right answer anywhere from 0.6 to 0.75. I read that wide range as a safe margin. A line saying it had not yet been measured on a real recording of several people went into the to-do section of the documentation.
After 40 minutes, it came out as 'Solo'
The first real recording I uploaded got through transcription and summarising, but splitting ran for 2,425 seconds, then failed with the GPU out of memory, and the recording was treated as 'Solo'. Recordings are set to be deleted after processing, so it could not be run again. I looped the 4-speaker synthetic conversation end to end into a 49-minute recording to reproduce the same failure.
The cause was the length of the pieces passed to Sortformer. The model takes 188 frames (about 15 seconds) at a time and can only shrink its state by up to 188 frames at once, so when it was given 30-second pieces, the state just kept growing, to 188, 376 and 564 frames, piece by piece. Switching to 15-second pieces brought a 10-minute recording from 23.5 seconds and a peak of 5.19GB down to 3.0 seconds and 0.81GB, and the 49-minute recording, which had not got through even its first piece, finished in 15.5 seconds. Measuring alongside showed that the transcription model was still holding 4.2GB after it finished, so I had it let go right after transcribing (1.06GB).
Even the same speaker's segments were not alike
After the memory fix I uploaded the recording again, and this time it came out as 613 speakers. Of the 649 transcribed lines, nearly every line had a number of its own.
The recording had been deleted again, so I reproduced the problem with public data that comes with an answer key: two 4-speaker recordings (17.5 and 14 minutes) from AMI, which the University of Edinburgh publishes under CC BY 4.0. At a threshold of 0.65, they came out as 176 and 168 speakers. Measuring the similarity between segments of the same speaker, the value that had been 0.86 in the synthetic conversations was 0.29 and 0.08. A synthetic voice always makes exactly the same sound for the same speaker, and a real person does not. The wide range where any threshold worked was a sign that the test was easy.
Even when given the correct number of speakers, it scored 88% and 60%. I also tried choosing the number of speakers by silhouette score, and on the 3-speaker synthetic conversation it chose 7.
The ranking flipped
I compared three methods on the same four recordings, measuring by time whether each transcription segment matched the correct speaker.
| Recording | Nemotron-3-Diarization | Sortformer only | Voice features + 0.65 |
|---|---|---|---|
| AMI, 17.5 min, 4 speakers | 97% | 83% | 27% |
| AMI, 14 min, 4 speakers | 89% | 85% | 10% |
| Synthetic, 2 min 44 s, 4 speakers | 82% | 83% | 100% |
| Synthetic, 49 s, 3 speakers | 71% | 68% | 100% |
The method that came first on the synthetic conversations came last on the real recordings. I chose the one that fit real recordings and switched to Nemotron-3-Diarization (about 199MB, up to 8 speakers). Its low scores on the synthetic ones come from merging synthetic voices that sound alike into one person. It splits the 49-minute recording in 2.8 seconds with a peak of 0.78GB. This model does not take the number of speakers as input, so I removed the 2–6 speaker picker from the recording screen and left only 'Auto' and 'Solo'.
Sortformer on its own only goes up to 4 speakers and could not split 6, so I dropped it. That number, 6, was wrong too.
The recording I thought had 6 speakers had 10
Splitting that 48.8-minute recording with Nemotron gave 8 speakers, the model's maximum. Looking at the result screen, I confirmed that nowhere was the same person split across two numbers. The log used for the check kept only the times and numbers of the speaker segments, with no audio or text, and once the check was over the folder was deleted whole.
Because I had said at first that there were "about 6", speaker 7, who spoke for only 0.3 minutes (1% of the total), looked like a spurious number. I put in a rule that dropped any speaker number with less than 2% of the speaking time, and applying it again to the same log gave 7 speakers. On one of the public recordings it counted 4 speakers as 3. Counting again after that, there were actually 10. Six was the count that left out the people who spoke very little, and speaker 7 was one of them.
That rule was a rule that deleted real people. I reverted it and wrote down in the documentation why it was rejected. With 10 people, the 8-speaker limit means at least two get folded into someone else's number. I could not find a public model for more than 8 speakers that runs on this Mac. I decided to use the current one and add something if it falls short, and the candidates and a test plan (joining four public recordings into 16 speakers) are in the to-do section.
A recording time on every line
I wanted to see who spoke from what minute and second, so every line of the transcript now carries the recording time. It looks like 'Speaker 2 (12:05–12:41): …', and consecutive segments from the same person are joined into one line, with the start of the first segment and the end of the last. Past an hour it is written like 1:01:40. Single-speaker recordings are a single block of text without times, as before. Running the 4-speaker synthetic conversation from start to finish took 7.8 seconds for transcription, 1.1 seconds for splitting and 8.6 seconds for summarising.
In short
When the test material is easy, the threshold's margin cannot be trusted either. Synthetic voices always sound the same for the same person, so a method that worked anywhere from 0.6 to 0.75 split a real recording into 613 speakers.
Measuring again on real data with an answer key can change the ranking. The method that scored 100% on the synthetic conversations scored 27% and 10% on the public recordings, and the model that scored low on the synthetic ones scored 97% and 89%.
Recordings that are deleted after processing need a separate way to reproduce failures. The memory shortage was recreated with a looped synthetic conversation, and the 613 speakers with public recordings.
My recollection of how many people were there was a ruler too. To fit that number I put in a rule that deleted people who spoke little, then reverted it on learning there were 10. So far this is the only case checked on a real recording with several speakers.
Another case where the way memory was measured went wrong is in After the First Sound, What Was Left Was Memory, and the Ruler for Memory Was Wrong Too.