It Can Select, but It Cannot Create
이틀 전에 Lies of P를 썼다. AI는 왜 웃기지 않은가. 예측 오차를 최소화하도록 훈련된 시스템은, 예측을 깨뜨려야 성립하는 것을 만들 수 없다는 주장이었다.
쓰고 나서 불편했다. 논증은 깔끔했는데, 그게 진짜인지 모르겠었다. 가설이면 측정해야 한다. 그래서 측정했다.
측정하려면 질문을 쪼개야 했다. AI가 유머를 이해하지 못하는 것인지, 이해는 하는데 만들지 못하는 것인지. 이 둘은 다른 능력이다. 시험 문제의 정답을 고르는 것과 정답을 처음부터 쓰는 것이 다른 것처럼. 이해한다면 재밌는 걸 골라낼 수 있어야 하고, 만들 수 있다면 재밌는 걸 생성할 수 있어야 한다. 이 격차를 proposal-selection gap이라고 불렀다.
재료는 뉴요커 캡션 콘테스트 데이터셋이다.1 만화 362개, 캡션 220만 개, 인간 평점 2억 5천만 개. 캡션 하나마다 수백 명이 1점에서 3점 사이로 매긴 점수가 붙어 있다. 이 데이터의 장점은 인간의 판단이 이미 끝나 있다는 것이다. AI에게 이게 웃기냐고 물을 필요 없이, 인간 평점이라는 ground truth가 있다.
첫 번째 실험은 고르기다. 각 만화에서 인간 캡션 20개를 최상위부터 최하위까지 골고루 뽑고, AI에게 가장 재밌는 3개를 고르게 했다. GPT-5.4는 98번째 백분위의 캡션을 골랐다. GPT-4o-mini는 93, Gemma-4 27B는 90, Qwen-3.5 35B는 87. 랜덤으로 3개를 뽑았을 때의 기대값은 82였다. 모든 모델이 랜덤을 유의미하게 넘었다. AI는 재밌는 걸 안다.
두 번째 실험은 만들기다. 같은 만화에 대해 AI에게 캡션을 5개 만들게 하고, 그중 최고를 골라 아까 그 인간 캡션 20개 풀에 21번째로 익명 삽입했다. 그리고 같은 GPT-5.4에게 21개 중 top-3를 고르게 했다. AI 캡션이 top-3에 뽑힌 비율은 이렇다.
| 조건 | 뽑힌 비율 | 랜덤 기대값 | 유의미? |
|---|---|---|---|
| GPT-4o-mini (기본) | 12% | 14% | 아니오 (p=0.83) |
| GPT-4o-mini (힌트) | 24% | 14% | 경계 (p=0.09) |
| Gemma-4 27B | 28% | 14% | 예 (p=0.02) |
| Qwen-3.5 35B | 12% | 14% | 아니오 (p=0.83) |
대부분의 조건에서 AI 캡션은 랜덤과 구분되지 않았다.
선택에서는 98번째 백분위. 생성에서는 랜덤 수준. 같은 모델이다.
왜 이렇게 되나. 재밌는 캡션은 예측을 깨는 캡션이다. 왕좌 위에 칼이 매달린 만화에서 "Your overhead is going to kill you"가 재밌는 이유는 overhead가 경상비와 머리 위를 동시에 뜻하기 때문이다. 확률이 낮은 출력이다. AI의 학습 목표는 가장 확률 높은 다음 토큰이고, 재미의 조건은 확률이 낮은 토큰이다. 구조적으로 충돌한다.
그러면 선택은 왜 되나. 후보가 이미 있으니까. A가 B보다 나은가를 묻는 것은 패턴 매칭이고, 비교는 분포 안의 작업이다. 하지만 아무것도 없는 상태에서 재밌는 걸 만들라는 요구는 분포 밖으로 나가야 한다.
실제 캡션을 나란히 놓으면 차이가 만져진다. 왕좌 위 칼 만화에서 인간 최고 캡션은 "Your overhead is going to kill you"였고, AI 최고 캡션은 "Budget cuts have really taken a toll on royal safety"였다. 기린이 거실에 앉아 있는 만화에서 인간은 "Sorry I'm late. I hit every traffic light"라고 썼고, AI는 "The signal is much better without the acacia tree"라고 썼다. 인간 캡션에는 이중 의미와 프레임 전환과 아이러니가 있다. AI 캡션은 문법적으로 완벽하고, 장면을 성실히 설명하고, 예측 가능하다.
실험 중에 예상 못 한 것도 하나 나왔다. GPT-4o-mini가 자기가 만든 캡션을 평가하면 95% 확률로 자기 것이 더 낫다고 한다. GPT-5.4가 대신 판단하면 42%로 떨어진다. 53%p의 자기선호 편향이다. 더 신경 쓰이는 쪽은 이것이다. GPT-5.4의 쌍별 비교로 평가하면 AI 캡션과 인간 최고 캡션이 거의 같은 점수를 받는다 (r=0.50, p<0.001). LLM 판사는 잘 쓴 것과 재밌는 것을 구분하지 못한다. 지금 LLM-as-Judge로 창의성을 측정하고 있다면, 측정되고 있는 것은 창의성이 아니라 언어적 품질일 수 있다.
반론이 두 개 있었고, 둘 다 실험으로 확인했다.
하나. 선택이 쉬운 건 답이 이미 있으니까 당연하지 않냐. 그래서 AI에게 선택 때와 동일한 정보 — 만화 설명과 20개 후보 캡션 — 를 보여주고, 이것들보다 더 재밌는 캡션을 만들라고 했다. 결과는 24%. 기본 생성의 12%보다는 낫지만 통계적으로 유의하지 않았다 (p=0.55). 같은 정보, 같은 모델인데 선택은 93번째 백분위, 생성은 24%다.
둘. 많이 만들어서 그중 최고를 고르면 되지 않냐. 해봤다. N을 1, 5, 10, 20, 50으로 늘려가며 생성하고 best-of-N으로 골랐다.
N=50에서 37%까지 올라갔지만 50% 패리티에는 못 미쳤고, N=20 이후로는 평평해졌다. 생성 분포 자체가 바뀌지 않으면, 더 많이 만들어서 고르는 검색으로는 한계가 있다.
AI는 재밌는 걸 안다. 98번째 백분위로. 하지만 재밌는 걸 만들지는 못한다. 랜덤과 구분되지 않는 수준으로. 이 격차가 유머에만 해당하는지, 창의성 전반의 구조인지는 아직 모른다.
이 연구의 약점도 안다. 생성 평가가 완전히 인간 기반이 아니라 GPT-5.4를 매개로 한 human-anchored metric이라는 것, 그리고 뉴요커 캡션이라는 하나의 도메인이라는 것. 다음에 할 일은 사람에게도 21개 풀에서 top-3를 고르게 해서 측정 반론을 지우는 것, 과학적 가설 생성이나 코드 리팩토링 같은 다른 도메인에서 같은 격차가 나타나는지 보는 것, 그리고 격차를 좁히는 방법을 찾는 것이다. generate-then-select가 N=50에서 멈춘다는 건, 답이 검색이 아니라 생성 분포 쪽에 있다는 뜻이다.
Lies of P는 이렇게 끝났다. 이미 존재하는 것들의 통계적 평균은 새로운 소수가 아니다. 이번 실험에서 확인한 것은, AI가 소수를 알아볼 수는 있다는 것이다. 다만 아직 발견하지는 못한다.
좋은 제안은 어디서 오는가. 이 질문은 다음 글에서 이어진다: 거짓말할 수 있는 모델
Footnotes
-
Zhang, Y. et al. (2024). Humor in AI: Massive Scale Crowd-Sourced Preferences and Benchmarks for Cartoon Captioning. NeurIPS. ↩
Two days ago I wrote Lies of P. Why AI isn't funny. The argument was that a system trained to minimize prediction error cannot produce something that only works by breaking predictions.
After writing it, I felt uneasy. The argument was clean, but I didn't know if it was true. A hypothesis has to be measured. So I measured it.
To measure it, I had to split the question. Is AI failing to understand humor, or does it understand and just fail to produce it? These are different abilities -- the way choosing the right answer on an exam is different from writing the right answer from scratch. If it understands, it should be able to pick out what's funny. If it can create, it should be able to generate what's funny. I called this gap the proposal-selection gap.
The material is the New Yorker Caption Contest dataset.1 362 cartoons, 2.2 million captions, 250 million human ratings. Every caption carries a score from hundreds of people, each rating it between 1 and 3. The advantage of this data is that the human judgment is already done. There's no need to ask AI whether something is funny -- the human ratings are the ground truth.
The first experiment is picking. For each cartoon I sampled 20 human captions spread evenly from the top to the bottom, and asked AI to pick the 3 funniest. GPT-5.4 picked captions at the 98th percentile. GPT-4o-mini hit the 93rd, Gemma-4 27B the 90th, Qwen-3.5 35B the 87th. The expected value of picking 3 at random was the 82nd. Every model significantly exceeded random. AI knows what's funny.
The second experiment is creating. For the same cartoons I asked AI to generate 5 captions, took its best one, and anonymously inserted it as the 21st caption into that same pool of 20 human captions. Then I asked the same GPT-5.4 to pick the top 3 out of 21. Here is the rate at which the AI caption made the top 3.
| Condition | Pick Rate | Random Expected | Significant? |
|---|---|---|---|
| GPT-4o-mini (baseline) | 12% | 14% | No (p=0.83) |
| GPT-4o-mini (hint) | 24% | 14% | Borderline (p=0.09) |
| Gemma-4 27B | 28% | 14% | Yes (p=0.02) |
| Qwen-3.5 35B | 12% | 14% | No (p=0.83) |
In most conditions the AI caption was indistinguishable from random.
98th percentile at selection. Random level at generation. Same model.
Why does it turn out this way? A funny caption is one that breaks predictions. In the cartoon of a sword hanging over a throne, "Your overhead is going to kill you" is funny because "overhead" means both operating costs and the space above your head. It's a low-probability output. AI's training objective is the highest-probability next token, and the condition for humor is a low-probability token. They collide structurally.
So why does selection work? Because the candidates already exist. Asking whether A is better than B is pattern matching, and comparison is work inside the distribution. But asking it to make something funny from nothing requires stepping outside the distribution.
Put the actual captions side by side and the difference becomes tangible. On the sword-over-throne cartoon the best human caption was "Your overhead is going to kill you," while the best AI caption was "Budget cuts have really taken a toll on royal safety." On the cartoon of a giraffe sitting in a living room, a human wrote "Sorry I'm late. I hit every traffic light," and AI wrote "The signal is much better without the acacia tree." The human captions have double meaning, a shift of frame, irony. The AI captions are grammatically perfect, dutifully describe the scene, and are predictable.
Something I didn't expect also came out of the experiments. When GPT-4o-mini evaluates its own captions, it says its own are better 95% of the time. When GPT-5.4 judges instead, that drops to 42%. A 53-percentage-point self-preference bias. The more troubling part is this: under GPT-5.4's pairwise comparison, AI captions and the best human captions receive almost the same score (r=0.50, p<0.001). The LLM judge cannot tell well-written apart from funny. If you are currently measuring creativity with LLM-as-Judge, what is being measured may not be creativity but linguistic quality.
There were two objections, and I checked both with experiments.
One. Isn't selection easy simply because the answer is already there? So I showed AI the same information it had during selection -- the cartoon description and the 20 candidate captions -- and asked it to make a caption funnier than all of them. The result was 24%. Better than the 12% of baseline generation, but not statistically significant (p=0.55). Same information, same model, yet selection is the 93rd percentile and generation is 24%.
Two. Can't you just generate a lot and pick the best? I tried it. I generated with N at 1, 5, 10, 20, and 50, and picked with best-of-N.
At N=50 it rose to 37%, but it never reached the 50% parity mark, and past N=20 it flattened out. Unless the generation distribution itself changes, search-by-generating-more has a ceiling.
AI knows what's funny. At the 98th percentile. But it can't make what's funny. At a level indistinguishable from random. Whether this gap is specific to humor or a structural feature of creativity in general, I don't yet know.
I know this study's weaknesses too. The generation-side evaluation isn't fully human-based but a human-anchored metric mediated by GPT-5.4, and it covers a single domain, New Yorker captions. What's next is to have humans also pick the top 3 from the 21-caption pool, to erase the measurement objection; to see whether the same gap appears in other domains like scientific hypothesis generation or code refactoring; and to find ways to close the gap. That generate-then-select stalls at N=50 means the answer lies on the side of the generation distribution, not search.
Lies of P ended like this: the statistical average of things that already exist is not a new prime number. What this experiment confirmed is that AI can recognize a prime. It just can't discover one yet.
Where do good proposals come from? That question continues in the next post: The Model That Can Lie
Footnotes
-
Zhang, Y. et al. (2024). Humor in AI: Massive Scale Crowd-Sourced Preferences and Benchmarks for Cartoon Captioning. NeurIPS. ↩