AI Arena
설 연휴 동안 제품 하나를 처음부터 끝까지 만들어 봤다. 이름은 AI Arena.
시작은 대회였다. 작년에 카카오임팩트와 브라이언임팩트가 연 AI TOP 100에 나가 동상을 받았다. 코딩 실력을 겨루는 대회가 아니다. 주어진 문제를 AI를 얼마나 잘 부려서 빠르고 정확하게 푸느냐를 본다. 올해는 캠퍼스 에디션의 예선과 본선에 베타 테스터로도 참여했다. 두 해에 걸쳐 그 현장을 지켜보다가, 이 형식 자체를 제품으로 만들어 보고 싶어졌다. 문제를 내고, 사람들이 AI로 풀고, 그 답을 채점해 세우는 아레나.
연휴는 그걸 만들기에 알맞은 시간이었다. 그리고 솔직히, 제품 하나를 끝까지 만들어 본 게 그때가 처음이었다.
여기서 문제는 코드가 아니라 글이다. 응시자는 프롬프트를 쓰고, 자기 분석을 서술하고, 전략을 설명한다. 그래서 문제 푸는 화면은 일부러 텅 비웠다. 헤더도 사이드바도 없이, 문제와 타이머만 남는 방. 들어가면 나 말고는 문제밖에 없다. 답을 내면 OpenAI가 공개한 GABRIEL이 루브릭에 따라 채점한다. 평가 기준을 자연어로 적어 두면 GPT가 각 답을 그 기준으로 점수화하는 도구다. 그 점수는 몇 개의 축으로 모여, 레이더 차트가 있는 프로필과 매일의 스킬 변화로 쌓인다.
만드는 데 필요한 건 대부분 처음 해보는 것들이었다. 배포는 Vercel, 데이터와 인증은 Supabase, 로그인은 OAuth. 화면은 직접 디자인했고, 홈페이지엔 AI 에이전트를 하나 얹어 봤다. 문제도 몇 개 냈다 — 다만 문제에는 솔직히 공을 들이지 못했다. 대회의 본령인 '좋은 문제'는 아직 이 제품의 약한 고리다.
완성도만 보면 여기저기 거칠었다. 그런데 배운 것으로 치면 그 몇 주가 유난히 밀도가 높았다. Vercel에 처음 올려 보고, Supabase 스키마를 처음 짜 보고, OAuth 콜백을 처음 디버깅하고, 채점 파이프라인을 처음 돌려 보고 — 하나하나가 "아, 이렇게 하는 거구나"였다. 제품을 만든다는 게 기능을 하나씩 붙여 나가는 일이라기보다, 무엇을 만들지 않을지를 계속 고르는 일에 가깝다는 것도 그때 몸으로 알았다.
만들다 보니 정작 흥미로운 건 그 채점 축이었다. 내가 보기에 대회에서 사람을 가르던 능력은 결국 네 가지였다. 정확한 답을 끌어내는 지시, 틀린 답을 잡아내는 검증, 복잡한 일을 AI로 풀어내는 활용, 언제 어떻게 AI를 쓸지 정하는 판단. 문제를 잘 푸는 사람과 그렇지 못한 사람은 이 네 축에서 갈렸고, 지금은 그 네 축이 이 제품의 측정 기준 그대로다.
그 아레나는 지금 조금 다른 이름으로 굴러가고 있다. 대회의 형식에서 출발했지만, 지금은 기업이 구성원의 AI 활용능력을 재는 도구가 되었다. 이름은 Fluent. AI 시대의 코딩테스트라는 자리를, 코드가 아니라 프롬프트로 채우는 셈이다.
제품 하나를 끝까지 만들어 본 경험은, 결과물과 별개로 그 자체로 남았다. 다음 것은 조금 덜 헤매며 만들 것이다.
지금의 모습은 여기에 있다: fluentdot.com
Over the Lunar New Year holiday I built one product end to end. It's called AI Arena.
It started with a competition. Last year I entered AI TOP 100, run by Kakao Impact and the Brian Impact Foundation, and took a bronze. It isn't a coding contest. It measures how well you can wield AI to solve a given problem quickly and correctly. This year I also joined the campus edition's qualifier and finals as a beta tester. After watching it up close across two years, I wanted to turn the format itself into a product: an arena where you set problems, people solve them with AI, and the answers get graded into a ranking.
The holiday was a good stretch of time to build it. And honestly, it was the first time I had ever built a whole product from front to back.
Here the problem is writing, not code. You write prompts, describe your analysis, explain your strategy. So the solving screen is deliberately emptied out — no header, no sidebar, just the problem and a timer. Once you step in, there's nothing but you and the problem. When you submit, OpenAI's GABRIEL grades the answer against a rubric: define the criteria in plain language and it has GPT score each answer against them. Those scores gather onto a handful of axes, and settle into a radar-chart profile and a daily record of how your skill shifts.
Most of what it took to build was something I was doing for the first time. Deploy on Vercel, data and auth on Supabase, login through OAuth. I designed the screens myself and put an AI agent on the homepage. I wrote a few problems too — though, honestly, I never put real work into them. The very thing the competition lives on, good problems, is still the weak link.
By finish quality it was rough in places. But measured in what I learned, those few weeks were unusually dense. Deploying to Vercel for the first time, writing a Supabase schema for the first time, debugging an OAuth callback for the first time, running a grading pipeline for the first time — each one was a small "oh, so that's how it's done." I also learned, in my hands rather than in theory, that building a product is less about bolting on one feature after another than about continually choosing what not to build.
The part that turned out most interesting was those grading axes. As I saw it, what separated people at the competition came down to four things: the instruction that pulls an accurate answer out, the verification that catches a wrong one, the application that solves a complex task with AI, and the judgment of when and how to use AI at all. Who solved the problems well and who didn't split along those four axes — and those same four are exactly what the product now measures.
That arena runs under a slightly different name now. It began as a competition format, but it has become a tool that measures how well an organization's people use AI. It's called Fluent. It fills the slot of the coding test, for an age when the test is written in prompts rather than code.
The experience of building one product all the way through stayed with me, apart from the thing itself. The next one I'll build with a little less fumbling.
Where it lives now: fluentdot.com