AI Scientist
Preview — In Development
과학 지식의 대부분은 PDF에 갇혀 있다.
논문 한 편을 제대로 소화하는 데 드는 시간을 생각해 보면, 문헌 선별에 논문당 몇 시간, 재현 환경을 세팅하는 데 며칠, 인용 네트워크를 손으로 따라가는 데 다시 몇 시간이 든다. 이런 작업은 고도의 지적 판단이라기보다 구조화된 정보 처리에 가깝다. 판단이 필요한 지점은 따로 있고, 그 앞의 노동은 에이전트가 잘 해낼 수 있는 영역이다.
그래서 논문을 기계가 읽을 수 있는 구조로 컴파일하는 것에서 시작한다. 원본 대비 컨텍스트 비용을 절반 이하로 줄이면서 출처 정보는 빠짐없이 보존하는 것이 목표다.
{
"paper_id": "arxiv:2405.21060",
"title": "Transformers are SSMs",
"claims": [{
"id": "C1",
"statement": "Mamba-2 achieves 8× throughput",
"evidence": ["E1", "E2"],
"confidence": 0.95
}],
"evidence": [{
"id": "E1",
"type": "table",
"location": "Table 3",
"reproducible": true
}],
"methods": [{
"id": "M1",
"description": "Structured State Space Duality",
"artifacts": ["A1"]
}],
"artifacts": [{
"id": "A1",
"type": "code",
"url": "github.com/state-spaces/mamba",
"verified": true
}]
}주장과 근거와 방법과 산출물이 서로를 참조하는 그래프다. 논문의 문장이 아니라 이 구조가 이후 모든 단계의 재료가 된다.
시스템은 단일 모델이 아니다. 작업 특성에 맞는 여러 기반 모델을 하위 에이전트로 조합한다. 복잡한 논증 구조를 분석하는 자리, 코드를 생성하고 실행하는 자리, 긴 논문 전문을 처리하는 자리가 각각 다르고, 각 자리에는 그 시점의 최적 frontier 모델을 꽂는다. 모델은 교체 가능한 부품이고, 구조가 본체다.
그 구조 위에서 Supervisor가 작업을 동적으로 분배하고 결과를 종합한다. PDF와 URL을 파싱하는 에이전트, arXiv·Crossref·Semantic Scholar·PubMed를 뒤지는 인용 에이전트, 위의 스키마로 변환하는 컴파일러 에이전트, Docker에서 코드를 실행해 지표를 비교하는 검증 러너, 품질을 따지는 비평 에이전트가 그 아래에서 일한다. 마지막 승인은 사람이 한다.
실행 환경은 Docker, Jupyter, pytest로 구성하고, 데이터는 JSON Research Object DB와 벡터 인덱스에 저장한다. 오케스트레이션에는 LangGraph와 자체 라우팅을 쓴다.
지금은 파이프라인의 각 단계가 독립적으로 작동하는 상태다. 논문 구조화와 인용 그래프 구성은 프로덕션 수준에 올라와 있다. 자율 실험 재현과 확장점 탐색은 개발 중이고, 코드 없는 논문을 방법론 서술만으로 재현하는 일은 아직 리서치 단계에 머물러 있다. 전체 자율 오케스트레이션은 안정화를 진행하고 있다.
Preview — In Development
Most scientific knowledge is trapped in PDFs.
Think about what it takes to properly digest a single paper. Triaging the literature costs hours per paper, setting up a reproduction environment takes days, and tracing a citation network by hand costs hours again. Work like this is closer to structured information processing than to deep intellectual judgment. The moments that call for judgment sit elsewhere; the labor in front of them is exactly what an agent can handle well.
So it starts by compiling papers into a machine-readable structure. The goal is to cut context cost to less than half of the original while preserving source information without loss.
{
"paper_id": "arxiv:2405.21060",
"title": "Transformers are SSMs",
"claims": [{
"id": "C1",
"statement": "Mamba-2 achieves 8× throughput",
"evidence": ["E1", "E2"],
"confidence": 0.95
}],
"evidence": [{
"id": "E1",
"type": "table",
"location": "Table 3",
"reproducible": true
}],
"methods": [{
"id": "M1",
"description": "Structured State Space Duality",
"artifacts": ["A1"]
}],
"artifacts": [{
"id": "A1",
"type": "code",
"url": "github.com/state-spaces/mamba",
"verified": true
}]
}It's a graph where claims, evidence, methods, and artifacts reference one another. Not the paper's sentences but this structure becomes the raw material for every stage that follows.
The system isn't a single model. It composes several foundation models as sub-agents matched to the character of each task. The place that analyzes complex argument structure, the place that generates and runs code, and the place that processes a long paper in full are all different, and into each place goes the best frontier model of the moment. Models are replaceable parts; the structure is the machine.
On top of that structure, a Supervisor distributes work dynamically and synthesizes the results. Beneath it work an ingestion agent that parses PDFs and URLs, a citation agent that searches arXiv, Crossref, Semantic Scholar, and PubMed, a compiler agent that transforms papers into the schema above, a verification runner that executes code in Docker to compare metrics, and a critic agent that judges quality. The final approval is done by a human.
The execution environment is built on Docker, Jupyter, and pytest, and data is stored in a JSON Research Object DB and vector indices. Orchestration uses LangGraph with custom routing.
Right now each stage of the pipeline works independently. Paper structuring and citation graph construction have reached production level. Autonomous experiment reproduction and extension discovery are in development, and reproducing a paper without code from its method description alone is still at the research stage. Full autonomous orchestration is being stabilized.