기록 / 과학

과학 뉴스

의사처럼 묻고 검사하고 다시 묻는다 — 마이크로소프트 진단 AI, 복잡한 증례에서 83% 맞췄다

마이크로소프트의 진단 AI인 MAI-DxO가 10월 22일 사이언스에 실린 논문에서 복잡한 임상 증례 304건 가운데 83.2%를 맞혀 참고 자료를 쓴 일반의의 36.1%를 크게 앞질렀고, 응급실 증례 325건에서도 80.3%로 일반의의 46.8%를 앞섰으며, 다만 이 성적은 과거 기록을 텍스트로 바꾼 시뮬레이션에서 나온 것이고 비교군에 전문의 팀이 없었으며 성능 향상의 상당 부분은 기반 모델에서 온 만큼, 실제 진료 현장에서의 검증이 남아 있는 것이 이번 발표의 전체 그림이다.

SOURCE 마이크로소프트 AI (2026.10.22) ↗

10월 22일 국제 학술지 사이언스에 실린 논문 한 편이 의료 AI의 평가 방식을 바꿨다.
마이크로소프트의 진단 AI인 MAI-DxO가 복잡한 임상 증례 304건에서 83.2%의 진단 정확도를 기록했다는 내용이다.
같은 증례를 푼 일반의들의 정확도는 교과서와 인터넷 검색을 쓸 때 36.1%, 참고 자료 없이 풀 때 22.3%였다.
숫자만 보면 AI가 의사의 두 배 넘게 맞춘 셈인데, 이 숫자를 어떻게 읽어야 하는지가 이번 논문의 진짜 논점이다.

운하 옆 세인트 메리스 병원 건물 사진

운하 옆 세인트 메리스 병원 건물 사진 — 사진: Phillip Perry, Wikimedia Commons (CC BY-SA 2.0)

MAI-DxO는 하나의 모델이 답을 내놓는 방식이 아니다.
여러 AI 에이전트가 가상의 의사 패널처럼 역할을 나눠 진단 가설을 내고, 서로의 가설에 반론을 제기하고, 다음에 물어볼 질문과 시킬 검사를 정하는 구조다.
마이크로소프트는 이 조정 장치를 진단 오케스트레이터(Diagnostic Orchestrator)라고 부른다.
환자의 초기 정보만 받은 상태에서 시작해 질문과 검사 결과를 하나씩 쌓아가며 가설을 고쳐나가는 방식이 실제 진료 과정과 닮았다는 것이 설계의 출발점이다.

기존 의료 AI 평가는 의사 국가시험 같은 객관식 문제에 의존하는 경우가 많았다.
모든 증상과 검사 결과가 처음부터 주어지고 정답 하나를 고르는 시험이다.
마이크로소프트 AI 건강 부문 부사장 도미닉 킹은 로이터 인터뷰에서 이런 시험에 대해 AI가 100% 통과율을 내는 데 아주 능숙해졌다고 말했다.
이어서 그는 어떤 환자도 정리된 요약본을 들고 찾아오지 않는다고 덧붙였다.
실제 진료는 정보가 부족한 상태에서 시작해 무엇을 물어야 하고 어떤 검사를 시켜야 하는지를 계속 판단하는 과정이다.

논문과 함께 공개된 평가 도구 SDBench는 바로 이 과정을 재현하려고 만든 벤치마크다.
뉴잉글랜드 저널 오브 메디신(NEJM)에 실린 복잡한 증례 304건과 미국 보스턴 베스이스라엘 디커니스 의료센터의 응급실 입원 기록에서 가져온 325건을 단계별 진료 상황으로 바꿨다.
참가자는 처음에 짧은 요약만 받고, 질문하거나 검사를 요청할 때마다 해당 정보가 공개되는 방식으로 증례를 푼다.
채점은 정답 여부만 보지 않고 어떤 근거를 얼마나 모았는지, 검사에 든 추정 비용까지 함께 잰다.
마이크로소프트는 선별된 NEJM 사례에 한해 SDBench를 오픈소스로 공개해 다른 연구팀이 재현하고 반박할 수 있게 했다.

복잡한 증례 결과가 가장 먼저 눈에 띈다.
MAI-DxO는 오픈AI의 GPT-5를 얹었을 때 304건 가운데 83.2%를 맞췄다.
참고 자료를 쓴 일반의는 36.1%, 참고 자료 없이 푼 일반의는 22.3%였다.
마이크로소프트의 표현대로면 각각 약 2.3배와 3.7배 차이다.
논문 데이터를 정리한 보도에 따르면 의사 가운데 가장 성적이 좋았던 한 명도 NEJM 증례에서 51.8%에 그쳐 MAI-DxO에 못 미쳤다.
다만 이 비교에는 처음부터 단서가 붙어 있다.
의사들의 평균은 304건 전체가 아니라 따로 떼어낸 56건에서 나온 수치이고, AI의 수치는 304건 전체에서 나온 수치다.
또 이런 난도의 증례는 실제 병원에서는 전문의나 여러 진료과가 팀을 이뤄 다루는 경우가 많은데, 비교군에는 전문의 팀이 포함되지 않았다.

복잡한 증례 진단 정확도 비교 — MAI-DxO 83.2%, 참고 자료를 쓴 일반의 36.1%, 참고 자료 없이 푼 일반의 22.3%

도표는 마이크로소프트 AI 발표(2026.10.22)와 사이언스 논문 보도 수치로 직접 작성했다.

응급실 증례에서도 격차는 비슷하게 나타났다.
응급실 입원 기록 325건에서 MAI-DxO는 80.3%, 일반의는 46.8%를 기록했다.
복잡한 증례보다 일상적인 응급실 상황이 더 현실에 가깝다는 점에서 이 숫자도 의미가 있다.
다만 응급실 증례에서는 뒤에 설명할 것처럼 모델에 따라 오케스트레이션의 보탬이 크지 않은 경우도 있었다.

비용 쪽 숫자도 논문의 한 축이다.
비용을 더 중시하도록 조정한 설정에서는 NEJM 증례에서 81%의 정확도를 유지하면서 비교 대상 시스템들의 절반 이하 비용으로 진단에 이르렀다고 마이크로소프트는 밝혔다.
GPT-5를 혼자 짧은 기본 지시문으로 돌렸을 때는 복잡한 증례 정확도가 78.9%였고 건당 추정 비용은 약 8,400달러였다.
여기에 DxO를 얹으면 정확도가 4점가량 오르고 비용은 약 3,000달러 줄었다고 테크크런치는 논문 데이터를 인용해 전했다.
마이크로소프트 AI 건강 부문의 AI 책임자 하샤 노리는 로이터에 정확도만 재는 것이 아니라 진단 과정을 얼마나 신중하게 거치는지도 잰다고 말했다.
불필요한 검사를 줄이는 것이 정확도를 높이는 것만큼 중요한 평가 축이라는 뜻이다.

여기서 한 가지 냉정한 구분이 필요하다.
성능 향상의 상당 부분은 오케스트레이션보다 그 아래에서 돌아가는 기반 모델에서 왔다는 것이 논문 데이터에 대한 테크크런치의 분석이다.
GPT-5.5를 얹으면 복잡한 증례 정확도가 72%에서 87% 가까이로 뛰면서 비용은 조금 줄었다.
반면 구글의 제미나이 2.5 플래시처럼 상대적으로 작은 모델은 혼자 46.4%에서 DxO를 얹어 69% 가까이로 올랐다.
오케스트레이션의 보탬은 약한 모델에서 가장 컸고, 강한 모델에서는 이미 높은 출발점 위에서 더해지는 형태였다.
응급실 증례에서는 GPT-5.5를 쓰든 DxO를 얹든 85% 안팎으로 비슷해 오케스트레이션의 차이가 거의 드러나지 않았다.
마이크로소프트 연구팀도 모델이 이론적 상한에 가까워질수록 오케스트레이션의 보탬은 자연스럽게 줄어든다고 밝혔다.
다시 말하면 이번 결과는 DxO가 의사를 이겼다는 문장보다는 좋은 모델 위에 잘 짠 진료 과정이 얹히면 시뮬레이션 성적이 이렇게 된다는 문장에 가깝다.

시뮬레이션이라는 전제도 빼놓을 수 없다.
모든 증례는 과거 기록을 텍스트로 바꾼 것이고, 실제 환자를 진찰한 결과가 아니다.
신체 진찰이나 영상 판독 과정이 없고, 환자 상태가 시간에 따라 바뀌는 상황도 재현되지 않았다.
비교군이 일반의 개인이었던 만큼, 이 결과가 전문의 팀보다 낫다는 뜻이 되지는 않는다.
논문 자체가 실제 진료 현장에서의 검증을 다음 단계로 미뤄둔 것도 같은 맥락이다.
마이크로소프트 스스로도 다음 단계는 실제 환자 대상 검증이라고 밝히고 있다.

이번 논문은 갑자기 나온 것이 아니다.
마이크로소프트는 2025년 6월에 같은 연구의 프리프린트를 먼저 공개했다.
당시에는 오픈AI의 o3 모델로 80%를 기록했고, 검색을 쓰지 못하게 한 의사들은 20%였다.
동료심사를 거친 이번 논문은 응급실 증례를 추가하고 의사를 참고 자료를 쓰는 경우와 쓰지 않는 경우로 나눠 비교하면서 격차가 좁혀졌지만 여전히 크게 남았다는 점을 보여준다.
프리프린트에서 논문으로 오는 동안 평가가 엄격해졌는데도 핵심 결과가 유지됐다는 점은 이번 발표를 읽을 때 한 가지 근거가 된다.

MAI-DxO 연표 — 2025년 6월 프리프린트, 2026년 10월 22일 사이언스 논문, 다음 단계 베스이스라엘 응급실 검증

도표는 마이크로소프트 AI 발표와 보도 내용을 바탕으로 직접 작성했다.

다음 무대는 보스턴의 응급실이다.
마이크로소프트는 베스이스라엘 디커니스 의료센터와 손잡고 응급실 대기실의 환자 분류에서 DxO를 시험할 계획이다.
환자는 평소대로 진료받고, 동의한 환자에 한해 DxO도 같은 증례를 병렬로 검토해 두 쪽의 판단을 비교하는 방식이다.
킹 부사장은 테크크런치에 금요일 밤 보스턴 응급실에 오는 환자들의 복잡성과 다양성을 언급하며 이 시험이 실제 현장 검증의 출발점이 될 것이라고 말했다.
비슷한 시기에 구글도 베스이스라엘과 함께 대화형 진단 AI AMIE의 실제 진료 평가를 랜싯에 발표했다.
의료 AI 경쟁이 벤치마크 점수 다툼에서 실제 진료 현장 검증으로 넘어가는 흐름이 두 회사에서 동시에 나타나고 있다.

술레이만은 이번 결과를 의료 초지능(medical superintelligence)으로 가는 한 걸음으로 소개했다.
마이크로소프트의 정의에 따르면 의료 초지능은 의료 추론과 진료 전 과정의 조율에서 현재 가장 강한 인간 중심 의료 시스템을 넘어서는 역량이다.
회사는 메이요 클리닉과 함께 의료 전용 파운데이션 모델을 개발 중이고 내년 공개를 목표로 하고 있다.
술레이만은 2027년에는 의무 기록이 어떻게 전개될지 높은 정확도로 예측하는 수준의 돌파구가 나올 것으로 내다봤다.
킹 부사장은 이번 연구의 동기를 의료 수요와 전문 인력 공급 사이의 격차로 설명했다.
의사가 부족한 곳에서 진단 과정의 일부를 AI가 떠받치는 것이 이 기술이 겨냥하는 쓰임새라는 얘기다.

정리하면 이번 논문이 보여준 것은 세 가지다.
첫째, 진단 과정을 단계별로 재현하는 평가에서는 AI 패널이 일반의 개인보다 높은 점수를 냈다.
둘째, 그 점수의 상당 부분은 기반 모델의 성능에서 왔고, 오케스트레이션은 그 위에 더해진 최적화였다.
셋째, 시뮬레이션 점수가 실제 진료 성과로 이어지는지는 보스턴 응급실에서의 검증이 나와야 알 수 있다.
AI가 의사를 이겼다는 한 줄 요약은 자극적이지만, 논문이 실제로 남긴 것은 그 한 줄이 아니라 진료 과정을 어떻게 재현하고 잴 것인가에 대한 새로운 기준이다.
그 기준이 다른 연구팀의 손에서 재현되고 깨지는 과정을 거칠 때, 이번 83.2%라는 숫자의 무게가 비로소 정해질 것이다.

참고한 기사 — 마이크로소프트 AI · 테크크런치 · 로이터