착한 AI가 환자를 위험에 빠뜨릴 때

고위험 도메인에서 '도움이 되고 무해한' 일반적인 정렬 기준이 충분하다는 가정이 깨졌다. 정신건강 대화에서는 공감적으로 들리는 응답이 자해 충동을 강화하거나, 위기 신호를 놓치거나, 전문가 개입을 지연시키는 결과를 낳는다. 오픈AI가 임상 심리학자, 정신과 의사와 공동 개발한 멘탈헬스벤치는 안전성(해로움 방지)과 유용성(임상적 적절성)을 별도 지표로 분리해 측정한다. 이는 자율주행이 일반 주행 테스트와 별도로 '예외 상황 안전성' 벤치마크를 요구했던 것과 같은 궤적이다. 이제 범용 LLM 안전성 통과를 '의료용 준비 완료'로 착각하던 기업들은 도메인 특화 검증 없이는 배포할 수 없는 시점에 진입했다.

AI 실무자에게: 이번 주 정신건강 챗봇이나 상담 보조 도구를 개발 중이라면, 범용 안전성 벤치마크(TruthfulQA, HHH 등) 대신 멘탈헬스벤치 테스트셋으로 현재 모델을 평가하라. '위기 상황 탐지율', '부적절한 조언 비율', '전문가 연계 유도율' 세 지표를 베이스라인으로 잡으면 클라이언트 설득 자료가 된다. ABCAI에서 **'의료 AI 검증'** 태그로 프로필을 업데이트하면 관련 프로젝트 매칭 우선순위가 올라간다.

기업 의사결정자에게: 정신건강 AI 솔루션 도입 검토 시, 벤더에게 '멘탈헬스벤치 또는 동등한 임상 검증 결과'를 요구하라. 일반 LLM 안전성 리포트만 제출하는 업체는 고위험 도메인 배포 경험이 없다는 신호다. ABCAI에서 **'의료 AI 검증'** 분야 전문가를 찾아 도입 전략을 검증하세요.

플랫폼 기회: **'AI 임상 검증'** 매칭 카테고리 신설 — 정신건강, 만성질환 관리, 응급 트리아지 등 고위험 의료 도메인에서 모델 검증·레드팀·임상 시험 설계 경험이 있는 전문가와 기업을 직접 연결. 기존 'AI 안전성' 태그로는 포착되지 않는 도메인 특화 검증 수요를 별도 카테고리로 분리해 매칭 정밀도를 높인다.

오픈AI가 2025년 1월 16일 '멘탈헬스벤치(MentalHealthBench)'를 공개했다. 임상 전문가(정신과 의사, 심리학자, 위기 상담사) 50여 명이 참여해 실제 상담 시나리오 2,000여 개를 기반으로 구축한 벤치마크다. 안전성(자해·타해 유도, 오진, 전문가 회피)과 유용성(공감 정확도, 증거 기반 기법 적용, 위기 개입 적절성)을 별도 점수화한다. GPT-4o, o1 등 자사 모델과 오픈소스 모델을 평가한 결과, 범용 안전성 벤치마크에서 고득점 모델도 멘탈헬스벤치에서는 '유용성-안전성 트레이드오프'가 뚜렷하게 나타났다. 소스: OpenAI Blog (openai.com/index/introducing-mentalhealthbench)

1. 멘탈헬스벤치 테스트셋 다운로드해 현재 모델 평가 실행 (30분): GitHub에서 벤치마크 데이터와 평가 스크립트를 받아 자사/클라이언트 모델로 추론 돌리고 세부 지표(위기 탐지율, 부적절 조언 비율 등) 베이스라인 확보.

2. ABCAI에서 '의료 AI 검증' 태그로 프로필 업데이트 또는 전문가 검색 (15분): 본인이 검증 경험자면 태그 추가, 기업이면 '임상 검증 파이프라인 구축' 경험 보유 전문가에게 1시간 자문 슬롯 요청.

3. 팀 슬랙/링크드인에 '일반 안전성 벤치마크로는 부족한 도메인' 논의 스레드 열기 (10분): 이 인사이트 공유하며 '우리 도메인(법률/금융/제조 등)에도 전용 벤치마크가 필요한가?' 질문 던져 내부 니즈 확인.