Gemini AI에 대한 연구 결과가 발표되었으며, 최신 AI 챗봇들이 의학 정보를 정확하게 제공할 수 있음을 확인했다.
최신 AI 모델이 제공하는 의학 정보의 정확도가 높아 환자 교육과 진료실 상담을 보조하는 도구로 활용될 수 있음을 보여주는 연구 결과가 나왔다. 한림대 동탄성심병원 송시영 교수팀에 의해 수행된 이번 연구에서는 AI 챗봇 5종의 성능을 비교한 결과가 발표되었다.
연구팀은 43개의 질문을 선정하여 AI 챗봇의 답변을 평가했으며, GPT-3.5, GPT-4, GPT-4 Omni, Gemini 1.5는 평균 4.8점 이상의 정확도를 보였다. 반면 Gemini Advanced는 평균 정확도 4.07점과 관련성 83.7%로 다른 챗봇보다 낮은 성능을 기록했다.
송시영 교수는 “이번 연구에서 최신 AI 챗봇들이 무릎 인공관절수술과 관련된 의학 정보를 상당히 정확하게 제공할 수 있음을 확인했다”고 밝혔다. 또한, AI 챗봇의 응답은 2024년 8월 시점으로 평가되었다.
연구 결과는 ‘Orthopaedic Journal of Sports Medicine’에 게재되었으며, 이 저널의 피인용지수는 2.5로 평가된다. 연구는 과학기술정보통신부의 재원으로 한국연구재단의 지원을 받아 수행되었다.
AI 모델의 발전 속도를 고려할 때 이후 버전에서는 성능 차이가 생길 수 있다는 점도 주목할 만하다. 송 교수는 “이번 연구를 통해 의사의 설명을 보완하는 환자 교육 도구로써 AI 챗봇의 잠재적 유용성을 확인했다”고 덧붙였다.
이러한 연구 결과는 AI 챗봇이 의료 분야에서 더욱 중요한 역할을 할 수 있음을 시사한다. 앞으로의 연구와 발전이 기대된다.
