[딜사이트 김진욱 기자] 한국어 금융 공시 데이터를 기반으로 한 AI 평가 기준이 등장했다.

㈜투디지트는 금융감독원 전자공시시스템(DART)의 공시 문서를 활용해 구축한 한국어 금융 질의응답 데이터셋 'FinDartBench'를 개발했다고 25일 밝혔다.

이 데이터셋은 삼성전자, LG전자, 현대자동차, SK하이닉스, KB국민은행 등 국내 주요 기업 10곳의 공시 문서 약 200건을 토대로 구성됐다. 총 1만4444건의 질문과 답변 데이터를 담고 있다.

AI도 학교 시험처럼 자신의 실력을 검증받는 시대다. 지금까지 금융 분야 AI 평가 기준은 'FinQA', 'FinanceBench' 등 영어 기반 데이터셋이 전부였다. 한국어로 된 금융 AI 시험 문제집이 생긴 것은 이번이 처음이다.

데이터의 신뢰도를 높이기 위해 단순 자동 생성 방식 대신 다단계 검증 구조를 적용한 점도 주목된다. 공시 문서를 구조 기반으로 정제한 뒤 여러 대형언어모델(LLM)이 질문과 답변을 생성하고, 이후 중복 제거, 사실성 검증, 한국어 품질 평가, 답변 간 합의 검증 순으로 단계적인 검수를 거쳤다. 그 결과 질문 하나당 평균 2.73개의 검증된 답변을 확보했다.

데이터셋의 범위도 단순 재무 정보에 그치지 않는다. 사업보고서와 지배구조보고서는 물론, 주주총회 소집공고, 투자설명서 등 다양한 유형의 공시 문서를 포함해 기업의 지배구조와 경영 의사결정까지 평가할 수 있도록 설계됐다. 이는 금융 AI의 실무 적용 가능성을 실질적으로 높이는 요소로 평가된다.

업계에서는 FinDartBench가 금융 특화 LLM 개발과 성능 비교의 기준으로 폭넓게 활용될 것으로 기대하고 있다. 투자 분석, 리서치 자동화, 공시 데이터 기반 서비스 등 다양한 분야에서 활용 가능성이 크다는 분석이다.

투디지트 측은 향후 평가 대상 기업과 공시 범위를 더욱 확대하고 글로벌 공개를 통해 금융 AI 생태계의 핵심 인프라로 발전시켜 나갈 계획이라고 밝혔다.

데이터셋은 AI 연구자들이 널리 활용하는 플랫폼 'Hugging Face'를 통해 공개될 예정이며, 국내외 연구자와 기업 누구나 자유롭게 이용할 수 있다. 이번 연구는 과학기술정보통신부의 첨단 GPU 활용 지원 사업의 지원을 받아 수행됐다.