몰루로그에서는 블루 아카이브의 아이템 스크린샷을 인식해서 보유 재화 종류/수량 데이터로 변환하는 기능을 제공하고 있어요.
이 기능을 담당하는 프로젝트는 재화, 학생 능력치 등 데이터를 결산해준다는 의미에서 프로젝트 AOI(아오이)로 부르고 있어요.
10월 18일, AOI v2 업데이트로 아이템 인식기의 정확도가 크게 향상되었어요. 기술적으로 어떠한 변경이 있었는지 소개할게요.
기존의 방식 (v1)
기존 아이템 인식기는 특정 조건에서 정확도가 떨어지는 부분이 있었어요.
큰 스크린샷에서 수십 개의 작은 아이콘을 찾고, 이를 수천 개의 아이템 중 하나와 매칭해야하다보니 아이템 자체를 잘못 찾는 경우도 빈번했어요. 아래 이미지처럼 작은 학원 로고, 숫자, 색깔로만 구분해야하는 경우에는 오류가 심했어요.
또한 기존 인식기는 아이템 이미지, 수량 텍스트, 배경색 등 각각의 요소를 따로따로 인식해서 합쳤어요. 각각의 부정확한 정보가 모여서 결과가 점점 나빠지는 방향으로 증폭되는 문제가 발생했어요.
개선한 방식 (v2)
많은 선생님들이 학습 데이터를 제공해주셔서 약 2200개의 데이터를 확보할 수 있었어요. 하지만 정확도를 높이기에는 더 많은 데이터가 필요했고, 직접 데이터를 만들기로 했어요.
아이템 화면은 아래의 요소로 구성되어있어요.
- 아이템 이미지
- 해당 아이템의 희귀도에 따른 배경
- 보유 수량
- 티어 표시 (장비의 경우)
- 남은 기간 (기간제 아이템의 경우)
우선 무작위 조합으로 합성한 이미지를 부분적으로 자르거나, 화질을 낮추는 등 일부러 난이도를 높여 '문제지'를 만들어요. 이를 AI가 정답을 맞출 때까지 학습시켰어요. 이렇게 학습한 AI는 오로지 아이템 인식에만 특화되어 정제된 입력이 주어진다면 99.999%의 정확도를 보여줬으며, 시간은 0.1초도 걸리지 않아요.
하지만 AI는 주어진 문제에 답을 낼 뿐, 스크린샷에서 문제가 어디있는지 찾지 못해요. 따라서 아래와 같이 역할을 분담하게 되었어요.
- 먼저 기존 인식기가 아이템 영역을 인식하고 후보군을 빠르게 추려요.
- AI는 후보군에서 정답을 찾아요.
그래서 얼마나 정확해졌나요?
프로젝트 AOI에서는 모델의 성능을 아래 4개의 지표로 측정하고 있어요.
- 성공률 : 기대한 답을 성공적으로 대답한 비율. 알 수 없는 아이템은 모른다고 대답해야 성공.
- 정확도 : 하나의 정답이 존재하는 아이템을 정확히 맞춘 비율.
- 오답률 : 모델이 답을 내놓았으나 틀린 비율. 알 수 없는 아이템에 답하는 경우도 틀림 처리.
- 처리 시간 : 요청을 받아 결과를 내놓기까지의 평균 시간.
여기서 "알 수 없는 아이템"은 선택상자 등 여러 아이템이 똑같이 생겨서, 생김새 만으로는 구분이 불가능한 경우를 말해요.
위 세 지표를 바탕으로 평가한 AOI 개선도는 아래와 같아요.
| 지표 | AOI v1 | AOI v2 | 개선 |
|---|---|---|---|
| 성공률 | 88.10% | 96.05% | +7.95%p |
| 정확도 | 89.65% | 97.56% | +7.91%p |
| 오답률 | 6.55% | 0.69% | -89.5% |
| 처리 시간 | 10.99초 | 5.22초 | -52.5% |
결과는 유의미하게 좋아지면서 처리 시간도 반으로 줄었어요. 이미지 인식만으로 어떻게든 정확한 답을 내려고 노력했던 기존에 비해, 오로지 아이템 인식만을 위해 학습된 AI가 빠르게 대답했기 때문이에요.
남은 개선점
여전히 아쉬운 부분은 있어요.
우선, 이미지가 잘리거나 가려저서 인식이 불가능한 경우에도 억지로 인식하다가 오답을 내는 경우가 많았어요. AI는 주어진 문제에 정확한 대답을 내놓지만, 문제 자체가 잘못됐는지는 쉽게 판단하지 못하기 때문이에요. 성공률/정확도가 96~97% 전후에 머무르는 이유에요.
스크린샷을 찍어서 올려야하는 과정 자체도 번거롭다고 생각해요. 모델 개선으로 속도가 빨라진 만큼, AI가 실시간으로 화면을 보면서 함께 재화를 인식하는 기능을 테스트해보고 있어요.
다음 목표는 더 빠르고 정확해진 학생 성장도 인식 기능이에요. 특히 지금은 동영상 인식이 오래걸리는 문제 해결에 집중하고 있어요.
이 글이 블루 아카이브 게임 유틸리티를 만드는 많은 분들께 작게나마 도움이 되길 바랍니다.
감사합니다.
몰루로그를 사용하며 불편한 점에 대한 의견, 새로운 기능 제안은 언제든지 환영해요. 제안/문의 페이지로 알려주세요!