iapyx-v3-solar-pro-22b — Iapyx v3 (업스테이지)

2026 AI 루키 결선 Team Iapyx(AI 라이프 가디언, 국내 AI 트랙)가 대회 지급 A100 80GB ×2에서 upstage/solar-pro-preview-instruct를 QLoRA(4-bit NF4, r=16) 방식으로 가르친 결과다. 판정은 제품의 결정적 규칙이 내리고, 이 모델은 정해진 칸(JSON)·도구 고르기·서류 칸 읽기·검산·표현 다듬기를 배운다.

과업 6종 (같은 held-out, 같은 채점 코드)

지표	가르치기 전	가르친 뒤
위험 등급 macro-F1	0.000	1.000
도구 고르기 정확도	0.270	0.765
서류 칸 F1	0.035	0.998
검산 완전 일치율	0.000	0.794
표현 안전율	0.915	0.960
법률 용어 chrF	0.076	0.103

종합(5과업 평균, domain 제외): 전 0.2440848708487085 → 후 0.9033167362672663 · 한 건 생성 지연 4.9337s(배치, A100)

학습 구성

• 에포크 12.0 (가장 좋은 에포크 2.0, 평가 손실 0.1739792674779892), lr 0.0002, 배치 4×누적 4×GPU 1, 최대 길이 2048
• 학습 시간 89833.7초, 학습 11018건 / 평가 1130건
• 데이터: 합성 SFT(위험 판정·도구 고르기·서류 추출·검산)는 제품 규칙 생성기, 표현 과업 정답은 국내 API K-EXAONE(추론 끔)에서 받아 숫자·길이 검사를 통과한 것만, 법률 용어는 JusWis/korean-legal-terminology(CC BY 4.0). 해외 모델은 데이터·학습·평가 어디에도 쓰지 않았다.
• 손실은 assistant 토큰에만. 에포크마다 평가 손실을 재고 가장 낮은 에포크를 남겼다(과적합 지점 확인용 곡선은 W&B iapyx-finetune).

에포크	평가 손실
1	0.1853
2	0.1740
3	0.1813
4	0.1892
5	0.2102
6	0.2453
7	0.2672
8	0.2877
9	0.3045
10	0.3196
11	0.3256
12	0.3280

라이선스·용도

바탕 모델 라이선스: 모델카드 참조 (SOLAR-10.7B는 CC BY-NC 4.0, solar-pro-preview는 MIT). 대회·연구 목적으로만 썼다. MIT

재현: https://github.com/AIROOKIE-S/iapyx finetune-v3/ · 평가 원본 https://huggingface.co/datasets/space1637/iapyx-finetune-report (v3/)