Score 산출 방식에 대해 문의 드립니다


#1

train 데이터에서 랜덤 샘플링한 validation score 값과 dev 데이터로 제출한 score 차이가 커서 (7-8점) 문의드립니다.

evaluate.py 코드 상으로는

SUM(맞춘 데이터 / 존재하는 데이터 * 가중치) / 4

으로 계산이 되어 있는 걸로 보이는데요

    match_rows = [143105, 137243, 120493, 11621]
    rows = [150109, 150109, 148167, 14869]
    weights = [1.0, 1.2, 1.3, 1.4]
    score = sum([matched / total * weight for matched, total, weight
                 in zip(match_rows, rows, weights)]) / 4
    print(score)

위와 같은 경우 총 스코어가 1.050 으로 계산되는게 맞나요?


#2

대/중/소/세 분류마다의 정확도에 가중치를 곱하고 모두 더한 값을 4로 나눈 값입니다.