제출에 사용되는 모델 크기에 관한 문의


#1

안녕하세요, 제출시 모델 크기 제한에 관해 문의 드립니다.

규칙에는 ‘분류기에 필요한 모든 모델의 크기 합이 1기가를 넘지 않음’ 이라고 명시되어 있는데, 이 범위가 어디까지 인가요?

텍스트 전처리 과정에서 사용되는 데이터라던가, 전처리 과정에서 생기는 중간 결과물(ex, embedding matrix)의 용량 역시 포함하여 계산되어야 하나요?

감사합니다.


#2

@retriever89 inference에 사용하는 모델들의 합을 얘기합니다. (압축등을 하지 않았을 때 입니다) 전처리 단계도 inference 단계에 포함되므로 전처리에서 사용하는 모델 사이즈도 포함됩니다. 입력된 데이터에 대해 최종 예측 결과를 얻기 위해 생성하는 중간 단계의 파일들은 모델 사이즈에 포함되지 않습니다.


#3

@recotech

안녕하세요, 답변 감사합니다.
그렇다면 전처리 과정에서 사용되는 모델(ex: tokenizer)을 파일로 dump 하지 않고 사용한다면 이 모델의 사이즈는 전체 모델 크기에 포함되지 않는 것인가요?

감사합니다.


#4

형태소 분석기를 말씀하시는거라면 형태소 분석기에서 필요로 하는 모델은 전체 모델 사이즈에 포함하지 않습니다. (형태소 분석기 사용하실 때 라이센스에 주의해주세요)


#6

@recotech

생성되는 모델 파일이 model.h5 하나일 경우 이 파일 하나의 크기만 보는건가요?


#7

@kjh21212 네 말씀하신 게 맞습니다.