파이널 리더보드 제출 관련 문의


#1

파이널 리더보드 제출에 관해 문의드립니다.

  1. 자신의 점수는 언제부터 확인가능한가요? 대회 끝나고부터 가능한가요?

  2. 여러번 제출이가능한가요?

2-1. 여러번가능하다면 그중에서 최고점인 제출만 인정하나요?

  1. test나 dev 데이터를 학습에 이용해도 되나요?

  2. 오픈소스 호환성여부는 어떻게 확인하실건가요? 저희가 직접 찾아보면 되나요?

감사합니다


#2
  1. 대회 끝나고 확인이 가능합니다.
  2. 여러번 제출 가능하고 마지막 제출 결과만 인정합니다.
  3. test는 예측에 사용해야하는 데이터입니다. dev는 학습에 사용하셔도 무관합니다.
  4. 네 맞습니다.

#3

아네 일단 2번 3번 4번은 대회방침이라면 수긍할수 있지만 1번같은 경우에는 의문이 드네요.

  1. dev pid 오류처럼 예측 순서나 갯수가 실수로 틀려서 스코어 계산이 정확히 안되는 경우도 있을수 있는데 자신이 제출한것의 점수를 알수 있어야하지 않나요?. 횟수 제한이 있더라도요.

  2. test 데이터의 레이블은 없지만 학습에 쓸수 있는 방법들이 있는데 그런것들도 적용하지 말라는뜻인가요?
    학습에 쓰지 못하게 하실것이었으면 테스트데이터를 아예 저희한테 노출시키지 않고 내부적으로 스코어 측정을 했어야 한다고 생각합니다.


#4

추가적으로 테스트데이터를 전혀 쓰지 말라는것이면 단어 인덱싱도 하지 말아야하나요?

ex) train, dev에는 ‘abcd’ 라는 단어가 없음, test에는 'abcd’가 있음
-> train,dev,test의 단어를 모두 인덱싱하는 경우 학습시 'abcd’는 자기의 벡터를 가짐
-> train,dev에 등장하는 단어만 인덱싱할경우 학습시 'abcd’는 unkown의 벡터를 가짐

테스트 데이터가 인퍼런스외에는 전혀쓰면 안되는건지 확답을 주시면 될것 같습니다.


#5

dev에 대해서 제출을 여러번 테스트 해보실 수 있기 때문에 제출 과정에 대한 테스트는 충분히 가능할 것 이라고 생각합니다. 테스트 데이터에 대해서 예측하는 부분에 대해서 실수가 있을 수도 있겠지만 제출전 파일 내용을 검토할 수 있고 주의를 기울인다면 큰 문제는 아니라고 보입니다. 점수는 예정대로 대회 종료 후 공개되며, 포맷에러의 경우 제출 시 final 제출에서도 알려줄 수 있도록 하겠습니다.

train / validation / test 데이터 구성의 경우 일반적으로 통용되는 방식이라고 보고 있습니다. 앞서 말씀드린데로 test 데이터는 예측에만 사용하는 것이 맞습니다.


#6

넵 알겠습니다. 점수발표이후에 추가적인 일정이 있나요? 타임라인에 있는 일정대로 1월 7일에 종료하고 14일에 발표후 개별적으로 상금수여하고 끝인건가요?


#7

넵! 맞습니다 :slight_smile:


#8

TEST 결과 제출에도 포맷 오류를 검사하는 기능을 추가했습니다.


관련 공지사항


#9

안녕하세요! recotech님, 이번 대회에서 3번 사항을 지키지 않아 수정기한을 부여받고 수정하게 된 nyanye라고 합니다!
다름이 아니라, 구현 당시 해당 방법에 관련해서 카카오 아레나의 운영 규칙과 대회의 규칙사항을 모두 읽어보았으며, 해당 방식에 대한 제제사항을 발견하지 못해 코드를 포함하지 않는 submit 결과만을 제출할 수 있는 kaggle 등의 대회와 같이 테스트 입력 데이터를 학습의 참조에 활용하는 것이 괜찮을 거라는 전제를 가졌었습니다.
하지만 분명 테스트 데이터를 활용하는 방식은 일반적이지 않을 수 있으며 출제된 취지와 어긋날 수 있다는 사실을 충분히 이해하고 있기 때문에, 혹여 다음 대회가 진행될 경우 참가자 분들이 혼동을 갖지 않을 수 있도록 이와 관련된 사항을 사전에 대회 규칙등을 통해서 공지해주시면 좋을 것 같습니다. (저는 이 게시글의 내용을 조금 더 빨리 파악하지 못해 대회 대회 도중 / 대회 이후 관련된 시간 소모가 조금 있었습니다.)