[쇼핑몰 상품 카테고리 분류] 대회 채점 결과 및 이의 신청 기간 안내

notice

#1

안녕하세요 대회 운영팀입니다.

상위권 팀의 채점 결과 및 이의 신청 기간을 안내해드립니다. 먼저 공유에 앞서 채점 과정에서 검토한 항목은 아래와 같습니다.

채점 검토 항목

  • 부정행위 여부
  • 제출 양식 준수
  • 제출한 모델로 최종 제출 결과 재현 가능 여부
  • 최종 모델 재현 가능 여부
  • 데이터 및 라이브러리 사용 규칙 준수 여부
  • 모델 사이즈 초과 여부

각 팀이 제출한 코드를 문서에 안내된 환경에서 재현했으며 대부분 팀이 문서상 필요한 정보가 빠지거나 오탈자, 버그 등으로 재현이 안 된 이슈가 있었습니다.

  • requirements.txt 가 있으나 빠진 의존 라이브러리나 비공개 레파지토리를 참조하는 설치가 불가능한 라이브러리가 있음
  • 최종 예측에 사용한 모델을 제출하지 않았으나 추후 제출하였고, 모델 재현이 가능했음
  • 학습 및 재현 안내에 잘못된 설명들(없는 모듈이나 잘못 안내된 실행 파라미터 등)
  • 재현 가능한 환경 명시 누락
  • OS / 라이브러리 버전 의존성이 있는 경우에 대한 설명이 빠짐
  • 기타 등등

위의 경우는 제재 사유에 해당할 정도의 문제는 아니라고 판단했고, 채점 과정 중에 적절히 수정하여 진행하였습니다.

채점 결과 및 이의 신청 기간

아래는 채점 결과입니다.

PASS: 1.085 / 라임로봇
PASS: 1.078 / baseIine
FAIL: 1.076 / S2Bstar
PASS: 1.074 / 제로
FAIL: 1.072 / 송골매
PASS: 1.070 / 박준우
FAIL: 1.067 / nyanye
PASS: 1.066 / 제로콜라

PASS로 표시된 팀은 채점 과정에서 문제가 발견되지 않은 팀이며, FAIL로 표시된 팀의 경우 위 검토 과정에서 문제가 발견된 팀이고 수상 대상에서 잠정 제외 되었습니다. 구체적인 내용은 아래와 같습니다.

  1. 복수 계정 사용: 2개 이상의 계정을 동시에 사용한 멤버가 있는 경우
  2. 모델 사이즈 초과: 1G 현격히 초과
  3. TEST 데이터를 학습에 사용

이 중에 2, 3번에 해당하는 팀의 경우는 아래와 수정할 기회를 드립니다.

  • 모델의 사이즈를 제출 기준에 맞게 줄이기 위한 하이퍼 파라미터를 수정 해야(임베딩 사이즈 등)하고, 재학습한 모델과 코드를 깃헙에 반영
    • 단, 모델 사이즈를 줄이기 위한 하이퍼 파라미터 외에 수정은 부정행위로 간주
  • 파라미터 수정 없이 TEST 데이터를 제거하고, 재학습한 모델과 코드를 깃헙에 반영
    최종 스코어는 대회 기간에 최종 제출한 스코어와 수정 후 계산되는 스코어 중에 낮은 스코어로 반영됩니다.

1번 사례의 경우 부정행위로 판단하였고, 수상 제외 결정을 했습니다. 2, 3번 사례에 대해서는 수상 제외를 포함해 적절한 제재 수준을 고민했으나, 위와 같은 수정 범위 안에서 추가 기회를 주는 것은 형평성을 해치지 않는 수준이라고 판단했습니다.

FAIL에 해당하는 팀에게는 채점 기간에 구체적인 사유에 대해 전달하였으며 해당 내용에 대해 이의가 있으면 2019/01/23(수) 23:59분까지 arena@kakaocorp.com 메일로 의견 전달 부탁드립니다. 또한 당사자가 아닌 팀의 경우도 판단한 내용에 대한 이의나 기타 의견이 있을 경우도 메일로 전달 가능합니다.

최종 순위 및 향후 수상 절차에 대해서는 2019/01/25(금)에 안내될 예정입니다.

감사합니다.


#2

수정 제출의 마감 기한은 이의 신청과 동일하게 2019/01/23(수) 23:59분 입니다.