리더보드 baseline score 재현가능여부


#1

리더보드에 baseline score가 0.93인데 이게 현재 github baseline으로 재현이 가능한가요?

혹시 hyper param이 github에 있는 config와 다른가요?


#2

dev, test 데이터셋이 바뀌면서 수치가 변경되었을 것 같습니다. 아마 더 낮아지거나 더 높을 수도 있을 것 같습니다. 정확한 수치는 확인 후 공유드리겠습니다.


#3

@ttukbaegi3
현재 dev 브런치 기준 코드로 재현한 결과를 제출했습니다. python2를 사용하였고, train 데이터의 80%로 학습한 모델로 예측한 결과입니다.

score: 0.886513

train 데이터의 비중에 따라 차이가 날 수 있겠지만 크진 않을 듯 합니다.


#4

@recotech

제가 베이스라인을 돌렸을때에는 0.852027정도 나오는데
환경에 따라서 3%정도 오차가 있을수 있나요?


#5

흠 이상하네요 저도 0.85정도가 나오거든요… 0.03이면 꽤 큰수치인데 다시 해봐야겠네요.


#6

3%면 큰 것 같습니다 전체 과정에 대해 다시 체크해보고 말씀드리겠습니다.


#7

@recotech

Train db를 make 하는데에 있어서 원래 총 샘플이 8,134,818라고 되어있는데

나눈 DB의 결과는
Train
6496739 (0.8)
1624200 (0.2)
으로 두개를 합하게되면

8,120,939로 약 1만4천개의 데이터의 차이가 나는것을 볼수있었습니다. 확인 부탁드리겠습니다.

Dev db의 경우에도 총 샘플이 507,783개인데
결과로 나온 샘플의 갯수가 507,096으로 약 700개의 데이터 차이가 나는 결과가 나왔습니다.


#8

@kjh21212 Make_db를 거치면 일부 pid가 사라집니다 이 내용을 참고 바랍니다.


#9

@recotech

여러번 처음부터 다시 순차적으로 돌려도 85퍼센트로 나오는데 어떤차이가 발생해서 3%의 오차가 발생하는 것일까요 ㅠ


#10

@kjh21212
마스터 코드로 데이터 전처리부터 학습, 예측까지해도 스코어가 0.85정도 나오신다는 말씀이시죠? (파이썬2 맞죠?)


#11

@recotech
네 맞습니다. 혹시나해서 처음부터 다시 다 받아서 readme 지침대로 했는데도 그렇네요 ㅠ


#12

@kjh21212 네… 그렇다면 저희도 한번 처음부터 다시 재현을 해보겠습니다…만. 아시다싶이 이게 시간이 좀 걸려서 빠른 답변이 어렵습니다. 양해부탁드려요.

그리고 베이스코드는 예제로서 제공한 코드이니, 너무 많은 시간을 뺏기지 마시고 더 좋은 아이디어와 실험을 하는데 시간을 투자하는 것이 좋을 것 같습니다 :slight_smile:


#13

@recotech

혹시 다시 돌려보셨는지요?
일단 여러 실험을 진행하고 있습니다만 어떤 차이 때문에 베이스라인의 정확도가 벌어지는지 궁금하네요…
어떠한 환경 차이 때문에 기본적으로 3%가 낮게 나오는거라면 문제가 되지않을까싶네요


#14

@kjh21212 안녕하세요!
답변이 늦어서 죄송합니다. 아래와 같이 재현해보았습니다. (깃헙에 소개된 과정과 다르지 않습니다)

$ git pull
Already up-to-date.
$ python data.py make_db train  # 전체 학습 데이터의 80%만 사용, vocab 파일은 깃헙 파일을 이용
$ python data.py make_db dev ./data/dev --train-ratio=0
$ python classifier.py train ./data/train ./model/train
$ python classifier.py predict ./data/train/ ./model/train/ ./data/dev dev predict.tsv 
$ # zip으로 압축 후 제출, score: 0.885674

@kjh21212님 외에도 3% 가량 낮게 측정되는 분이 계시는데 정확한 원인 파악은 아직 못했습니다.


#15

@recotech 재현 감사드립니다. 혹시 os가 어떻게 되시나요?

여러 컴퓨터에 진행해 보려고 해서요


#16

@ttukbaegi3 linux이고 Python2입니다.


#17

전 baseline으로 리더보드에서 0.846365 가 나왔는데, python3를 사용하였습니다.


#18

@recotech 혹시 Cuda, CuDNN버전 하드웨어 사양을 좀 알 수 있을까요?


#19

cuda 8.0, cudnn 5.1 입니다.