일반적으로 모델의 성능이 학습보다 테스트에서 훨씬 저조할 경우, 모델이 학습 데이터에 과적합될 가능성이 있습니다. 그러나 본 연구에서는 "최적"으로 튜닝된 ENet 모델이 검소한 모델을 선호하는 페널티 이탈률(penalized deviance ratio)을 기반으로 선정되었기 때문에 과적합될 가능성은 낮습니다. 따라서 그림  6 에서 보이는 음의 테스트 이탈률은 행동 변화에 의해 유발될 가능성이 가장 높습니다. 예를 들어, 모델이 마이그레이션 의도가 특정 검색 주제 및/또는 Google 검색 도입률과 상관관계가 있다는 것을 학습했다면, 이러한 학습 상관관계를 기반으로 미래를 예측할 것입니다. 그러나 사용자의 검색 행동 및/또는 Google 검색 사용자 선택이 바뀌면 학습된 상관관계가 더 이상 유지되지 않을 수 있습니다. 이는 큰 테스트 오류로 이어질 수 있습니다.

나우캐스팅 오류의 원인을 파악하기 위해 이탈률을 분해했습니다. 그림  7 의 오른쪽 패널 결과는 테스트 데이터셋에서 음의 이탈률이 주로 사용자 선택의 변화에 ​​의해 발생했음을 시사합니다. 단, 이집트의 경우 검색 행동의 변화가 테스트 이탈률에 부정적인 영향을 미쳤습니다.