제목과 같은 에러는 babel-loader와 babel-core의 버전이 맞지 않기 때문이다.
webpack 4.x | babel-loader 8.x | babel 7.x
npm install -D babel-loader @babel/core @babel/preset-env webpack
webpack 4.x | babel-loader 7.x | babel 6.x
npm install -D babel-loader@7 babel-core babel-preset-env webpack
참고
https://github.com/babel/babel-loader