전처리 2

MySQL, 날짜 형식이 내 마음대로 변경 안 된다면..? | CAST함수

데이터를 살펴보다 보면 데이터 형식을 원하는 모습으로 맞춰야 될 때가 자주 있다.특히 날짜..! 데이터 형식 변경 작업에 있어 그 어떤 형식보다도 더 자주 작업을 해 줘야 하는데,특정 날짜 컬럼에서 yyyy-mm-dd 뿐만 아니라 hh-mm-ss 내용까지 함께 반영 될 때가 있기 때문이다. yyyy-mm-dd hh-mm-ss 형식은 초단위까지 표현하는 좀 더 정확한(?) 기입이 필요할 때 쓰이는 시간 표현 방식이다. 하지만 적어도 나의 실무 환경에선 시/분/초 단위까지 확인해야 될 일은 거의(전혀) 없고 연/월/일 까지만 파악하면 되므로, 해당 데이터 형식을 yyyy-mm-dd 로 바꿔 줘야 한다. 이 때 위와 같은 형식으로 입력된 데이터를 DATE_FORMAT 함수로 그 형식을 바꾸려 하다 보면 초 단..

2024.09.01

데이터 전처리의 중요성 | 머신러닝 EDA? 엑셀부터 차근차근

데이터 분석가 초심자로서 요즘 가장 중요하다고 느끼는 부분이 있다. 바로 데이터 전처리이다. 데이터 전처리가 제대로 되지 않은 상태에서 데이터 집계를 하게 되면 처음엔 아무리 사소했을 지라도 결국엔 '스노우볼(snow ball)효과' 처럼 그 끝엔 꽤나 참담한? 결과를 얻을 수 있다. 내가 그랬다. ● 엑셀을 소홀히 하지 말자.. '절대'이론으로 처음 배운 '데이터 전처리'라고 한다면 EDA가 있는데 그 당시에는 머신러닝, 딥러닝 등 고차원 수준에서만 사용하는 행위로 여겼다.엑셀, 구글시트 등 보다 보편적인 데이터 업무 환경에서부터 전처리 과정을 생활화 해 두는 게 바람직하고, 결과적으로도 훨씬 더 나은 작업물을 낼 수 있다.나같이 데이터를 많이 다뤄보지 않고 국비 교육을 통해 데이터를 다루기 시작한 사..

2024.07.09