데이터 4

MySQL, 날짜 형식이 내 마음대로 변경 안 된다면..? | CAST함수

데이터를 살펴보다 보면 데이터 형식을 원하는 모습으로 맞춰야 될 때가 자주 있다.특히 날짜..! 데이터 형식 변경 작업에 있어 그 어떤 형식보다도 더 자주 작업을 해 줘야 하는데,특정 날짜 컬럼에서 yyyy-mm-dd 뿐만 아니라 hh-mm-ss 내용까지 함께 반영 될 때가 있기 때문이다. yyyy-mm-dd hh-mm-ss 형식은 초단위까지 표현하는 좀 더 정확한(?) 기입이 필요할 때 쓰이는 시간 표현 방식이다. 하지만 적어도 나의 실무 환경에선 시/분/초 단위까지 확인해야 될 일은 거의(전혀) 없고 연/월/일 까지만 파악하면 되므로, 해당 데이터 형식을 yyyy-mm-dd 로 바꿔 줘야 한다. 이 때 위와 같은 형식으로 입력된 데이터를 DATE_FORMAT 함수로 그 형식을 바꾸려 하다 보면 초 단..

2024.09.01

Arrayformula와 같은 역할을 하는 Map 함수, 용도의 차이는?

구글 시트에서 Arrayformula 함수를 사용하다 보면 유사한 함수를 쉽게 접할 수 있다. 바로 Map함수다. Map 함수도 Arrayformula 함수와 마찬가지로 일정 행 또는 열에 같은 수식을 나열하는 역할을 한다. 처음엔 '아 비슷한 함수구나' 하고 그때 그때 떠오르는 함수로 활용할 수 있지만 계속 사용하다 보면 어떤 차이점이 있는지 의문점이 들 때가 있다.의문점을 넘어 어떤 상황이 각각 더 효율적인가? 를 떠올리게 된다면 이 글을 참고해 보면 좋겠다.  단순연산 단순 연산에 대한 결과를 출력하고자 할 때, Arrayformula 함수의 속도가 더 빠르다.  그 이유는 예시를 통해 살펴 보자. 예시) =ARRAYFORMULA(A2:A100 * 2) =MAP(A2:A100, LAMBDA(a, a..

2024.07.23

업무상 실수를 줄이는 3가지 방법

나는 일 할 때 실수가 많다. 특히 지금 같이 데이터 다루는 일을 하다 보면 짜잘짜잘(?)한 실수들이 굉장히 많이 일어난다. 인턴을 포함하면 4번째 회사인데, '내가 이렇게 실수가 많은 사람이었나' 싶을 정도로 실수가 많다. 일에 대한 진지함, 열정은 그 어느때 보다 높다고 자부한다. 그런데도 자꾸 실수가 반복되다 보니 이를 줄일 수 있는 방법을 떠올렸고, 실천중이다. 1. 실수 내역을 다 적어라실수를 했으면 일단 다 적는다. 사소한 실수라도 우선 다 적고 보면 꽤 많이 보일 것이다.그 중 내 통제를 벗어난 내용은 모두 지운다. 어차피 내 손을 벗어나 일어난 일은 실수라기 보다 '사고'에 가깝기 때문이다. 굳이 좋게 생각한다면 예외 상황을 맞이 했을 때  2. 실수 방지 및 정상 여부 검증 시스템을 만들..

2024.07.15

데이터 전처리의 중요성 | 머신러닝 EDA? 엑셀부터 차근차근

데이터 분석가 초심자로서 요즘 가장 중요하다고 느끼는 부분이 있다. 바로 데이터 전처리이다. 데이터 전처리가 제대로 되지 않은 상태에서 데이터 집계를 하게 되면 처음엔 아무리 사소했을 지라도 결국엔 '스노우볼(snow ball)효과' 처럼 그 끝엔 꽤나 참담한? 결과를 얻을 수 있다. 내가 그랬다. ● 엑셀을 소홀히 하지 말자.. '절대'이론으로 처음 배운 '데이터 전처리'라고 한다면 EDA가 있는데 그 당시에는 머신러닝, 딥러닝 등 고차원 수준에서만 사용하는 행위로 여겼다.엑셀, 구글시트 등 보다 보편적인 데이터 업무 환경에서부터 전처리 과정을 생활화 해 두는 게 바람직하고, 결과적으로도 훨씬 더 나은 작업물을 낼 수 있다.나같이 데이터를 많이 다뤄보지 않고 국비 교육을 통해 데이터를 다루기 시작한 사..

2024.07.09