민서타의 데이터 분석 연구일지

이제 Intro가 끝나고, 새롭게 시작(대충 마블 인트로 BGM) -길었던 교육과정의 끝엔 혼자 시작하는 교육이 길었다. 그동안 기초통계부터 인공지능까지. 참 다양한 분야의 지식을 짧은 시간에 배웠다. 처음엔 힘겨웠고 중간엔 즐거웠고 마지막엔 다시 힘겨웠던 것 같다. 긴 시간, 의자에 앉아있는 능력이 생긴 것 부터 다양하 프로젝트를 경험하며 직무 능력을 기르기까지. 이제 조금은 뇌섹남?이 된듯한 기분이 들면서 그래도 포기하지 않았다는 것에 박수를 보낸다. 다양한 사람들과 접하면서, 항상 좋았다고만은 얘기하진 못하지만. 그래도 동료이자 함께하는 구성원으로 좋은 추억이 많았던 것 같다. 내가 잘하는 분들(전공자, 현업자)과 함께할 때는 부족해서 죄송했고, 또 조금 이해가 부족하신(사실 열정이 부족한 것 같다..

안녕이 영원한 마지막은 아니겠지요 -끝은 새로운 출발, 할 게 너무 많은 IT업계 어느덧, 길었던 6개월의 종지부를 찍고. 부족했던 내가 한층 더 풍성해진 캐릭터로 거듭났다. 작년에 데이터 분석과 인공지능을 공부하기 마음먹은 지 얼마 안된 것 같은데. 눈 떠보니 2024년이고, 공부할 분야는 여전히 많고. 이쪽 분야 사람들은 지치지 않는 것 같다. 왜냐하면 한 분야의 마스터를 찍으면, 또 유관분야의 기술 스택을 익혀야 하니까. 실제 프로젝트 경험으로, 그동안 자랑할 만한 프로젝트 경험이 없었다. 남들 수준에서 그정도는 할 수 있지, 차별성이 없는 프로젝트들이라 생각되었다. 패스트캠퍼스의 기업연계 파이널 프로젝트는, 실제 현업에서의 문제를 경험할 수 있다는 점에서 굉장히 경쟁력이 있었다. 하지만 웅장한 인..

고행길의 연속, 팀 프로젝트 -조장하기 싫어요... 소통의 부재 기본적인 AI 전문가로의 교육과정을 마치고, 이제 트랙학습 프로젝트와 기업연계 프로젝트가 남았다. 걱정했던대로, 내가 선택한 트랙에 우수한 학생들이 몰려왔다(필자는 이전 EDA 프로젝트에서도 크게 데인적이 있다) 대학생때도 그랬듯이, 이럴거면 혼자 하게 해주세요!라고 혼자 외쳐보곤 하지만. 교수님 say: "그것도 필요한 과정이다" -> 그냥 이럴꺼면 태형을 때리십쇼(C때리지말고) 아무도 얘기하지 않고, 잘 듣지 않는다. 내가 짠 팀 구성원이 아니기에, 사실상 dropna를 하고 싶은 마음이 계속 들었다. 결과물을 내야하니, 개인공부 겸 열심히 하고 있지만 원하는 퀄리티를 내기엔 주어진 시간이 부족했다. 나름대로 함께해보자고 프로젝트 스케줄..

대회: PS3E23 소프트웨어 결함 분류 및 예측 --> 이진 분류를 통해 목표: 코드에 대한 다양한 속성들이 주어진 상태에서 C 프로그램의 결함 예측 평가지표: AUC ROC Score 1. 데이터 로드 & EDA 1)피처별 분포 --> 전반적으로 오른쪽으로 치우쳐져 있어 로그 변환 필요 어느정도 균일한 분포가 됐쥬? 2) 상관관계 분석 -->높은 피쳐들간의 상관관계, 다중공선성 제거 or 차원 축소 필요 하지만 vif>=20 이상인 것을 제거하고, 차원을 축소하였으나 주최측의 인위적인 데이터 생성으로 점수를 비교해본 결과 큰 의미는 없었음 3. 베이스라인 모델 구축 모델 LightGBM XGBoost Random Forest Train score 0.8158 0.8453 1.0000 Validatio..