민서타의 데이터 분석 연구일지

이제 Intro가 끝나고, 새롭게 시작(대충 마블 인트로 BGM) -길었던 교육과정의 끝엔 혼자 시작하는 교육이 길었다. 그동안 기초통계부터 인공지능까지. 참 다양한 분야의 지식을 짧은 시간에 배웠다. 처음엔 힘겨웠고 중간엔 즐거웠고 마지막엔 다시 힘겨웠던 것 같다. 긴 시간, 의자에 앉아있는 능력이 생긴 것 부터 다양하 프로젝트를 경험하며 직무 능력을 기르기까지. 이제 조금은 뇌섹남?이 된듯한 기분이 들면서 그래도 포기하지 않았다는 것에 박수를 보낸다. 다양한 사람들과 접하면서, 항상 좋았다고만은 얘기하진 못하지만. 그래도 동료이자 함께하는 구성원으로 좋은 추억이 많았던 것 같다. 내가 잘하는 분들(전공자, 현업자)과 함께할 때는 부족해서 죄송했고, 또 조금 이해가 부족하신(사실 열정이 부족한 것 같다..

안녕이 영원한 마지막은 아니겠지요 -끝은 새로운 출발, 할 게 너무 많은 IT업계 어느덧, 길었던 6개월의 종지부를 찍고. 부족했던 내가 한층 더 풍성해진 캐릭터로 거듭났다. 작년에 데이터 분석과 인공지능을 공부하기 마음먹은 지 얼마 안된 것 같은데. 눈 떠보니 2024년이고, 공부할 분야는 여전히 많고. 이쪽 분야 사람들은 지치지 않는 것 같다. 왜냐하면 한 분야의 마스터를 찍으면, 또 유관분야의 기술 스택을 익혀야 하니까. 실제 프로젝트 경험으로, 그동안 자랑할 만한 프로젝트 경험이 없었다. 남들 수준에서 그정도는 할 수 있지, 차별성이 없는 프로젝트들이라 생각되었다. 패스트캠퍼스의 기업연계 파이널 프로젝트는, 실제 현업에서의 문제를 경험할 수 있다는 점에서 굉장히 경쟁력이 있었다. 하지만 웅장한 인..

고행길의 연속, 팀 프로젝트 -조장하기 싫어요... 소통의 부재 기본적인 AI 전문가로의 교육과정을 마치고, 이제 트랙학습 프로젝트와 기업연계 프로젝트가 남았다. 걱정했던대로, 내가 선택한 트랙에 우수한 학생들이 몰려왔다(필자는 이전 EDA 프로젝트에서도 크게 데인적이 있다) 대학생때도 그랬듯이, 이럴거면 혼자 하게 해주세요!라고 혼자 외쳐보곤 하지만. 교수님 say: "그것도 필요한 과정이다" -> 그냥 이럴꺼면 태형을 때리십쇼(C때리지말고) 아무도 얘기하지 않고, 잘 듣지 않는다. 내가 짠 팀 구성원이 아니기에, 사실상 dropna를 하고 싶은 마음이 계속 들었다. 결과물을 내야하니, 개인공부 겸 열심히 하고 있지만 원하는 퀄리티를 내기엔 주어진 시간이 부족했다. 나름대로 함께해보자고 프로젝트 스케줄..

제 1회차, 패스트캠퍼스 네트워킹 데이 행사 실시 -다양한 게임과 강연, 수료생들 간의 친목 이어져 네, 오랜만에 숙제 시간이 돌아왔습니다. 아직 수료하진 못했지만(이제 2개월 남음) 기자단 신분으로 취재 권한을 얻었습니다. 뭔가 다이나믹한 활동들이 이어질 것 같은 배경이었습니다. 모두가 기대감에 차있었고, 저 또한 이 HOT한 장소는 무엇인가에 대해 생각해본 것 같네요. 행사는 강승훈 강사님의 UP브랜딩과 커리어, "쓸모없는 것들에 대하여."라는 주제로 시작했습니다. 그 후 간단한 게임과, 맥주 파티를 마무리로 하는 네트워킹이 이어졌습니다. 사실, 수료하지 못하고 가니 아는 분들이 많이 없었습니다. AI기수 특성상 아직 5기까지 수료를 했고, 행사에 참여한 저는 1학년 수업을 듣는 4학년 복학생이었달까..

1. 사전 필터링: 사전에 필터링되 결과로 유사한 유저-아이템 인터랙션 추천 2. 사후 필터링: 사후 행동 로그를 보고 유사한 유저-아이템 인터랙션 추천 희소 데이터: 대부분의 데이터 값이 0 또는 빈 데이터 해결법 1)데이터 핸들링-결측치 채우기 2)모델링: 협업 필터링, 행렬 인수분해 , 잠재요인 모델, 차원 축소, 데이터 증강(이미지, 텍스트 등) 1. A/B Test -A와 B를 대조하여 가설을 검정하는 실험법 -ex)배너위치 변경은 클릭전환율이 증가할 것이다 / 5%할인쿠폰보다 5천원 할인쿠폰이 주문이 더 많을 것 2. 이중차분법 -독립변수와 종속변수 간 인과효과를 측정하기 위한 인과 추론법(처치 전후 지표와 시계열 데이터 비교) 처치 전 처치 후 실험군 a A 대조군 b B 실험군: 실험자가 ..

1. Cold start: 유저의 선호도나 행동에 대한 기록이 전혀 없을 때 유저에 대한 추천이 어려운 상황 -ex)신규 유저에게 어떤것을 추천할 지? 1. User 콜드 스타트: 새로운 유저가 플랫폼에 가입한 경우 추천 시스템이 사용자의 선호도, 과거 행동에 대한 충분한 정보X ex) 뉴비에게 어떤 게임을 추천할 지 2. Item 콜드 스타트: 새로운 아이템이 시스템/서비스에 추가되었을 때 해당 아이템에 대한 유저 데이터가 충분하지 않은 경우 ex) 상품 출시 시 누구에게 추천할 지? or 뉴스 추천 3. System 콜드 스타트: 추천 시스템을 처음 시작할 때 user 및 item 모두에 대한 상호 데이터가 전혀 없을 때 ex) 신규 출시 앱이 서비스 초반에 어떤 추천을 해줄 지 파레토 법칙: 80%..

1. 추천시스템 -유저와 아이템의 주변정보와 상호작용 기록을 바탕한 예측으로, 유저의 의사결정을 돕는 AI 서비스 검색시스템과의 차이 검색시스템 추천시스템 작동방식 Push Pull 쿼리입력 있음 없음 작동시점 사용자 요청 후 사용자 요청 전 의도의 명시성 명시적 암묵적 2. 추천시스템 파이프라인: 후보생성: 무수히 많은 전체 상품 중 관련이 있을 것으로 예상되는 일부 후보군을 추려냄 순위매기기: 추려낸 후보군 내 유저와 아이템의 연관성 점수를 정밀하고 복잡한 모델로 선정 재정렬: 순위를 매긴 유저-아이템 쌍 중 유저와 무관한거나 비즈니스 목적에 맞지 않는 아이템 제거 3. 연관규칙 분석: ★ A를 사면 B도 산다 A를 사면(조건절) B도 산다(결과절) a priori 알고리즘 이용 규칙 성능 지표: 지..

4개월이 지난 나의 자화상 -1인분 할 수 있는 평균적인 데이터 분석가 어느덧 시간은 나를 기다려주지 않고, 눈 감으면 집 눈 떠도 집. 벌써 과정 종료까지 2개월 채 남지 않았다. 짧은 사이드 프로젝트들을 끝내고, 굵직한 프로젝트로 스트레스 받으며! 남들 다 하는 부트캠프, 실상을 보면 중도 포기자도 많았다. 처음엔 무의미하다고 느끼는 과정(기초를 탄탄하게 하는)들이 상당 부분 있었는데, 그 부분을 지나니 어나더 레벨, 모르겠어요! 모르면 알 때 까지 해라. 언제까지 알아야할까요? 천장이 없는 DA와 DS의 장벽(데이터 분석가와 데이터 사이언티스트) 평생 공부를 싫어했는데 평생 공부하게 된 것 같다. 나란 놈, 개발자가 아닌 자기계발자 현장에서 뛰지 않으니 이론은 빠삭해진 것 같은데 속은 빈 강정같다...

1. 로지스틱 회귀 구현 import torch import torch.nn as nn import torch.nn.functional as F import torch.optim as optim torch.manual_seed(0) # seed 고정 x_data = [[1, 2], [2, 3], [3, 1], [4, 3], [5, 3], [6, 2]] y_data = [[0], [0], [0], [1], [1], [1]] x_train = torch.FloatTensor(x_data) y_train = torch.FloatTensor(y_data) # nn.Sequential: Wx+b와 활성화 함수를 연결해주는 함수 model = nn.Sequential( nn.Linear(2, 1), # input_..

0. Objective &Working Process -목적: 주어진 데이터에 대해 결과를 내는 가상의 함수를 모사 -작업 과정: 문제 정의 -> 데이터수집 -> 데이터 전처리&분석 -> 알고리즘 적용 -> 평가 -> 배포 문제 정의: 단계를 나누고 간소화, x와 y를 정의 데이터 수집: 문제 정의에 따른 수집, 필요에 따른 레이블링 데이터 전처리 및 분석: EDA, 형태 가공 알고리즘 적용: 가설 설계/구현 평가: 실험 설계, 테스트셋 구성 배포: RESTful API를 통한 배포, 유지 보수 1. Loss function -분류 예측값의 틀린 정도를 계산하는 Cross-Entropy -딥러닝의 모든 문제는 선형 회귀로 표현이 가능함(결과론적으로) y = wx + b 2. Weight Update(Gr..