민서타의 데이터 분석 연구일지

과정별 강사님과 멘토님에 대한 탐구 -팔방미인 강사 김용담 강사와 Git 강의 최우영 강사 그리고 과정 지휘자 LM님 대체로, 부트캠프 과정별 모든 종목을 섭렵하고 있는 강사님은 흔치 않다. 스케줄에 따른 과정마다 강사님이 달랐는데, 이 김용담 강사님은 지속해서 출석하고 있는 명실상부 1타 강사(?)라 할 수도 있을 것 같다. 강사님을 처음 접하게 된 것은 파이썬 EDA 분석때였는데, 지금의 딥러닝 학습까지 함꼐하고 있을 거라곤 생각하지 못했었다 ㅎㅎㅎㅎ. 몇 번의 프로젝트를 진행하며, 현실 패스트캠퍼스 본사에서도 마주친 강사님. 매번 방문 할 때마다 받은 별다방 쿠폰이 많다고 커피를 사주신다. 무려 리저브 커피(미담 사례는 크게 크게 보도하기) 벌써 몇 명의 수강생 교육을 하셨을 지, Yxm사의 인기 ..

인공지능 관련 현직자들은 무슨 일을 하고 있는 지 -카카오 Enterprise 검색 서비스 개발자의 사례 중심으로 공부는 하지만 공부가 되고 있지 않는! 1 + 1 = 0인 기적의 학습법처럼 느껴지는 IT분야에서. 목 마른 자가 우물을 판다고 하지만 우물만 파고 있어 정작 어디로 가야할 지 방향성을 못잡는 경우가 많다. 공부는 척척석사, 박사까지 끝이 없지만 우리가 실제 구현하고자 하는 것, 원하는 것을 정확히 파악하는 것이 중요하다. 이번에 섭외된 강사님은 본인이 구현/운영중인 서비스를 기반으로 ChatGPT와 연관지어 얘기했다. 부동산 검색/추천 서비스를 구현하셨고, GPT에 이걸 입력하면 나에게 딱맞는 부동산을 추천해주는 프로그램을 소개해주는 등 분야별 전문가를 찾아가야할 필요성이 많이 낮아졌다고 ..

1. Desicion Tree import os import gc import pickle import numpy as np import pandas as pd import matplotlib.pyplot as plt import seaborn as sns import warnings warnings.filterwarnings("ignore") from sklearn.model_selection import train_test_split from sklearn.metrics import confusion_matrix, f1_score from sklearn.ensemble import RandomForestClassifier, RandomForestRegressor from sklearn.tree imp..

그룹스터디로 나머지 공부 해보기 -미래의 유관 분야 동료들과의 협업으로 관련 도메인 지식 향상에 끊임없이 노력하다 교육은 듣고있지만 막연하게 느껴지는 이 분야. 숙제만 한다고 나의 역량이 향상될까에 대해 지속적으로 반문해왔다. 물론 표준치에 근사하거나, 표준이 될 순 있겠지만 우리는 항상 조금 더 위를 선호하니까(지금 교육과정이 수월하다는 것은 아님) 매 순간순간 지식의 위기가 찾아오고, 앎에 대한 새로움과 즐거움보단 어려움과 복잡함. 그것이 IT 직군 희망자들이 느끼는 대부분의 절망감이 아닐까싶다. 코딩테스트를 배울 때만 해도 나는 역시 사람이라는 것을 깨달아버리고. 자기주도적 학습의 부족함을 많이 느꼈다. 다른 사람들은 어떻게 공부하고 있는지, 또 함께하면 목적을 가지고 더 열심히 하지 않을까 해서...

R 스퀘어 ● 평균으로 예측한 것 대비 분산을 얼마나 축소시켰는지 / 0 페널티 부여로 가능 1) Ridge Regression(L2-norm): 제곱 오차를 최소화하며 회귀 계수를 제한 2) Rasso Regression(L1-norm): 절대값을 씌운 오차를 최소화하며 회귀 계수 제한, 미분 불가로 경사하강법 사용 Ridge(제곱) Rasso(절대값) L2 norm 규제 L1 norm 규제 변수 선택 불가능 변수 선택 가능 Closed form solution 존재(미분으로 구함) Closed form solution 존재하지 않음, 경사하강법 이용 변수 간 상관관계가 높은 상황에서 좋은 예측 성능 변수 간 상관관계가 높은 상황에서 ridge 보다 예측 성능 부족 크기가 큰 변수를 우선적으로 줄이는 ..

1. List Static Array list: 고정된 저장 공간, 순차적인 데이터 저장, 저장 공간이 고정되어 있음 Dynamic array: 선언 이후에 저장 공간을 늘릴 수 있음 Node: 데이터(value) 값과 주소값(next)로 구성 Linked List: 메모리상에는 비연속적으로 저장이 되어 있지만, 각각의 노드가 다음 노드의 메모리 주소값을 가리킴 --> 논리적 연속성 확보 2. Queue queue: 선입선출 형식 데이터를 저장하는 자료 구조 queue의 뒤에 데이터 추가: enqueue, 앞에 추가: dequeue # queue 선언 q = [] # enqueue O(1) q.append(1) # [1] q.append(2) # [1, 2] q.append(3) # [1, 2, 3] #..

퇴직 후 이직을 희망하는 나, 새로운 형태의 사이버 교육을 이수하다 -인공지능 부트캠프 참가로 새로운 직군 취뽀(취업뽀개기)하기! 이전 직장에서의 퇴직 후, 어머니와 함께 해외여행도 짧게 갔다오고 잠깐의 영화관 알바 체험 기간도 끝이 나게 되었다. 퇴직 전 데이터 분석가의 길을 희망하는 나에게, 사실 이 길이 막연했었다. 대학교를 졸업할 때는 주변 친구들이나 교수님들과 얘기하며 원하는 길의 방향성을 잡을 텐데, 아예 다른 방향으로 취업했던 이전 직장과 또 그 직장의 길을 이어가지 않고 새로운 IT 기술분야로 재도약 추진에 어려움이 많았다. 막연하게 지인 도움없이 둥지에 홀로 남겨진 외로운 참새처럼 취업을 위한 대학원을 갈 지, 부트캠프로 그동안 혼자 배웠던 개념들을 세부화시킬지 고민했다. 그러던 중, 패..

apply(func, axis = 0): 시리즈와, 판다스에서 적용이 어려운 함수를 적용시켜줌 pandas 문자열 함수 str.contains(r' 'cat|dog') # r 정규표현식, 고양이나 강아지 포함하는 행 반환, 없을 시 NaN str.split('-')[index] # -하이폰 기준 구분 str.extract('(cat)') #괄호 두 번 사용 없을 시 NaN반환 pandas 시리즈를 숫자형 자료형 변환 pd.to_numeric(arg, errors='', downcast=None) #arg: 스칼라 혹은 1차원, erros(raise, coerce, ignore) ex) df1.apply(pd.to_numeric, errors = 'coerce') #데이터프레임에 apply 적용 소상공인상..

1. 모델링: 복잡한 현실세계를 단순화 시켜 포현하는 것, 현실세계를 추상화, 단순화, 명확화 하여 데이터 모델로 표현 2. 모델링의 3가지 관점 데이터 관점(어떤 데이터와 관련이 있는지) 프로세스 관점(무엇을 해야 하는지) 상관 관점(일의 방법에 따라 데이터는 어떻게 영향을 받고 있는지) 3. 데이터 모델이 제공하는 기능: 가시화, 명세화, 구조화된 틀 제공, 문서화, 다양한 관점 제공, 구체화된 표현방법 4. 프로젝트 생명주기에서의 데이터 모델링: 정보전략계획->분석->설계->개발->테스트->전환/이행 5. 데이터 모델링의 3 요소 업무가 관여하는 어떤 것(Things) 어떤 것이 가지는 성격(Attributes) ->관계 어떤 것 간의 관계(Relationships) ->속성 6. 정규화 데이터를 ..

삼항연산자: print('성인') if age > 18 else print('미성년자') ==>가독성 면에서 사용, 조건문이 참 거짓 또는 어딘가에 할당 할떄 *arg, #arg는 튜플로 처리 def func1(*args): for n in num: print(n) func1(1,2,3) **kwargs #딕셔너리 형태 출력 def func(msg, **kwargs): print(msg) print(kwargs) func('hi', name = 'min', age = 27) super: 메서드 오버라이딩 시 init함수 내 변수 상속받음. super().__init__(매개변수1, 매개변수2, etc) 클래스 변수: 인스턴스들이 모두 공유하는 변수 if __name__ == "__main__": prin..