Jrac's DevDiary Jrac's DevDiary

한달 반여 기간 동안의 빅 프로젝트가 끝이났다.초기엔 시간이 많은 듯 했지만 기획부터 개발 까지  매주 컨펌 받으며 수정하느라 시간이 어떻게 간지도 모르게 지난것같다.처음 2주 동안은 아이데이션과 레퍼런스, 데이터 확보에 시간을 모두 쏟았다. B2B, B2G 대상 사업중 KT와 연결점이 있는 사업을 선택 해야 했고 BM도 정해진 선택지 내에서 골라 상업 솔루션과 겹치지 않도록 구상해야 했기때문에 사실상 좋은 아이디어가 떠올라도 시중 솔루션 찾기에 급급했다. 이과정에서 팽당한 아이디어가 수두룩 하다.최종적으로 선택된 아이템은 "공공기관 개인정보 유출 방지 솔루션"이다 BM도 선택지 내에 있었고 유사 상업용 솔루션이 없지는 않았지만 우리만의 아이템을 섞어 보다 효율적인 솔루션이 될수있다는 여지가 있어서인지 ..

1. Ultralytics YOLOv8과 OpenCV를 사용한 모델 학습 및 성능 확인 Ultralytics YOLOv8은 객체 탐지 분야에서 매우 인기 있는 모델 중 하나입니다. 여기서는 Python을 사용하여 YOLOv8 모델을 학습시키고, 성능을 확인하는 기본적인 방법을 설명합니다. OpenCV는 결과를 시각화하는 데 사용됩니다. 필수 라이브러리 설치: pip install torch torchvision pip install opencv-python-headless pip install ultralytics 모델 학습: from ultralytics import YOLO # YOLOv8 사용 # 모델 학습 model = YOLO('yolov8n.pt') # yolov8의 가벼운 버전..

1.회귀 (Regression) 회귀 모델은 연속적인 값을 예측하는데 사용되며, 예를 들어 주택 가격이나 온도 같은 값을 예측할 때 사용됩니다. from keras.models import Sequential from keras.layers import Dense import pandas as pd from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler # 데이터 로드 data = pd.read_csv('boston.csv') X = data.drop('target', axis=1) y = data['target'] # 데이터 분할 X_train, X_test, y_train, ..

1. PCA(Principal Component Analysis, 주성분 분석) PCA(Principal Component Analysis, 주성분 분석)는 데이터의 특성(Feature) 수가 많을 때, 이를 더 적은 수의 핵심적인 특성으로 요약하여 데이터의 복잡성을 줄이고, 계산 효율성을 개선하는 것이 목적입니다. PCA는 데이터의 분산을 최대로 보존하면서, 고차원 데이터를 저차원으로 변환합니다. 이 과정에서 각 새로운 축(주성분)은 원래 데이터의 분산을 최대한 많이 설명하는 방향으로 설정됩니다. 첫 번째 주성분은 가장 많은 분산을 설명하고, 그 다음 주성분은 첫 번째 주성분과 직교(orthogonal)하면서 남은 분산을 가장 많이 설명하는 방향으로 설정됩니다. 이런 방식으로 주성분들이 순차적으로 결정..

1. 선형회귀(Linear Regression) 선형회귀는 종속 변수와 하나 이상의 독립 변수 사이의 선형 관계를 모델링하는 데 사용됩니다. import pandas as pd from sklearn.model_selection import train_test_split from sklearn.linear_model import LinearRegression # 데이터 로드 data = pd.read_csv('airquality_simple.csv') # 데이터 분할 (독립변수 X와 종속변수 y) X = data.drop('TargetColumn', axis=1) # TargetColumn은 예측하고자 하는 대상 컬럼명 y = data['TargetColumn'..

PowerBI를 활용하여 기업의 판매 실적 및 재무 상태를 분석하고 보고서를 작성한 경험은 매우 유익했습니다. 우선, Streamlit 기본 사용법을 배우며 간단한 예시 코드를 통해 기본적인 데이터 시각화 방법을 익혔습니다. 이후, PowerBI를 사용하여 기업의 재무 및 판매 데이터를 분석하는 과정은 다음과 같았습니다. 1. Power BI Desktop을 실행하여 엑셀 파일과 CSV 파일로부터 데이터를 불러왔습니다. 이 과정에서 ‘국가정보.xlsx’와 ‘매출재무정보.csv’ 파일을 활용하여 필요한 데이터를 로드했습니다. 2. 데이터를 정제하고 변환하는 과정을 통해 분석에 적합한 형태로 만들었습니다. 이에는 불필요한 행 제거, 컬럼 이름 변경, 데이터 형식 변경 등이 포함되었습니다. 3. 데이터 서식을..

웹크롤링 기초와 네이버 증권 데이터 수집하기 웹크롤링은 웹페이지에서 데이터를 추출하는 과정을 말합니다. 이 과정은 크게 정적인 페이지와 동적인 페이지로 나눌 수 있으며, 각각 다른 방법으로 데이터를 수집합니다. 웹페이지의 종류 정적인 페이지: 웹 브라우저에 화면이 한 번 뜨면 이벤트에 의한 화면의 변경이 없는 페이지입니다. 동적인 페이지: 웹 브라우저에 화면이 뜨고 이벤트가 발생하면 서버에서 데이터를 가져와 화면을 변경하는 페이지입니다. 데이터 수집 방법 requests 이용 json 문자열로 받아서 파싱하는 방법: 주로 동적 페이지 크롤링할 때 사용합니다. html 문자열로 받아서 파싱하는 방법: 주로 정적 페이지 크롤링할 때 사용합니다. selenium 이용 브라우저를 직접 열어서 데이터를 받는 방법..

파이썬을 활용한 시계열 데이터 분석 시계열 데이터는 시간 순서에 따라 정렬된 데이터 포인트의 집합입니다. 이러한 데이터는 시간의 흐름에 따른 패턴, 추세, 계절성 등을 분석하는 데 유용하게 사용됩니다. 1. 시계열 데이터의 특징과 분석 방법 시계열 데이터는 일정한 시간 간격으로 수집된 데이터로, 각 데이터 포인트가 시간 순서대로 배열되어 있습니다. 이러한 데이터는 경제, 금융, 기상학 등 다양한 분야에서 발생하며, 시간의 흐름에 따른 변화를 분석하는 데 사용됩니다. 시계열 데이터의 특징: 시간 순서에 따라 배열된 데이터 포인트 시간 간격이 균일하거나 불규칙할 수 있음 시간에 따른 패턴(추세, 계절성 등)을 포함할 수 있음 시계열 데이터 분석 방법: 추세 분석: 시간의 흐름에 따른 데이터의 추세를 파악합니..