jin's Blog

요즘 인공지능(AI)과 머신러닝(ML)에 대한 관심이 많다. 하지만 막상 공부를 시작하려고 하면 어디서부터 어떻게 접근해야 할지 막막한 경우가 많다. 그래서 이번엔 머신러닝의 전반적인 흐름과 개념을 정리해본다.1. 데이터 준비의 시작: 머신러닝 파이프라인머신러닝 모델의 성능은 결국 데이터 품질에 크게 좌우된다. 실제로 모델을 설계하는 시간보다 데이터를 준비하는 데 훨씬 많은 시간이 들기도 한다.머신러닝 프로젝트에서 흔히 사용되는 데이터 준비 파이프라인은 다음과 같은 단계로 이루어진다.Data Acquisition (데이터 수집)데이터를 수집하는 단계다. 크롤링, 센서 데이터, 데이터베이스에서 추출 등 다양한 방식으로 데이터를 확보한다.Processing (데이터 전처리)결측치 처리, 이상치 제거, 정규화..

✅ 1. 데이터 과학 이해하기📌 데이터 과학이란 무엇인가?데이터 과학은 데이터를 수집, 분석, 가공하여 의미 있는 인사이트를 도출하는 학문입니다.📌 데이터 과학자의 역할데이터 수집 및 정제통계적 분석 및 머신러닝 모델링비즈니스 인사이트 도출 및 활용📌 데이터 과학의 활용 사례데이터 과학은 여러 산업에서 활용됩니다.금융: 신용 점수 예측, 사기 탐지의료: 질병 예측, 신약 개발마케팅: 고객 행동 분석, 추천 시스템💡 퀴즈: 데이터 과학의 정의와 활용 사례를 학습하면서 개념을 점검✅ 2. 머신러닝 기초📌 머신러닝이란?머신러닝은 데이터에서 패턴을 학습하고 예측하는 알고리즘을 개발하는 분야입니다.이 과정에서 지도 학습, 비지도 학습, 강화 학습 등 다양한 기법이 사용됩니다.📌 머신러닝이 필요한 상황과..

빅데이터(Big Data)는 현대 AI 기술의 핵심 자원이다. AI 모델은 방대한 양의 데이터를 학습하여 패턴을 찾아내고 예측을 수행하기 때문에, 데이터의 품질과 양이 AI의 성능을 결정한다. 이번 글에서는 빅데이터의 개념, 데이터의 종류, AI와 데이터의 관계, 그리고 데이터가 AI 모델에서 어떻게 활용되는지를 정리한다.1. 빅데이터(Big Data)란?빅데이터는 기존의 데이터베이스 기술로는 처리하기 어려운 **대량(Volume), 고속(Velocity), 다양성(Variety)**을 갖춘 데이터를 의미한다.📌 빅데이터의 3V 특성✅ Volume (데이터 양) - 페타바이트(PB) 또는 엑사바이트(EB) 수준의 방대한 데이터 ✅ Velocity (처리 속도) - 실시간 데이터 분석 및 빠른 처리 필요..

데이터 분석을 시작하려면 Python 기본 문법을 익힌 후, Pandas와 NumPy를 활용하는 방법을 알아야 한다. Pandas는 **데이터프레임(DataFrame)**을 다루는 데 최적화된 라이브러리이며, NumPy는 수학적 연산과 행렬 연산을 빠르게 수행할 수 있는 라이브러리다. 이번 글에서는 Python, Pandas, NumPy의 문법 차이점과 데이터 분석 & 시각화에서 자주 쓰이는 기능들을 정리해본다.1. Python vs Pandas vs NumPy 문법 비교기능 Python 기본 문법 Pandas NumPy배열 생성list = [1, 2, 3]df = pd.DataFrame({'col1': [1, 2, 3]})arr = np.array([1, 2, 3])인덱싱list[0]df['col1']..

Selenium은 웹 브라우저를 자동으로 조작할 수 있는 강력한 도구다. 이를 통해 로그인 자동화, 특정 버튼 클릭, 드롭다운 메뉴 조작 등 다양한 작업을 수행할 수 있다. Selenium을 활용한 브라우저 제어 방법을 정리한다.1. 브라우저 제어의 필요성브라우저를 제어해야 하는 이유는 여러 가지가 있다.로그인 자동화: 로그인 후에만 접근할 수 있는 페이지를 분석할 때 필요하다.ID와 비밀번호 입력 후 로그인 버튼 클릭 또는 엔터키 입력드롭다운 버튼 조작: 특정 요소를 가져오기 위해 드롭다운 버튼을 클릭해야 하는 경우가 있다.드롭다운 버튼을 찾아서 클릭이러한 작업을 가능하게 하는 것이 Selenium이다.2. 브라우저 로딩 기다리기웹 페이지는 로딩 시간이 필요하다. 요소가 로딩되지 않은 상태에서 크롤링을..

웹 스크래핑은 일반적으로 웹사이트의 비구조화된 데이터에서 스크래핑을 통해구조화된 데이터로 추출하는 것을 의미한다. Selenium은 웹 테스트 자동화 도구로, 파이썬 라이브러리로써 사용하고브라우저를 직접 제어할 수 있어서 스크래핑에 용이하다.또한 다양한 브라우저(Chrome, Firefor등) 를 지원한다.파이썬 프로그램이 멈춰도 브라우저 자체는 닫히지 않는다.   with 표현식 -> 에러시 자동종료 기본적인 파이썬 크롤링 방법 from selenium import webdriver# 지시사항 1번을 작성하세요.with webdriver.Firefox() as driver: # 지시사항 2번을 작성하세요. driver.get("http://localhost:8080") ol = driv..