분류 전체보기 (894) 썸네일형 리스트형 [혼공] ch 3. 데이터 정제하기 1. 불필요한 데이터 삭제하기 데이터 정제(data cleaning) - 데이터에서 손상되거나 부정확한 부분을 수정하고, 불필요한 데이터를 삭제하거나 불완전한 값을 교체하는 등의 작업 - 데이터를 분석 목적에 맞게 변환하는 데이터 랭글링(data wrangling) 또는 데이터 먼징(data munging)의 일부로 수행될 수 있다. 1) 열 삭제하기 - gdown 패키지를 사용해 남산도서관 데이터를 다운로드 import gdowngdown.download('https://bit.ly/3RhoNho', 'ns_202104.csv', quiet=False) - 판다스 데이터프레임으로 읽어서 처음 다섯개 행을 출력 import pandas as pdns_df = pd.read_csv('ns_2021.. [혼공] ch 2. 데이터 수집하기 1. API 사용하기 1) API란 - API(Application Programming Interface)는 두 프로그램이 서로 대화하기 위한 방법을 정의한 것 웹 페이지를 전송하기 위한 통신 규약 : HTTP - 웹 사이트는 웹 페이지를 서비스하기 위해 웹 서버(Web server) 소프트웨어를 사용한다. 대표적인 웹 서버 프로그램으로는 NGINX, Apache 등이 있다 이런 웹 서버 프로그램은 웹 브라우저와 통신할 때 HTTP 프로토콜을 사용한다. - HTTP(Hyper Text Transfer Protocol)는 인터넷에서 웹 페이지를 전송하는 기본 통신 방법이다. - 웹 브라우저가 웹 서버에 웹 페이지를 요청하고, 웹 서버는 요청에 맞는 웹 페이지를 웹 브라우저에게 전송한다. 웹 페.. [혼공] ch 1. 데이터 분석을 시작하며 1. 데이터 분석이란? 1) 데이터 분석과 데이터 과학 - 데이터 과학(data science)은 통계학(statistics), 데이터 분석, 머신러닝(machine learning), 데이터 마이닝(data mining) 등을 아우르는 큰 개념으로 볼 수 있다. - 데이터 분석은 올바른 의사결정을 돕기 위한 통찰(insight)을 제공하는 데 초점을 맞추고, 데이터 과학은 한 걸음 더 나아가 문제 해결을 위한 최선의 솔루션(solution)을 만드는 데 초점을 둔다. - 통계적 관점에서 보면 데이터 분석은 크게 세 가지로 나눌 수 있다. 기술 통계- 관측이나 실험을 통해 수집한 데이터를 정량화하거나 요약하는 기법탐색적 데이터 분석- 데이터를 시각적으로 표현하여 주요 특징을 찾고 분석하는 방법가설.. [글로컬청년취업사관학교][TIL] 240702 Git 동작 방식 1) Git 저장소 만들기 - 기존 디렉토리를 Git 저장소로 만들기 # 폴더로 이동하기$ cd /c/user/my_project# .git 폴더 생성 및 git 구조 생성$ git init# 파일을 만들기$ echo "Hello, Git!" > hello.txt# 커밋 생성하기$ git commit -m 'initial project version' - 기존 저장소를 Clone 하기 a. 레포지토리 이름과 동일하게 $ git clone https://github.com/libgit2/libgit2 b. 내가 원하는 이름으로 클론하기 $ git clone https://github.com/libgit2/libgit2 mylibgit 2) 수정하고 저장하기 - 파일의 상태 확인.. [혼공] ch 9. 텍스트를 위한 인공신경망 1. 순차 데이터와 순환 신경망 1) 순차 데이터 순차 데이터(sequential data) - 텍스트나 시계열 데이터(time series data)와 같이 순서에 의미가 있는 데이터 - 순차 데이터를 다룰 때는 이전에 입력한 데이터를 기억하는 기능이 필요하다. - 합성곱 신경망이나 완전 연결 신경망과 같이 입력 데이터의 흐름이 앞으로만 전달되는 신경망을 피드포워드 신경망(feedforward neural network, FFNN)이라고 한다. 2) 순환 신경망 순환 신경망(recurrent neural network, RNN) - 순차 데이터에 잘 맞는 인공 신경망의 한 종류 - 완전 연결 신경망에 이전 데이터의 처리 흐름을 순환하는 고리 하나만 추가하면 된다. - 뉴런의 출력이 다시 자기.. [글로컬청년취업사관학교][TIL] 240701 Git 기초 용어 설명 - Repository(리포지토리) : 프로젝트의 파일과 이력이 저장되는 곳- Commit(커밋) : 저장소에 파일 상태를 기록하는 행위 - Branch(브랜치) : 기능 개발이나 버그 수정을 위해 기존 코드에서 분기하는 것- Merge(머지) : 한 브랜치의 변경사항을 다른 브랜치와 합치는 것- Fork(포크) : 다른 사용자의 Github 리포지토리를 자신의 계정으로 복사하는 것- Pull Request(풀 리퀘스트) : 자신이 개발한 코드를 다른 사람이 리뷰하고 병합하도록 요청하는 것 조건문과 반복문 과제 1) 문자열 곱하기 정답 function solution(my_string, k) { var answer = ''; for(let i=0.. [혼공] ch 8-3 합성곱 신경망의 시각화 1. 가중치 시각화 - 합성곱 층은 여러 개의 필터를 사용해 이미지에서 특징을 학습한다. - 각 필터는 커널이라 부르는 가중치와 절편을 가지고 있다. - 가중치는 입력 이미지의 2차원 영역에 적용되어 어떤 특징을 두드러지게 표현하는 역할을 한다. - 이 필터의 가운데 곡선 부분의 가중치 값은 높고 그 외부분의 가중치 값은 낮을 것이다. 이렇게 해야 둥근 모서리가 있는 입력과 곱해져서 큰 출력을 만들기 때문이다. - 앞서 만든 모델이 어떤 가중치를 학습했는지 확인하기 위해 체크포인트 파일을 읽기 from tensorflow import keras# 코랩에서 실행하는 경우에는 다음 명령을 실행하여 best-cnn-model.h5 파일을 다운로드받아 사용!wget https://github.com/ri.. [혼공] ch 8-2 합성곱 신경망을 사용한 이미지 분류 1. 패션 MNIST 데이터 불러오기 - 케라스 API를 사용해 패션 MNIST 데이터를 불러오고 적절히 전처리 - 데이터 스케일을 0~255 사이에서 0~1 사이로 바꾸고 훈련 세트와 검증 세트로 나눈다. - 합성곱 신경망은 2차원 이미지를 그대로 사용하기 때문에 일렬로 펼칠 필요는 없다. - 다만, 입력 이미지는 항상 깊이(채널) 차원이 있어야 한다. -> 흑백 이미지의 경우 채널 차원이 없는 2차원 배열이지만 Conv2D층을 사용하기 위해 마지막에 이 채널 차원을 추가해야 한다. from tensorflow import kerasfrom sklearn.model_selection import train_test_split(train_input, train_target), (test_input.. 이전 1 2 3 4 5 6 7 8 ··· 112 다음
