삶과 개발

단순한 데이터 생성 코드입니다. Scikit-learn 에서 제공하는 동방성 정규분포 데이터 생성 함수인 make_blobs 를 사용하였습니다. 샘플 수 400개, 중심점 개수 4개 데이터 시인성을 높이기 위함으로 두 번째 차원의 데이터 순서를 뒤집어 시각화하였음 %matplotlib inline import numpy as np import matplotlib.pyplot as plt import seaborn as sns; sns.set() from sklearn.datasets.samples_generator import make_blobs X,y_true = make_blobs(n_samples=400, centers=4, cluster_std=0.60, random_state=0) X=X[:,:..

Numpy 이해하기 1. 빅데이터 분석 및 처리 1) 프로그래밍 언어 빅데이터의 정의 : DBMS와 같은 데이터 관리 기법으로 관리하기가 어려운 데이터 R studio : 통계 계산과 그래픽을 위한 프로그래밍 언어, 소프트웨어 환경이다. 다양한 통계 기법과 수치 해석 기법을 지원한다 Python : 이해하기 쉽고 유연한 문법, 다양한 라이브러리로 연산능력을 극대화 시켜준다. 높은 접근성을 갖는 특징이있다. 2) 파이썬 빅데이터 분야에서 파이썬을 사용하는 이유는 유연성과 다양 패키지가 목적에 맞게 개발돼있기떄문이다. 빅데이터 기본 프로그래밍 도구 Numpy : 동일한 데이터 타입을 가진 배열 기반의 데이터 처리 Pandas data frame 형태로 데이터를 다룸 Scipy : 과학 계산 작업 Matplo..

파이썬 기반 빅데이터 처리 및 분석 기술 -구조적 데이터 -비구조적 데이터 -자연어 데이터 -기계 생성 데이터 -그래프 기반 데이터 -오디오, 비디오 이미지 -스트리밍 데이터 Colab 특별한 환경설칭 없이 코드 실행과 분석이 가능한 구글 Colab 을 사용할 예정입니다. 웹 브라우저에서 코드를 만들고 바로 실행이가능한 장점이있습니다. 또, 자동완성기능이있습니다. 매우 유용한 것같아요! 기능 Jupyter notebook 과 Google Drive 를 합성한 형태 클라우드 기반 쥬피터 노트북 UI 및 기능 제공 구글 계정 전용의 가상 머신 지원 머신 러닝을 위한 GPU 및 TPU 무료제공 장점 별도의 환경설치 없이 웹 브라우저에서 작업 수행이가능 다른 사용자들과 공유가 쉽다 데이터 분석 및 인공지능에서 ..