데이터 분석 7

파이썬에서 표만 크롤링 하는 법

원래 크롤링을 하려면 여러 과정을 거쳐야했다. 예시 사이트는 스탯티즈로 들겠다. # 웹드라이버 설정 from selenium import webdriver from selenium.webdriver.chrome.options import Options from selenium.webdriver.common.by import By import pandas as pd # Chrome 옵션 설정 chrome_options = Options() chrome_options.add_argument('--no-sandbox') # 샌드박스 모드 비활성화 chrome_options.add_argument('--disable-dev-shm-usage') # dev-shm-usage 비활성화 chrome_options.a..

데이터 분석 2024.02.22

mysql6

분석 통계 사용 기술통계 대표값 -- 데이터 계수 : count -- 최대/최소/중간값 구하기 : MAX/MIN/MEDIAN 함수 -- 합/평균 : SUM/AVERAGE 함수 -- RANK 함수 주기적 통계 -- 일간, 주간, 월간 지표 확안 중심경향성 -- 데이터의 중심이 어디인지 나타냄 -- 어떻게 분포되어있느지 파악하는 중심경향 -- 대부분 데이터 값을 데이터 위치의 개수로 나눈 평균을 사용할 수 있음 -- 평균을 통해 각 지표가 전체 지표 중에서 어느 위치인지를 파악하기 좋음 대표값 파악 -- 산술평균 : 보통 평균(MEAN)은 관측치 총합을 관측치의 개수로 나누어 구함 -- 기하평균 : 관측치 수의 곱을 관측치 제곱근을 취해 산술한ㄴ 평균값 -- 중앙값(중위수, Median) : 데이터에서 가장..

데이터 분석 2023.12.20

mysql5

집계 이해하기 뷰(view) -- 하나 이상의 테이블을 결합해 만든 가상의 테이블 -- SELECT와 조건 구문 등을 통해 쿼리로서 가상의 테이블로 생성한다. 뷰의 특징 -- 원본 테이블 레코드 값에 따라 뷰 레코드도 같이 변화가 일어남 -- 기존 테이블 변경없이 새로운 데이터 구조 사용 가능 -- 특정 레코드에 대한 노출이 필요한 경우 장점 뷰의 단점 -- 뷰에 독립적인 인덱스 생성이 어려움 -- 한번 생성된 뷰의 속성 변경이 안됨 ALTER VIEW문을 사용할 수 없다 즉, 뷰의 정의를 변경할 수 없다 -- 삽입, 삭제 갱신 연산에 많은 제약이 따름 테이블 기본키를 포함한 속성 뷰에서 삽입, 삭제, 갱신이 가능 뷰의 장점 -- 편리성 및 재사용성 -- 보안 -- 논리적 독립성 뷰의 편리함 테이블에서 ..

데이터 분석 2023.12.19

mysql4

JOIN 두 개 이상 테이블에서 SQL 질의 -- 여러 테이블을 결합해 질의해서 결과 집합을 도출해 낸다. 조인 다이어그램 일반 조인 : SQL 문에서는 주로 동등조인을 사용함 외부 조인 : FROM 절에 조인 종류를 적고 ON을 이용해 조인조건을 명시함 명령 문법 설명 일반조인 SELECT FROM 테이블1, 테이블2 WHERE AND SQL 문에는 주로 동등조인을 사용함 두가지 문법 중 하나를 사용할 수 있음 SELECT FROM 테이블1 INNER JOIN 테이블2 ON WHERE 외부조인 SELECT FROM 테이블1 {LEFR |RIGHT|FULL [OUTER]} JOIN 테이블 2 ON WHERE 외부조인은 FROM 절에 조인 종류를 적고 ON을 이용해 조인조건을 명시함 일반조인 / Inner..

데이터 분석 2023.12.18

mysql-3

서브쿼리 서브쿼리는 쿼리문 안에 또 다른 쿼리문이 포함된 구문 -- 리턴하는 행과 열의 개수에 따라 분류할 수 있다. -> 단일행 서브쿼리 : 하나의 스칼라 값을 반환 -> 다중행 서브쿼리 : 여러 개의 row을 반환 -> 다중행 열 서브쿼리 : 여러 개의 column로 구성된 여러 가의 row 테이블을 반환 서브쿼리의 확장성 - select 기본 질의는 아주 짧은 단문만 가능하지만 여러 단계 질문을 한꺼번에 하는 경우가 많다. SQL 복잡 질의를 수행하는 방법이 바로 서브쿼리이다. 서브쿼리는 WHERE절 안에서도 사용할 수 있다. 예시) - 제품이름이 'A' 인 제품의 최대 판매가는? SELECT MAX(price) AS 최대판매가 FROM products WHERE product_name = 'A';..

데이터 분석 2023.12.14

mysql 개념2

산술연산자 연산자 기능 사용법 의미 + +(덧셈) a+b a와 b를 더한다 - -(뺄셈) a-b a에서 b를 뺀다 * X(곱셈) a*b a와 b를 곱한다 / 나눗셈 a/b a를 b로 나눈다 % 나머지 a%b a를 b로 나눈 나머지 예시 SELECT price * 0.5 FROM book; SELECT price /2 FROM book; 비교연산자 -- 비교 리터럴 및 WHERE 절의 값 비교에 사용하는 연산자 참: 1, 거짓 :0 값 반환 연산자 기능 의미 = a=b a와 b는 같다 =b a는 b이상이다 ab a!=b a와 b는 같지않다 논리 연산자 -- 여러 조건을 조합해 복합 조건을 나타낼 수 있음 연산자 기능 논리 연산식 설명 AND 그리고 (a>=10) AND (a

데이터 분석 2023.12.13

mysql 개념

WHERE 구문에서 사용 가능하 술어 구문: 비교, 조건 등의 연산을 사용하거나 복합문으로 사용 가능 용어 연산자 예시 비교 =,,= price < 20000 범위 BETWEEN price BETWEEN 10000 AND 20000 집합 IN, NOT, IN price IN(10000,20000,30000) 패턴 LIKE bookname LIE '철학의 역사 NULL IS NULL, IS NOT NULL price IS NULL 복합조건 AND, OR, NOT (price < 20000) AND (bookname LIKE '철학의 역사') 예시) name zip_code address total 강동원 120-011 서울시 종로구~ 20000 김형준 340-020 서울시 구로구~ 30000 우편번호가 3..

데이터 분석 2023.12.13