파이썬크롤링(2)
-
파이썬의 집합과 사전에 대해
파이썬의 집합(set) 과 사전(dictionary) 은 둘 다 컬렉션 자료형(collection data type) 에 속하며, 여러 데이터를 하나의 객체로 관리할 수 있게 해줍니다. 하지만 용도, 구조, 접근 방식에서 큰 차이가 있습니다. 아래에서 각각을 구조, 특징, 사용법, 예제 코드 순으로 상세하게 설명하겠습니다. 면접에 자주 등장하는 질문입니다. 몇번을 읽어보고 숙지하길 바랍니다. 1. 집합(set)1.1 개념집합(set)은 중복을 허용하지 않고, 순서가 없는 자료형입니다.수학의 집합 개념과 유사하게, 합집합, 교집합, 차집합 연산이 가능합니다.1.2 특징요소는 중복되지 않으며, 순서가 보장되지 않음변경 가능한(mutable) 자료형이지만, 내부 요소는 변경 불가능한(immutable) 타입만..
2025.05.12 -
파이썬 인터넷상에 있는 파일 크롤링 수집 자동화에 대해
파이썬에서는 인터넷에 있는 파일(예: 이미지, 텍스트, CSV, JSON 등)을 다운로드하거나 읽어들이는 작업을 아주 쉽게 할 수 있습니다. 이 기능은 웹 크롤링, 데이터 수집, 자동화된 파일 저장 등에 매우 유용합니다.아래는 인터넷상의 파일을 처리하기 위한 주요 모듈과 방법을 체계적으로 정리한 내용입니다.1. 사용되는 주요 모듈모듈명 용도 설명requestsHTTP 요청 (파일 다운로드, API 호출 등)urllib내장 HTTP 모듈 (간단한 요청 처리)os, pathlib로컬 파일 저장 경로 관리shutil파일 복사 및 이동pandas웹의 CSV, Excel, JSON 불러오기BeautifulSoup, selenium웹페이지 구조 파악 후 파일 URL 추출용 (크롤링 시)2. requests 모듈로 ..
2025.05.12