스파이더링 (스파이더 : 인터넷 자동 검색 프로그램) 이번 포스팅에서는 웹 애플리케이션 스파이더링을 진행하기 위해 새로운 모듈(spider,optparse)를 소개할 것이다. 웹 어플리케이션을 대상으로 스파이더링을 진행하는 것은 웹 어플리케이션 구조 파악을 위해 해당 웹 어플리케이션에 링크된 컨텐트를 나열하는 프로세스이다. 웹 어플리케이션 스파이더링은 파이썬을 이용하여 짧고 간단한 스크립트를 작성하는 것에 대한 꽤 좋은 use-case 이다. 웹 요청에 대한 응답 데이터 내에서 "href" 태그를 파싱하는 크롤링 스크립트를 작성할 수도 있지만, "Spider" 라는 파이썬 모듈을 이용하면 좀 더 짧은 코드 라인으로 대체할 수 있다. "Spider" 모듈에서 동작하는 "myspider(b=URL.strip..

이번 포스팅에서는 파이썬을 이용하여 웹 요청을 생성하는 것을 보여줄 것이다. 파이썬에는 웹 요청과 응답을 쉽게 생성하고 파싱하는 모듈이 존재한다. (httplib, Mechanize, Beautiful Soup, and urllib/urllib2) 좌측의 모듈을 설치하고 각 모듈의 기능을 한번 테스트해보길 바란다. 웹 요청 생성 아래 사진은 로컬에서는 파이썬을 통해 돌아가는 "SimpleHTTPServer" 서버에 대하여 요청을 생성하는 예제 코드이다. * 좌측 커맨드 창 : 웹 요청 생성 및 응답 출력 * 우측 커맨드 창 : Python - SimpleHTTPServer 실행 HTML 파싱 이제 웹 요청을 생성할 수 있게 되었으니 응답되어 오는 HTML을 파싱하는 모듈을 알아보도록 한다. "Beauti..

"PyInstaller"를 이용한 파이썬 실행 파일 생성 이번 포스팅에서는 파이썬 스크립트를 exe 파일로 컴파일 하는 것을 보여줄 것이다. 이는 당신이 작성한 파이썬 코드가 파이썬이 설치되지 않은 다양한 윈도우 환경에서 실행될 수 있게 도와준다. 우선 파이썬 2.x 버전을 포함하여 몇 가지 의존성 패키지를 설치해야 한다. 이번 포스팅 환경에서는 cygwin 혹은 PyWin 패키지를 이용할 것이다. 리눅스 환경 : sudo apt-get install python2.7 build-essential python-dev zlib1g-dev upx 윈도우 환경 : http://www.activesate.com/activepython (풀패키지 인스톨 파일) 의존성 패키지 설치가 완료되면 Pywin32, Set..