거울 세계

Google 크롤링하기 편 이어서 Apple편도 마저 작성하겠습니다. 2022.09.05 - [Dev/Programming] - [Python] App 리뷰 크롤링하기 (1) Google 편 구글 편은 여기서 확인 가능합니다. App Store 리뷰 크롤링 방법은 2가지 방법이 있다 대표적으로는 https://appstoreconnect.apple.com/login 에 로그인하여 리뷰목록에서 selenium을 이용하여 크롤링 진행 RSS 을 이용하여 진행하여 후 처리 여러가지 복잡한 코드가 들어가는 것보다 2번방식이 간결하고 정확하여 해당 부분 프로그래밍 작성 1. Apple App ID 확인 Google에서 앱이름 앱스토어를 검색 첫 검색이 apps.apple.com라면 클릭 후 URL을 확인 id 이..

앱 서비스 분석에서 젤 간단하게 떠오르는건 App 리뷰 분석하는 방법이다. App 리뷰 분석을 진행하기앞서 Google(Play 스토어)과 Apple(앱 스토어) 개별로 크롤링 하는 법에 대해서 포스팅하겠습니다 1. Google Play Store Google Play Store 리뷰 크롤링 방법은 여러가지 방법이 있다 대표적으로는 Requests와 BeautifulSoup 이용하여 크롤링 진행 selenium을 이용하여 크롤링 진행 google_play_scraper 을 이용하여 진행 모두 python으로 작성하여 실행해야하며 가장 간단한 3번 google_play_scraper 에 대해 프로그래밍 작성하겠다. 1. Google Play Store App Name 확인 리뷰를 확인하고자 하는 앱 이름을..

현재 사내에서 Tableau Server 버전을 도입하여 운영중이다. Tableau는 정말 잘 제공되는 솔루션이여서 왠만한 설치 방법과 오류에 대해서는 공식 사이트에서 확인 가능하다. 그래서 여러 Tableau 솔루션을 제공하는 한국 업체(대표적으로 플랜잇, 빅스데이터, vizable등등)에서 컨텍하였을 때 설치하는 방법에 대해서는 공식사이트에서 확인하는 것이 가장 좋은방법이라는 답변도 들었다. 물론 그 방법이 가장 좋긴하지만... 운이 안좋게 해당 사이트에 없는 문제가 발생할 수 있다. 마치 우리처럼.. 해당 글은 제가 진행한 삽질과 해결 방법에 대해서 공유드린겁니다. 해당 CASE나 환경인 경우가 흔치 않지만 만약 발생한다면 참고하시라고 CASE OPEN 합니다. 1. Tableau 서버 설치 환경 ..

사실은 개인 노트 정리를 위해서 현재 Notion을 이용하고 있었다. 예전에는 블로그로 개인 노트를 정리하려고 했었지만.. 현실적인 이유로 포기하고 Notion을 이용하고 있었다 * 현실적인 이유 1) 화면 캡쳐 복붙이 Notion에 너무너무 유용 2) 이미지를 따로 첨부파일로 저장해서 업로드를 안해도됨.. Tistory는 글외에 그림 같은 경우에는 그림을 복붙하면 지원해주지 않는걸로 알고있다 (ㅠㅠ) 하지만.. Notion에서 포스팅 할 수 있게 깔끔하게 정리된것들은 공개를 해서 조금더 유익하게 Bloging과 Git을 사용하고자 하여 다시 시작해보려고한다. 지금까지 노션에 코드도 간단하게 던지면 저장이 되어서 많은 방치가 이뤄진 글과 코드들을 깔끔하게 정리되길바라며 다시시작해본다 아자아자

1. 데이터 불러오기 1. 서울시 코로나19 확진자 현황 서울특별시_코로나19 확진자 현황_20210422 서울특별시 코로나19 자치구별 일자별 확진자 현황에 대한 데이터로 연번, 확진일, 지역, 여행력, 접촉력, 등록일 등의 항목을 제공합니다. www.data.go.kr 2. 서울시 코로나 확진자 현황 API 사용할 데이터는 다음과 같다. 주어진 CSV 데이터를 이용하여, 전처리부터 시각화, 확진자 수 및 원하는 인원 확인 할 수 있는 다양한 수식들을 공개할 예정입니다. OEPN API를 수집하는 것부터 포스팅 진행할 예정 2. 데이터 수집 작성중 3. 데이터 전처리 2 API 형태의 서울시 코로나 현황을 보면은 미리보기로 Sheet의 내용을 볼수 있다 간략히 보자면 이와 같은 데이터를 볼 수 있는지 ..

군집 분석(Clustering)은 주어진 데이터 세트 내에서 몇 개의 특징 별로 데이터를 묶는 대표적인 비지도(Unsupervised)학습입니다. 즉, 군집 분석을 다시한번 설명하자면 비슷한 특성을 가진 데이터들의 집합 셋이며, 반대로 데이터의 특성이 다르다면 다른 군집(Cluster)에 속하게 됩니다. 여러개의 군집이 존재한다면 다양한 특징들로 그룹화를 만들어집니다. 군집 분석 분류 군집 분석은 크게 2가지로 나누어서 표현할수 있습니다. 1) 비계층적 군집 분석(Non-Hierarchical Clustering) 2) 계층적 군집분석(Hierarchical Clustering) 해당 분석들을 Python 코드로 정리해둔것은 거울세계 GitHub링크 cluster.py에 정리되어있으며, 포스팅을 진행하면..

가끔 문서 작업을 하다보면 해당 문서의 내용을 특정한 패턴으로 모두 변경해야할 필요가 있다. 일일히 손으로 작업하기엔 굉장히 양이 많거나 복잡하고, 실수할 가능성이 높아지는데, 이럴 때 유용한건 editpuls에 존재하는 정규식이다. 일단, 찾아서 바꿀때 이용하는 창을 CTRL H 를 이용하여 실행 시킨다. 다음과 같이, 찾을말과 바꿀말을 집어넣고 모두 바꿈을 클릭하면 끝. 하지만, 특정한 양식으로 문장이나 단어를 바꾸고 싶다면 정규식을 이용해야 한다. ^ (caret) 라인의 처음이나 문자열의 처음을 표시 $ (dollar) 라인의 끝이나 문자열의 끝을 표시 . (period) 임의의 한 문자를 표시 [] (bracket) 문자의 집합이나 범위를 나타냄, 두 문자 사이의 "-"는 범위를 나타냄 {} (..

출처 : http://blog.lael.be/post/73 1. 우분투 설치 - 관리자 계정이 아닐시 명령어 앞에 sudo로 진행 혹은 root로 접속해서 진행해야함. 2. 우분투 업그레이드 apt-get update apt-get upgrade 3. apache2 설치 apt-get install apache2 설치후 아파치가 설치됫나 아이피 들어가서 확인 4. php5 설치 apt-get install php5 apt-get install php5-cli -암호화 모듈 apt-get install php5-mcrypt -이미지 처리 모듈 apt-get install php-gd 아파치 재시작 service apache2 restart 5. mysql 설치 apt-get install mysql-ser..

DB :: ERROR 2002(HY000): Can't connect to local MYSQL server through socket '/var/lib/mysql/mysql.sock'(2) 오류 해결법 다음과 같은 오류가 발생했을 때 mysql error.log를 확인합니다. error.log를 확인했더니, 다음과 같은 글들이 작성되네영.150118 0:12:37 InnoDB: Starting shutdown...150118 0:12:38 InnoDB: Shutdown completed; log sequence number 3703526150118 0:12:38 [Note] /usr/sbin/mysqld: Shutdown complete 150118 0:12:38 [Warning] Using uniqu..

일하다 보니 프로그레스바가 간혹, 파일업로드 할때 적용할 필요성이 있습니다. 인터넷에 돌아다니는 오픈소스를 참고하였습니다 필요한 파일 upload_frame.php 실제 적용할 페이지.php - 자신의 페이지에 맞게 유동적으로 적용해주세요 // jQuery 사용 선언 첨부 파일