[엑셀] 웹사이트에 데이터 긁어오기 가장 기초적인 방법?
보통 스포츠토토 하는 분들 입장에서는? 스포츠 통계 데이터 또는 배당 데이터를 긁어와서 한번에 쉽게 엑셀에 저장해서 데이터 관리를 좀 하고 싶은데? 초보분들은 일일이 수작업 또는 직접 데이터를 타이핑해서 입력하는 방식을 사용 하겠지요,, 많은 양에 데이터를 입력할때는 조금 불편할것임,,
웹사이트에서 키보드 마우스 사용해서 복사하기 기능을 차단한 사이트가 아니라면? 마우스로 원하는 부분에 데이터 블럭을 지정해서,, 키보드에서 Ctrl 누르면서 자판키 C 복사하기,, 그리고 엑셀에 붙여넣기,, 즉,, Ctrl 키 누르고,, v자판 클릭하면,,, 붙여넣기가 되기에,, 한방에 데이터를 긁어와서 엑셀에 붙여넣기가 되기에,, 많은양에 데이터를 직접 타이핑 안해도 될것임,,
그러나 이것이 안되면? 웹사이트에서 키보드 복사 기능을 못하게,, 막아 버린 사이트라면? 긁어오기할때 애로사항이 생기겠죠,, 이럴때 특정 사이트에 데이터를 긁어오기,, 또는 그외 데이터를 가져오기 하고 싶을때,, 엑셀 기능에 있는 [새 웹 쿼리]를 이용해서 웹페이지에 데이터를 편하게 긁어오는 방식을 설명해 드리겠음,,
참고로 사이트에서 긁어오는 방식을? 크롤링 한다고 말함,, 웹크롤링,, 프로그램머들이,, 사이트에 데이터를 긁어와서 작업할때,, 즐겨서 사용하는 단어임,, 궁금하시면? 인터넷 검색창에 웹크롤링 하는 방법? 이런식으로 검색하면,, 많은 분들이 설명해 주는 문서가 뜨기에,, 그것을 보고 따라 하셔도 되심,, 또는 구글 스프레드시트를 이용해서? 웹크롤링하는 방법도 있고,, 긁어오기 하는 방식은 다양하고 많음,, 각자 편한거 사용하면 되실듯,,
엑셀 부분을 이용해서 하는 부분을 간략하게 설명할것임,, 저도 엑셀 초보자고,, 제 컴은 씹똥컴임,, 윈도우도 xp버젼을 아직도 사용하고,, 말그대로 간단한 동영상 보기 및 엑셀 문서작업 및 인터넷 검색에 문제가 없으면,, 되는 용도로 쓰는지라,, 가끔 만화책도 보거나,, 게임에 관심이 없기에,, 주로 저사양 컴퓨터 고장날때까지 쓰다가,, 고장나면,, 다시 중고본체 사와서 편하게 사용함,, 그래서 엑셀 호환도 잘 안되는것도 있고,, 엑셀도 프로그램이죠,, 그 안에 비쥬얼베이직,, 자바스크립트 이런것도 사용 가능한 프로그램임,, 나는 단순 문서 작업을 엑셀로 데이터 관리/변환/ 그런거 위주에 데이터베이스로 활용하는 편임,, 전문적으로 하고 싶으면,, 엑셀책을 사서 따라하면 되겠죠?,,
저는 대다수는 인터넷검색으로 필요한 부분만 간략하게 검핵해서 따라해서 사용하고,, 나머지는 스스로 해결하는 편임,, 간단한 응용은 기본에,, 노가다 시트도 만들어서,, 내식대로 데이터를 관리하는 편임,, 이런것은 개인의 스타일이고,, 저의 방식은 공개하지 않겠음,, ^^
설명 예시로 사용한 사이트는? 요즘 스포츠토토 통계 데이터 사이트로 새롭게 뜨고 있는,, 젠토토 사이트를 기준으로 설명하겠음,,
위에 사이트처럼 스포츠 회차 배당 통계죠 그것을 긁어오기 해서,, 엑셀에 붙여넣기 하는 방법을 설명할것임,, 젠토토 역시 ctrl 누르면서,, 마우스 왼쪽 버튼을 클릭하면 블럭이 지정이 되고,, 그것을 ctrl 키 누르면서 키보드 C 자판을 누르면 복사가 됨,, 그걸,, 엑셀시트에 ctrl 키 누르면서,, v자판키 누르면,, 붙여넣기가 됨,, 이렇게 보통은 데이터 긁어오기 하는 편임,, 가장 쉽기에,, 그리고 그 형태를 그대로 사용하면 모양이 이상하기에,, 옆에 새로운 시트에서 긁어온 데이터를 정리/정렬하는거죠,, 처음에 만들어 두면,, 담부터는 데이터만 긁어와서 붙여넣기 하면,, 정리/정렬한 시트에서는 원하는 형태로 데이터를 보여 주기에,, 데이터 관리가 되는거죠,,
일단 저는 웹 크롤링 방식이 아닌? 엑셀 기능에 쿼리를 이용해서,, 설명할것임,, 젠토토에 사이트에 저 화면에 데이터를 긁어오기,, 일단,, 엑셀을 실행해야겠죠,,
엑셀 상단 메뉴에 보면 데이터 메뉴가 있음,, 그걸 클릭하면,, 왼쪽에 [웹] 메뉴가 있음,, 이것을 클릭하면 되심,,
창이 뜨고,, 상단에 주소창 입력 공간에? https://www.zenodds.com/proto 프로토 배당 회차가 있는 페이지 주소를 복사해서 붙여넣기 해서,, 긁어오기 할,, 데이터 사이트에 주소를 입력해 두는 것임,, 이때 약간에 설정을 할수 있는데,, 오른쪽 상단에 보면? [옵션] 메뉴가 있음,, 그거 클릭하면,, 그림처럼 옵션창이 뜨고,, 위쪽 부분에 ? [서식] 옵션이 있죠,, 여기서,, 저는 2번째 해당되는,, 서식있는 테스트만? 메뉴를 선택했음,, 이것이 좀 빠르거든,, 물론 보기는 약간 불편할수 있음,, 초보자들은 html 테이블 박스 개념이 불편해 보일수가 있기에,, 3번째,, [완전한 html 서식]를 클릭해서 바꿔 주면,, 그나마 깔끔하게 보여주기는 함,, 나는 설명을 컴퓨터가 느려서 2번째 간단하게 html 테이블 선 보여주는건 패스하고,, 속도를 선택한것임,, 2번째고,, 3번째고 데이터는 같은걸 긁어오는것임,, 단지 3번째 html서식은 데이터 구조를 볼수 있기에 초보자들은 3번째를 선택하는것이 좋을것임,,
그리고 새웹쿼리 주소창 옆에? [ 이동 ] 메뉴를 눌러주면 긁어오기가 시작이 되는것임,, 위에 옵션은 미리 서식을 약간 먼저 설정한것임,,
내 컴퓨터는 구닥이라서 스크립트 오류가 뜨는것임,, 저런거 뜨면 그냥 예 예 예 예 계속 눌러주면 됨,, 하단에 보면 주소창에 막대기 보이죠? 기다리는중,,, 로딩 시간이 조금 걸림,, 내컴은 구닥이라서,, 원래 나는 다른 방식을 쓰는데,, 엑셀중에서는 이것이 가장 편리함,, 무튼,, [가져오기] 메뉴에 불이 켜지면,, 그걸 눌러주면 됨,,
일단 아래 그림을 보면 [새웹쿼리] 메뉴창 안에,, 젠토토 홈페이지 사이트가 연결이 된것임,,
작은창에 스트로바를 살짝 내리면,, 초반에 데이터 부분에 배당 부분이 보이죠,, 홈페이지 접속은 잘된것임,, 나의 똥컴으로 될정도면,, 여러분들은 그냥 될것임,, 하단에 보면? [가져오기] 메뉴가 활성화 되어서 누를수 있게 됨,, 가져오기 클릭하면 되겠죠,, 눌러 주셈,,
아무것도 손안되어도,, 아래와 같은 그림처럼 작은창이 뜨면서 엑셀상단에 첫번째 칸에 시작점으로 잡혔음,, 그냥 냅두면 되심,,
여기서,, 바로 [확인] 메뉴를 눌러도 좋음,, 허나 약간에 [속성] 메뉴를 설정하는 방법을 알려 드리겠음,, [속성] 메뉴를 눌러서 옵션창을 띄울것임,,
속성을 눌러주면? 위에 그림처럼 옵션창이 뜸,, 거기 상단에 보면? 새로고침 옵션이 있음,, 이것이 머냐면? 데이터 긁어오기 할때,, 시간을 설정해 주면,, 알아서 시간마다,, 자동으로 데이터를 또 한번 긁어오는것임,, 보통 축구 구매율 같은경우,, 계속 10분~15분마다 서버 업데이트가 하면서 구매율이 바뀌죠,, 그런경우,, 그런 시간을 여기서 설정해두면,, 지가 알아서 자동으로 데이터 긁어옴,, 그런 경우 아니면,, 구지 시간을 설정할 필요는 없을것임,,
그래서,, 저는 3번째,, 파일을 열때마다,, 자동으로 1번 새로고침이 되는것임,, 그때 데이터 긁어오기가 되는거죠,, 이것을 선택할것임,, 파일을 열때마다 데이터 한번 긁어오기가 되는것임,, 확인을 눌러서 설정종료 하면 되심,, 그리고 [ 확인 ] 눌러주면,, 아래 그림처럼 데이터가 긁어오기 되는거죠,, 이 사이에 잠시 데이터 긁어오는 로딩시간이 조금 소요가 있는데,, 내 똥컴 보다는 여러분컴이 빠르기에 금방 되실것임,, ㅋㅋ
sheet1 페이지 안에,, 그림처럼 간단한 형태로 데이터만 긁어온것임,, 맨처음 [옵션] 메뉴에서 html 서식으로 체크하면,, html 테이블 형태가 선 그림으로 보여줘서,, 좀더 데이터 표구성이 눈에 딱 띄게 보여줄것임,, 저는 html를 과거에 독학으로 공부해서 기본적으로 코드 구성은 알고 있음,, 초보자들은 저 형태가 눈에 확 안들어 올수도 있음,, 그래서 초보자들은 [옵션창] 설정을 할때 html 서식으로 설정하라고 설명해 드린것임,, 나는 단순한 설명을 위해서 속도가 빠른 표는 무시하고,, 그냥 2번째 설정으로 데이터만 긁어오기 한것임,, 둘다 데이터는 동일한거구,,
무튼,, 내가 원하는 웹사이트에 데이터 긁어오기가 가장 기초지만? 엑셀에서 구현이 된것임,, 이것을 간단하게 sheet2 페이지에서? 목록을 정리하는 방식을 약간 설명해 드리겠음,, 위에 방식은 사이트에서 마우스 복사 기능을 차단했거나,, 그럴때,, 그냥 통으로 데이터를 긁어오는 방식을 설명한것임,, 웹크롤링 방식도 인터넷으로 검색해서 읽어보시면 어떤식으로 긁어오기가 되는지,, 많은 사람들이 설명해주고 있기에,, 편한 방식을 선택하면 되심,, 엑셀에 [새웹쿼리] 방식은,, 다양하게 응용할수가 있기에,, 한번에 설명을 해드린거구,, 궁금하면 별도로 인터넷에서 검색해도 되겠죠,,
스포츠 배당을 긁어와서 관리하는 방식에 기초 2편을 조금 알려드리겠음,, 일단 첫번째 sheet1에서는 배당을 긁어오기가 되는 시트임,,
sheet2는 클릭하면 아무것도 없는 새페이지임,, 여기에 시트1 긁어온 데이터를 관리하기 편하게,, 약간의 노가다 작업으로 처음에는 키보드에서 = 를 눌러서 일일이 하나 하나 데이터를 연결시켜줘야 됨,, 이런 작업을 노가다 작업이라고 하죠,,
일단 엑셀 시트2 페이지를 클릭해서,, 대충 원하는 위치에 마우스 클릭해서 =를 입력하셈,, 그리고 sheet1 페이지를 마우스로 클릭해서,, 페이지 이동이 되면,, 연결할 원하는 데이터를 찍어 주면 됨,, 일단 상단에 no League Time 이런거 연결하겠음,, 물론 sheet2 페이지에서 직접 입력해도 됨,, 단지? = 기능을 알려 드리는것임,, = 기능은 vlookup 함수임,, 가장 유용한 팁이죠,, ㅋㅋ 일단 공부하셈 치고,, 따라해 주시면 될듯함,,
시트2에서 원하는 위치에 = 눌러서,, 그공간에 시트1에 있는 데이터를 연결하면 되는것임,, 일단 no 부분을 연결할것임,, 시트1에 상단에 70번째칸에 no 데이터를 마우스로 클릭하고 엔터를 누르면 끝임,, 편하죠,, 그럼 시트2에 no 데이터가 연결이 된것임,,
시트2에 적당한 위치를 잡고 = 눌러서,, 시트1에 no 데이터 부분을 클릭해서 먼저 목록에 첫 스타를 가져온것임,, 이런식으로 =눌러서,, 리그,, 타임,, 이런 목록도 일일이 클릭해서 연결하면 아래처럼 될것임,,
시트2 페이지에,, 시트1에 긁어오기 한 데이터중에서,, 첫줄에 데이터 목록을 먼저 정리한것임,, 그럼 그 아래에 해당된 데이터를 같은 방식으로 일일이 연결해서 노가다 작업을 해주면 됨,, 처음에 이것을 해주면? 다음부터는 새로운 회차가 바뀌어도 데이터 긁어오기 정리를 구지 안해도,, 시트2 페이지는 바로 시트1에 데이터가 정리가 되어서 바로 보여 주는것임,,
16번 데이터 kbl 시간,, 팀명,, = 한번씩 클릭해서 개별적으로 모두 그 위치에 직접 연결시킨것임,,
젠토토에서 no 데이터 숫자 옆에 16번경기라는것임,, 근데 16 1,, 여기서 1은 배당이 변경된 경기임,, 그것을 젠토토에서는 1로 구분한것임,, 숫자옆에 1이 없으면 초기배당임,, 1이 붙으면 배당이 변경이 된것이고,, 결과가 종료가 되면,, 그것은 최종배당이 되는거죠,,
배당도 보면,, 소숫점 자리를 오른쪽 마우스 클릭해서,,[숫자] 소숫점 자리 2로 선택하면 1.3은,, 1.30 이렇게 보여준다는거,, 이런식으로 시트2는 각자 꾸며주면 됨,, 색상도 넣어도 되고,, 폰트도 바꿔도 되고,, 칸 사이즈도 마우스로 칸을 잡고,, 좌우로 늘려주거나,, 하단을 늘려주거나,, 등등,, 그런건 엑셀 다루는거죠,, 저런식으로 초기배당을 프로토 회차가 바뀌면,, 2시쯤 바뀌죠,, 그때,, 배당이 뜨면? 이 엑셀 파일을 열면? 새로고침 되면서,, 데이터 긁어오기가 실행이 되고,, 시트2는 그 데이터를 연결해서,, 그림처럼 보여줌,,
즉 이 파일을? 저장을 해도,, 데이터 긁어오기가 되는것임,, 실질적으로 긁어온 데이터를 다시 복사해서,, 시트3에 넣어줄것임,, 즉 시트3에 넣어주면? 그 데이터는 바뀌지 않음,, 시트1은 무조건 1번 파일을 열면 자동으로 긁어오기기 실행이 되고,, 시트2는 정리/정렬된 모습으로 긁어오기한 데이터를 내가 보기 편하게 꾸며서 보여준것임,, 시트2는 노가다 작업을 한번만 해주면? 다음부터는 다음회차 데이터 긁어오기 할때도,,, 알아서 바뀐 배당으로 정리가 된다는거,,
시트2 페이지에.. 정리된 데이터를 마우스로 블럭을 지정하고,, 그것을 복사해서,, 시트3에넣을것임,, 그런데,, 시트2에 페이지를 복사면,, 수식까지 복사가 됨,, 그럼 그걸 시트3에 붙여넣기 하면,, 의미가 없어짐,, 시트3 데이터도 ,, 시트1이 긁어오기 하면,, 또 바뀌기에,, 시트3은 데이터를 내가 붙여넣기 하면 바뀌면 안되겠죠,, 이 방식을 다르게 할수도 있는데,, 나는 간단하게 메모장에 시트2 내용을 복사해서,, 메모장에 붙여넣기하고,, 다시 메모장에 내용을 전체 복사해서,, 그것을 시트3에 처 넣는것임,, 그럼 시트3에 데이터는 내가 수정하지 않는 이상은,, 입력한 그대로 유지가 되는것임,,
시트2에 정리/정렬된 데이터 목록을 복사해 와서,, 메모장에 그림처럼 임시로 붙여넣기 한 상태에서,, 메모장에 내용을 마우스로 블럭을 지정해서 다시 복사하고,, 그것을 시트3에 넣는것임,,
그럼 시트3에 페이지는 시트2처럼 보여줄것임,, 그러나 시트3에 데이터는 acl를 클릭해보면? 상단에 주소창에 acl 그대로 보여줌,, 즉 이 데이터는 내가 수정하지 않는 이상은 고정이 되는것임,, 다음에 이파일을 열면? 시트1은 무조건 배당을 한번은 긁어올것임,, 그럼 시트2는 그것을 정리한 목록으로 단순하게 보여주고,, 시트3은 변화가 없음,, 즉,, 시트2에 내용을 다시 복사해서,, 바뀐 부분이 있다면,, 그 내용을 메모장에 붙여넣기 해서,, 그것을 시트3에 넣으면 되는것임,,
가령 시트3은 처음에 이 작업을 하면,, 초기배당이 되는거죠,, 작업도중에 배당이 바뀐 부분이 있다면,, 수작업으로 초기배당은 고쳐주면 되는것이고,, 새로 바뀐 회차에 오후2시쯤 뜨니깐,, 2시 ~2시5분쯤사이에 긁어오기 하면 되는것임,, 그렇게 해서,, 시트3에 옮기면 되고,,
시트3에,, 최종배당은? 회차가 종료가 되면,, 새로운 회차가 뜨기전까지는 최종배당이 되니깐,, 긁어오기 한번 시작해서,, 그 데이터를 메모장에 배당 부분만 복사해서,, 시트3 초기배당 옆에,, 새로운 칸에 붙여넣기 하면,, 초기배당/최종배당 2개를 관리할수가 있게 되는것임,,
위에 부분은 엑셀 초보 입장에서,, 따라하면 긁어오기 까지 해서 데이터 간단하게 정리하는 시트2 페이지까지 만들게 되고,, 시트3에는 그 데이터를 실질적으로 저장한것임,, 시트3이 데이터베이스 배당통계 파일이 되는거죠,, 나머지는 적당히 응용해서 만들어 가면 되는거구,,
긁어오기는 말그대로 데이터만 한방에 긁어오는것임.. 실질적으로 데이터를 모양도 내고,, 꾸미는 곳은 시트3임,, 시트 3에 경기 결과 끝나면 점수까지 입력하고 싶으면,, 시트1에서 결과 끝나면 긁어오기 실행해서,, 파일을 열때마다 새고고침해서 긁어오기 옵션을 설정한 상태이기에,, 긁어오기 하고 싶으면,, 파일을 처음에 한번 재실행하면 됨,,
그렇게 해서,, 경기가 종료가 되면,, 점수까지 한방에 입력하고 싶으면,, 시트2 페이지에서 점수 부분만 마우스로 블럭지정후 복사해서,, 메모장에 붙여넣기하고,, 그 메모장에 내용을 다시 복사해서,, 시트3에 점수 입력한 첫지점에 놓고 붙여넣기하면,, 그대로 점수칸에 데이터가 들어가는것임,, 보통 나같은 경우는 처음에,, 초기배당을 입력하고,, 그회차 모든 결과 종료가 되면,, 한번에 점수/최종배당까지 입력함,, 초기배당만 건들지 않으면,, 상관없기에,,
시트3이 아니라, 새로운 엑셀 파일에 편하게 새로 파일을 만들어서 관리해도 좋고,, 편할대로 하면 되는것임,, 위에 방식은 긁어오기 해서,, 약간 파일을 관리하는 단계까지 설명한것임,, 꾸미고 하는것은 각자가 하는거고,, 색상표,, 글자폰트,, 결과는 폰트을 굵게 한다던지,, 색상을 넣는다던지,, 다르게 꾸미면 되는거고,, 엑셀 강좌가 아니기에,, 나머지 부분은 각자가 알아서 하셔야 되심,,
본 글은? 웹사트에 데이터를 한방에 엑셀에서 긁어오기,, 가져오기 하는 과정을 설명한 글이기이에,, 그이후에 그런 데이터를 어떻게 꾸미고 할것인지는? 각자가 책을 보던지,, 엑셀카페에 가서 물어 보던지,, 네이버 지식인에게 물어보던지,, 인터넷 검색으로 찾아서 보던지,, 하면 되심,, 엑셀 관련은,, 무조건 엑셀 단어 입력하고,, 검색해야 관련 글을 빨리 찾아줌,, 가령,, 엑셀 폰트 색상 넣기,, 이런식,, 그냥 폰트 색상넣기만 검색하면? 안되겠죠, 그럼 기본적으로 엑셀프로그램에서도 [새웹쿼리] 기능으로 저를 따라했다면? 간단하게 데이터 긁어오기가 될것임,,
참고로,, 왜? 베트맨사이트로 설명예시를 안했냐면요? 제컴이 구버젼이라서 엑셀[새웹쿼리]방식으로는 베트맨 사이트가 안 열림,, ㅋㅋ 그래서 예시 사이트를? 젠토토로 설명해서 알려 드린것임,, 아마 여러분들은 베트맨 사이트 프로토 배당 페이지 주소를 엑셀 쿼리로 긁어오기 하면 될것임,,
그리고 데이터를 긁어와서? 좀더 편하게 별도로 몇개 칸을 생성해서,, 날짜를 쪼개서 관리한다던지,, 팀명에 핸디캡 숫자를 쪼개서 칸에 넣는다던지,, 이런 자동수식은? 간단한 엑셀 함수를 이용해서 직접 개인들이 하셔야 되심,, 이런거 직접 못하면? 인터넷에서 엑셀 검색으로 알아가는것임,, 모르면 지식인이게 물어보던지,, 수식은 몇개 함수를 응용해서 별의별 방식으로 나는 쪼개서 사용했음,,
그방식이 맞던 틀리던? 내가 원하는 형태로 데이터가 쪼개지면 사용하는,, 엑셀은 이런식으로 해야 그나마 자신이 데이터 관리할때 최소한 변환 시킬수가 있음,, 그외 여러가지 응용으로 승률연산은 각종 함수를 이용해서 연산도 가능하고,, 엑셀은 개인이 어떻게 하기에 따라서 데이터 원본을 가지고 별의별 데이터 활용을 가능하게 해줌,, 음냐냐냐냐냐냥,,
유튜브 채널을 운영할 예정입니다. YouTube 채널구독 역시 미리 해주시면 감사하겠습니다!