PGR21.com
- 자유 주제로 사용할 수 있는 게시판입니다.
- 토론 게시판의 용도를 겸합니다.
Date 2017/05/30 01:30:00
Name 황약사
Subject [일반] 구글에서 일베싸이트랑 글 검색을 차단한 모양입니다~
출처: https://dvdprime.com/g2/bbs/board.php?bo_table=comm&wr_id=17160951&first_view=yes&page=0&sca=&sfl=&stx=&spt=0&page=0&cwin=#c_17160995

http://imgur.com/a/uh1TT

그동안 일베에서 심혈을(?) 기울여 만든 각종 컨텐츠가 구글 검색 우선순위에 나오는 바람에
알게 모르게 가져다 쓰는 경우가 많았던 것 같은데..

언제부터 그랬는지 모르겠는데...아예 일베랑, 일베 글 내용들이 구글에서 검색 안되게 막혔네요

http://imgur.com/a/iopc1


네이버 검색결과와 비교해 보면 확연히 다릅니다!!


그동안 방송사에서 구글 고품질 이미지 검색하다 일베 이미지 가져다 썼다는 얘기를 했는데..
특히 스브스...
앞으로 이런 건이 또 터지면 이젠 뭐라고 할런지 궁금하네요 ;-)



----------------
추가.
[구글측이 막은것인지, 일베측에서 robots.txt를 고쳐 크롤링을 막은 것인지는 아직 확인되지 않았습니다]

통합규정 1.3 이용안내 인용

"Pgr은 '명문화된 삭제규정'이 반드시 필요하지 않은 분을 환영합니다.
법 없이도 사는 사람, 남에게 상처를 주지 않으면서 같이 이야기 나눌 수 있는 분이면 좋겠습니다."
1llionaire
17/05/30 01:32
수정 아이콘
대통령 바뀌고 나서 일베 탈퇴 및 트래픽 감소가 꽤 있다고 들었는데, 혹시 일베에서 구글에서 검색 안되는 걸 바라고 조치한 건 아닐까요...
17/05/30 01:35
수정 아이콘
구글에서 굳이 차단할 이유가 있으려나 모르겠네요. 사이트 차원에서 이전 캐쉬 못보게하려고 막은거같은데
황약사
17/05/30 01:39
수정 아이콘
음...구글이 사용자 신고 받고 싸이트 자체를 차단한다는 얘기는 못 들어봤는데...
일베의 출구 전략인가 하고 보기엔 네이버, 다음에는 여전히 검색이 되서요....
경위를 좀 더 알아봐야 하긴 하겠네요;
17/05/30 01:45
수정 아이콘
일베 자체에서 robots.txt 같이 크롤링 금지 할 수도 있는거 아닌가요?
법으로 금지되면 검색될 때 무슨무슨 이유 때문에 검색에서 제외됨이라고 떴던 거 같아요.
황약사
17/05/30 01:47
수정 아이콘
움...일베측에서 막은거면 네이버는 냅두고 구글만 막은 이유가 뭔가 싶네요 ;-)
17/05/30 01:51
수정 아이콘
예전에 검색해본 적이 없긴 하지만 현재 네이버나 다음에서 일베 검색하면 사이트만 뜨고 웹문서 검색에는 안 뜨는 거 같습니다.
tjsrnjsdlf
17/05/30 01:51
수정 아이콘
구글이 막을리는 없을것 같네요. 일베가 막았으면 막았지...
larrabee
17/05/30 01:55
수정 아이콘
저도 크롤링 금지를 건게 아닌가 생각합니다
17/05/30 01:55
수정 아이콘
뭐 검색했을때 해당 사이트보다 나무위키가 위에 뜨는거나 좀 어떻게 해줫으면 좋겠습니다 ㅠㅠ
꾼챱챱
17/05/30 02:01
수정 아이콘
평소 자주가던 사이트 위주로 우선순위가 잡히지 않나요?
전에 유게에 어떤분이 뭘로 검색해도 pgr이 위에 뜬다고 대단하다고 하셨다가 무안해지셨던 기억이...
17/05/30 02:05
수정 아이콘
예 예전에 자주갔었는데 요샌 거의 안가는데도 계속 뜨더라구요 ㅠㅠ 아이디같은걸 바꾸긴 그렇고..
해피나루
17/05/30 08:01
수정 아이콘
그게 로그인 안해도 사용량 기준이라 어쩔 수 없을겁니다. 해외에서 검색해봐도 위키피디아가 위에뜨더라구요. 뭐 나무위키의 편향적 서술은 위키피디아가 비비지 못할정도긴 합니다만 어차피 위키가 거기서 거기..
아이오아이
17/05/30 01:56
수정 아이콘
요즘 자기들 작당모의 하는게 실시간으로 중계되는게 부담이 되는걸까요... 구글이 막을리는 없고(사실 성인인증을 요구하는 식으로 한번 거르는거면 몰라도 구글에서 막을 권리도 막아서도 안된다고 생각은 합니다. 포털이 스스로 검열하는게 올바른 방향은 아니라고 봐서) 숨어서 무슨 짓을 하려고 하는건지 찜찜하네요.
황약사
17/05/30 01:59
수정 아이콘
음...크롤링 금지하도록 robots.txt를 막은거라면;;;
법적으로 걸릴만한 문서 싸그리 지우는 작업이라도 들어간 것이려나요;;;-)
일베 미러링 아카이브 싸이트 몸값이 올라가는건가 ;;킄킄
SoulCrush
17/05/30 02:36
수정 아이콘
1) 일베가 구글에 요청했을 가능성
-가.일단 일베 사이트는 robots.txt가 없기 때문에 크롤링 금지를 한건 아닙니다
사이트 meta 정보에 구글 웹마스터 도구 키값이 있는걸 봐서는 구글에서 제발 좀 검색해 달라고 했던 것이구요
-나.구글 웹마스터 도구에서 그간 크롤링된것을 모두 삭제요청해 삭제한 것으로 보입니다

2) 구글 검색 엔진에서 사이트 평가에 따른 노출 제한
-가.사이트가 어떤 이유로 ban 당했을 경우
-나.사이트 글이 무분별하게 삭제되어 검색 링크가 깨져서 사이트 품질이 떨어진 경우
-다.사이트 트래픽이 급감한 경우

구글에서 site:ilbe.com 으로 검색하면 최근글까지 검색되는걸 보니
1)의 이유로 기존의 크롤링된 자료들이 증발했고 노출이 덜되게끔 바뀐것 뿐으로 보입니다
2)는 보조적으로 신규 크롤링 건에 대해 영향을 줬겠죠?
배주현
17/05/30 03:54
수정 아이콘
구글에서 직접 막는 경우는... 법적으로 문제되는 건들 (ex. 로리콘, 패프닝, 마약 판매사이트), 자동완성 기능에서 특정단어나 문장은 뜨지않도록 하는 경우 (torrent), 나라 정책 (중국)빼고는 없는걸로 알고 있네요.
17/05/30 05:29
수정 아이콘
이전부터 국정원 일베 커넥션 이야기는 계속 나왔었죠. 정권 바뀌면서 이 쪽 조사를 조금이라도 더디게 하려고 크롤링을 막은게 아닐까 싶네요. 다만 아직 알기 힘든 부분 하나로는 robots.txt로 크롤링만 막은 상태라면 "robots.txt가 어쩌고..." 이런 메시지와 함께 컨텐츠는 안 뜨겠지만, 어쨌든 최소한 메인 페이지는 리스트에 뜨긴 해야 하는데 이마저도 안 뜬다는 점이네요. 물론 구글 크롤러만 404 띄우게 만드는 방법도 있긴 합니다만...
유리한
17/05/30 07:17
수정 아이콘
청와대 특활비로 일베 트래픽비용을 대납해왔다거나..
비용 감당이 안되니 트래픽을 낮춰서 해결?
포켓토이
17/05/30 08:46
수정 아이콘
robots.txt 로 막은게 아니라면 해외 트래픽 자체를 막아버린 걸수도 있습니다.
우리나라 호스팅들은 해외 트래픽 비용이 어마어마해서.. 해외에서의 접속을 일체 막아버리는 경우가 있죠.
보통 중국쪽만 막지만.. 뭐 전부 다 막아버렸을 수도.. 그럼 구글에서 접속 시도하면 전부 404 떴을 수도
있습니다.
아 근데 구글 트래픽 절약으로 테스트해보니 잘 되는거보니까 해외 접속 막은건 아닌가 보네요
유재석
17/05/30 09:10
수정 아이콘
흠 아예 robots.txt 가 없는데요??
https://ppt21.com../robots.txt
http://naver.com/robots.txt
처럼 접근이 가능해야 크롤러가 뭘 할수 있지 않나요?
ilbe.com/robots.txt 는 접근이 안되네요
17/05/30 12:59
수정 아이콘
와..네이버는 모든 검색을 차단한거 맞죠?
유재석
17/05/30 13:23
수정 아이콘
그렇죠
그래놓고서는 네이버의 봇은 다른 사이트의 robots에 disallow인데도 그냥 내용 긁어간다고 하더군요.. 2년전에 들은거지만.
raindraw
17/05/30 09:34
수정 아이콘
원인이 무엇이건 간에 구글링 했을 때 안나온다면 환영합니다.
다리기
17/05/30 09:55
수정 아이콘
걸릴만한 거 없애는 작업 중인 느낌적인 느낌
얘네도 털면 높으신 분들 줄줄이 걸려들지 않나요.
목록 삭게로! 맨위로
번호 제목 이름 날짜 조회 추천
72139 [일반] 사드는 1기가 아니라 5기? [198] ㈜스틸야드16936 17/05/30 16936 8
72138 [일반] 김상조 후보자 부인 고교 영어강사 취업 특혜’ 의혹 제기 [49] 아라가키8916 17/05/30 8916 5
72136 [일반] 유머보다 더 재밌는 한국당 혁신토론회 [24] Armsci7079 17/05/30 7079 4
72135 [일반] 자동차 좋아하세요? [36] finesse8443 17/05/30 8443 6
72134 [일반] 서훈 국정원장 후보자 인사청문 보고서 채택 불발 [68] 현호아빠11302 17/05/30 11302 6
72133 [일반] 모스크바 호텔에서 북한인 시신 2구 발견 [26] aurelius11650 17/05/30 11650 1
72132 [일반] 더불어민주당 김부겸, 김영춘, 김현미, 도종환 내각 합류 [96] 트와이스 나연14659 17/05/30 14659 6
72130 [일반] 요즘 듣고 있는 올드 팝송들.swf [14] 김치찌개5313 17/05/30 5313 1
72128 [일반] 충격과 공포의 알파고 셀프 기보 [44] jjune21777 17/05/30 21777 5
72127 [일반] 전 세계에서 가장 많은 국방비를 지출하고 있는 국가 Top10 [25] 김치찌개7364 17/05/30 7364 2
72126 [일반] 음모론) 아폴로 계획 [23] 겨울삼각형9674 17/05/30 9674 15
72125 [일반] 두 곡으로 듣는 한밤의 재즈. 빌리 홀리데이vs엘라 피츠제럴드 [7] legend5289 17/05/30 5289 3
72124 [일반] 하소연.. [14] 삭제됨4671 17/05/30 4671 2
72123 [일반] 구글에서 일베싸이트랑 글 검색을 차단한 모양입니다~ [24] 황약사12700 17/05/30 12700 3
72122 [일반] 제가 강경화 후보를 지지하는 이유 [128] 틀림과 다름10658 17/05/29 10658 16
72121 [일반] <겟 아웃> 보고왔습니다. - 그 미묘한 위화감. [37] aDayInTheLife7295 17/05/29 7295 2
72120 수정잠금 댓글잠금 [일반] 강경화의 위장전입이 친척집이 아닌것으로 확인되었습니다 [204] Leeka16236 17/05/29 16236 11
72119 [일반]  해적으로부터 조용히 국민을 구한 정부 [42] 허무사색12175 17/05/29 12175 35
72118 [일반] 카시니호가 찍은 토성 사진 베스트 10... [36] Neanderthal8049 17/05/29 8049 20
72117 [일반] 일본 서적(소설, 만화), 음반 구입하실 분을 위한 아마존 재팬 이벤트 [2] 어리버리5492 17/05/29 5492 2
72116 [일반] 국민의당 추천 방통위 상임위원 김영란법 위반 의혹 [35] 어리버리12062 17/05/29 12062 9
72115 [일반] 文 “‘5대 비리 배제’ 이상적 공약 아냐…실제 적용 시 구체적 기준 필요 [81] 트와이스 나연11939 17/05/29 11939 15
72114 [일반] 낮술 한잔 하고 뻘글 써봅니다. [32] 삭제됨9473 17/05/29 9473 41
목록 이전 다음
댓글

+ : 최근 1시간내에 달린 댓글
+ : 최근 2시간내에 달린 댓글
맨 위로