スポンサーサイト

上記の広告は1ヶ月以上更新のないブログに表示されています。
新しい記事を書く事で広告が消せます。


スポンサードリンク


グーグルのサイトクローラーで…

検索利用者にとっては便利なんですけど、もしかしたらサイト作成者には意図してない所まで、クローラーが巡回してたりするんですよね。

PDFファイルの中身まで単語を拾って行くので、仮置きしてるファイルも勝手に拾われてる可能性もあったり。

 

一応、robots.txtをディレクトリ上に置く事によってクロール除外などを指定できたりするんですけど、設定し忘れてると見られたくないファイルまで見られてしまうと。

個人でサイトを作ってるなら気をつけたほうが良いかもしれないです。

 

突然何故こんな話をということなんですが、今重宝に参照してる資料がこんな感じで検索で引っかかったファイルなんですよね。

そのサイトを見ている限り外部から閲覧できそうなリンクが無かったり…

 

「神社を中心とする村落生活調査報告」のキーワードで引っ張ってこれてしまう資料、かなり重宝させてもらってますが、恐らく勝手に覗き見てしまってると思います。

本当にすみません。

 

本日はこの辺りで。

関連記事


スポンサードリンク


トラックバック


この記事にトラックバックする(FC2ブログユーザー)

まとめtyaiました【グーグルのサイトクローラーで…】

検索利用者にとっては便利なんですけど、もしかしたらサイト作成者には意図してない所まで、クローラーが巡回してたりするんですよね。 PDFファイルの中身まで単語を拾って行くので

コメントの投稿

非公開コメント

最近の画像

当サイトアクセスランキング


ブログ内キーワード検索
プロフィール

osoumen

Author:osoumen
神社の御朱印集めのつもりが、いつの間にか徒歩での数珠繋ぎ巡拝の様相に。
最近旧道の曲がりくねった道を見るとどうもわくわくしてきます。

摂津国の神社中心の御朱印五目収集参拝中。

スポンサードリンク
カテゴリーツリー
カレンダー(月別)
07 ≪│2017/08│≫ 09
- - 1 2 3 4 5
6 7 8 9 10 11 12
13 14 15 16 17 18 19
20 21 22 23 24 25 26
27 28 29 30 31 - -
記事ナビ
全記事表示リンク

全ての記事を表示する

リンク集
最新コメント
フリーエリア
上記広告は1ヶ月以上更新のないブログに表示されています。新しい記事を書くことで広告を消せます。