大量な記事があるところや、データを検索して表示するサイトは、Googlebot などのクローラが回ってきたときに結構な負荷になる。で、サーバも耐えれなくなってしまったり。
そんなときには「If-Modified-Since:」の対応したほうがいいみたい。これは常に更新がある場合には役立たないかな。
Google のこの情報みると、クロール時には、このヘッダを送ってくるみたいなので、負荷対策にもなるんだね。
Google 情報。これに対応することで、結構なトラフィック対策になるんですね。
更新が無い場合には、すんなりヘッダ返して処理おしまい。静的な情報の場合には、ウェブサーバ側で対応できているけど、動的の場合にはプログラム内から対応なのかな。