とりあえず雑記帳(跡地)
WebコミックLibraryについて
最終更新:
fujiyan
-
view
大体、本Wikiで紹介している内容で作成しています。
- むしろ、作りながらわかったことをwikiに反映したりしてます…
データの更新は、毎日定時に、cronでクローラーを起動させています。
- 正確には、各サイト毎に作成したクローラーをTask Queueに突っ込む処理を、cronで起動させています。実際のクローリングは、それぞれのTaskで実施されます。
- さらに言えば、サイト内の作品単位でクローリングを分割しています。
- とあるサイト/作品のクローリングで例外発生しても、その他のサイト/作品のクローリングは影響なく実行完了できるようにするためです。
- あと、作品毎にクローリングを分割して、Task Queueの設定でTaskの処理間隔をある程度間をあけることで、クローリング先のサイトの負荷を分散させます(させてるつもり…)。
Memcacheとか使ってないし、プログラムの最適化とかも考えて無いんで、Quotaに引っ掛かることしばしば…
- そろそろ考えよう…
とりあえず、キャッシュについて、適当に考察してみました
→キャッシュの計画
→キャッシュの計画
殺風景。そもそもデザインセンスとかありませんしねぇ…。
WebコミックLibraryhttp://web-comi.appspot.com/ GAE/JとSlim3で作成してみた、各出版社から配信されているWebコミックをまとめて閲覧できるサイトです。只今、実験運用中… |