ニュースサイトの重さ、リソースの無駄遣いには毎日困っているので、早く作ってしまいたい。概観的な仕様を今のうちに作成しておく。

• 目標は、まるで新聞のように整形したHTML/CSSをオフラインで作成すること
• ボタン一発で、巡回しているニュースソースの記事を、指定した時間について一気にゲットする
• 時刻、URL、分類などのインデックスを作成し、本文は整形後にローカルに保存。この記事のフォーマットが一番重要。
• ニュースソースからの記事ゲットはプラグイン形式にして、いくらでも追加・カスタマイズ可能なようにする。プラグインが二番目に重要。必ず決まった形式で整形する(XMLがいいか？NoSQLがいいか？)。

以上の処理でゲットした記事を新聞のような形式で表示する。ダウンロードと整形に若干の時間がかかるが、手動で1つ1つ記事を開くより遥かに高速、しかも読みやすい。ローカルにコンパクトかつ利用しやすい形式で保存してしまえば表示は高速になる。一番の目的は、網羅性が高くかつ即時性もあり、しかも高速に表示できる自分流の新聞を作成することだ。これができれば、日常の情報収集が非常に楽になる。
作成したプログラムを公開した場合著作権が問題になりそうではあるが、文章の内容については全く加工しないので同一性保持権に抵触しない。また新聞記事はニュースサイト全体と一体になった著作物なのだと拡大解釈された所で、加工した記事を公衆送信しない限り根本的に私的利用にしか使用できない仕組みなので問題ない(はず。要調査)。そもそも私的使用することが究極の目的。
必要な技術は
・記事収集・加工のために、サーバーサイドスクリプト、スクレイピングの知識(PHP or Python、Pythonの方がライブラリが充実していると思われる)
・記事表示のために、HTML/CSSの知識(全然ない)
・インタラクティブ性を持たせたければ、JavaScript(たぶん今の知識で十分)
Pythonによるスクレイピングは次のサイトが参考になりそうだ。
PythonでさくっとWebスクレイピングする (JavaScript読み込みにも対応しつつ) – Qiita
以上。もっと勉強しなくては。

Tweet