(2014-05-19追記) 5/16に無事本家サイトが復活したようです．また関連ニュース記事を追加しています．
4/9に datago.jpというサイトを立ち上げました．おかげ様で色々反響がありました．データカタログサイトの問題やdatago.jpについてはdatago.jpについてや下記のメディア等の記事を読んでいただくとして，ここには事の顛末を記録として書いておきます．
- データカタログサイト（試行版） (休止中)
- datago.jpについて
- 政府のオープンデータカタログサイト、正式版開設に向け試行版が休止 (ZDNet Japan)
- 政府オープンデータをもっと利用者フレンドリーに：OKFJの懸念と日本政府へのお願い (OKFJ)
- 日本政府のデータカタログサイト（試行版）「data.go.jp」の閉鎖に伴う仮サイト「datago.jp」の開設と今後 (ITmedia)
- オープンデータ:政府サイトが突然の休止 研究者ら批判 (毎日新聞)
- 政府のカタログサイト、閉鎖 予算手続き間に合わず (朝日新聞)
- datago.jp 及び Data for Japan について (LODI)
- 政府データポータルの代替サイト datago.jp 開設に関しての私どもの考え (LODI)
- 山本大臣閣議後記者会見（平成26年4月8日） (書き起こし)
- 「データカタログサイト試行版」の閉鎖を受け、仮サイト「datago.jp」が公開 (Current Awareness)
- まだ再開できず？休止した日本政府のサイト「DATA.GO.JP」、応急策に民間ミラーサイト (japan.internet.com)
- 停止中のオープンデータカタログサイト、有志立ち上げのミラー版を紹介 (ZDNet Japan)
- OKFJ、データカタログサイトの運用で官民連携を提案 (ZDNet Japan)
- 「政府に期待して欲しい」–オープンデータカタログサイトの今後 (ZDNet Japan)
- 政府のオープンデータカタログサイトが再開–10月に本格版を開始 (ZDNet Japan)
- 山本大臣閣議後記者会見（平成26年5月16日） (書き起こし)
私がデータカタログサイト(試行版)(以下，本家サイト)が動いていないことを知ったのは4/2のことでした．その後twitterで植原先生が本家サイトで公開されていたメタデータのCSVを再公開してくださっていることを知ったので，それを使ってデータカタログ部分だけでもクローンサイトを作れないかと考えました．本家サイトのデータカタログ部分が使用しているのはCKANというFLOSSであり，適切なダンプデータがあれば簡単にクローンを作れるからです．データのライセンスもCC BYなので問題ありません．
ところが，ここで公開されているCSVは，私が知る限りCKANが直接吐くことができるファイルではありませんでした．今は植原先生がデータの出処について追記してくださっていますが，このファイルがどう生成されていたのか知りたいところです．この時点で少しやる気がなくなったのですが，翌日4/3にLODI内とOKFJ側双方から，”このデータを使ってサイトを作れないか”という話が出てきました．そこで，その時点で検討していたこと，標準のデータではないので一件ずつ処理してAPI経由で入れないといけないのですぐできるわけではないという旨を説明をした上で，サイトの準備を始めました．
API経由でインポートできるように処理を書いてデータ投入をしましたが，データとしては以下の問題がありました．
- 不足部分: 組織データ，リソースのID
- CKAN標準でない項目名: publisher, frequency_of_update, release_day, language, copyright, supplementation
- タグ: 空のタグや，API経由でインポートできない文字(具体的には％)
- 謎文字: ^-
1の不足部分について，組織データはInternet Archiveに保存されていたページからデータを作りました．また，リソースのIDは知る方法がなかったので諦めました．このためリソースのURIも異なるものになるので，今後本家サイトが復活したときに，例えばリダイレクトして本家サイトに流すという対処はできません．
2のCKAN標準でない項目名について，publisherはmaintainerと解釈しました．また，frequency_of_updateとrelease_dayはextrasに入れてあります．language, copyright, supplementationは入れていません．これらもextrasにいれればよかったのかもしれません．
3のタグと4の謎文字はインポート時に発生していた問題ですが，単純に問題文字を削除しました．具体的には2020年30％というタグがあったのですが，これは2020年30として入れてあります．タグの文字列として記号を受け付けないのはもしかしたらAPI側のバグかもしれません．
知ったのが4/2で公開日が4/9なので，1週間作業していたことになりますが，殆どはデータインポートに費やした時間です．実際には公開した時点では処理が終わっておらず，一旦処理が終了したのは4/10でした．その後うまくデータインポートできていなかった分を追加するなど，まだデータ作業は行っています．
クローンサイトを作るにあたって，我々が有志で行っているData for Japanに入れるという案もありました．Data for Japanは日本のオープンデータのハブという名目で行っているので，本家サイトのデータを入れることは検討すべきことでした．しかし，ここまで述べたようにもとにしたデータが不完全だったことで，今後本家サイトが復活したときにそちらのデータを入れるのにまた苦労をすることが容易に想像できたので，別の一時的なサイトを立ち上げるという判断をしました．
そもそもの話をするとData for Japanに本家サイトのデータを予め取り込んでおけば良かったのですが，旧サイト(http://data.linkedopendata.jp)からData for Japanへの移行を行ったのがそもそも3月末でしたので，そこまでできなかったというのが現状でした．CKANには他のCKANからカタログデータを取り込む仕組みがいくつかあるため，取り込む事自体はそんなに難しくないはずですので，本家サイトが復活したらその方向も考えたいと思っています．
サイト作り自体にはそんなに時間を掛けていません．ソースコードはhttps://github.com/fumi/ckanext-fake-datagojpに置いてあります．少し悲しいのはソース見て何か言ってくる人がいないことですね．こういうところで協働できる人が増えてきて欲しいなとおもいます．
なお，今回の件を受けて，データカタログサイトは行政側がやるのではなく，民間側がやるべきという意見を受けるときがありますが，行政側がデータカタログサイトを運営することには明確な意味があります．それはそのサイトが一次ソースになるということです．当然，民間側でもそのミラーサイト等を作ることはできますが，それは二次ソースでしかありません．
追記: 4/8は裏でHeartbleed対応というイベントもありました．