今年は全然ブログ書く気力がなかったので最後に軽くまとめを書いておこうとおもいます.まだ書いていないことも色々ありますが,総じて今年はオープンデータ・オープンガバメントが日本でも花開きそうな一年でした.

LODチャレンジJapan

オープンデータのコンテストとして,昨年度LODチャレンジ Japan 2011を開催しました.一委員として,主にチャレンジデーの運営等を担当していました.震災後から活動のお手伝いをしているsaveMLAKについて,オープンデータとして整備したので応募したところデータセット部門 最優秀賞を頂きました.これは私個人というよりsaveMLAKコミュニティ全体が評価されたということだとおもいます.

LODチャレンジは今年度も絶賛募集中です.応募〆切は2013年1月31日なので興味のある方は是非応募をご検討下さい.

DBpedia Japanese

長年日本のLinked Data業界的に懸念だった”日本語のハブがない”問題を解決するために,DBpediaの日本語版であるDBpedia Japaneseを立ち上げました.DBpediaはWikipediaのダンプデータを変換してLODとして再公開するコミュニティプロジェクトです.それの日本語Wikipedia分を担当しています.

DBpedia Japaneseまだ発展途上で,WikipediaのテンプレートやテーブルをDBpedia の語彙 (DBpedia OntologyやFOAF等)に対応付ける作業を進める必要があります.現時点でのマッピング状況はMapping Statistics for jaで見ることができます.
もしこの作業に興味のある方は http://lod.ac/wiki/DBpedia_Mappings を読んでいただければとおもいます.

特定非営利活動法人リンクト・オープンデータ・イニシアティブ

Linked Data / Open Dataの普及,利活用を推進していくためにNPO法人
今年4月に申請,8月に設立しました.社会的貢献として,主に技術面から日本のオープンデータ,オープンガバメント推進の手助けをしていく予定です.

すでに福井県鯖江市と技術面での共同作業をしていますし,関係者が省庁や地方自治体のオープンデータ・オープンガバメント関連委員会の委員を勤めたりしているなど,様々な活動を開始しています.今まで福井に行ったことなかったのに今年鯖江に4回も行く事になるとは去年の段階では想像していませんでした...

CKAN

GLOCOM主催のオープンデータ活用アイデアソンがきっかけで,CKANの日本語化プロジェクトをスタートしました.CKANはデータポータルサイトのFLOSSで,データカタログやデータストア,API等の機能を持っています.大分本家にフィードバックされているのですがまだまだ足りない作業もありますし,今後は日本語化だけではなくてCKAN自体にコミットして行くことが望まれるかなと.

この手のソフトウェアでは,他にOGPLがFLOSSになりました.SocrataもFLOSSになる予定らしいです.そんな中CKANを個人的に推している理由は,これがいくつかの意味でLinked Dataのプラットフォームでもあるからです.

CKANで入力されたカタログデータは実はLinked Dataとして公開されています.例えばブルガリア政府の支出についてのデータ.また,LOD Cloudに載せてもらうための手続きは,CKANで構築されたサイトthe Data Hub決められた情報を追加することです.

CKANについてはいずれまとまった文章を書くつもりです.

生物学関係

昨年から生物種名のLinked Dataについてあれこれやってきました.LODチャレンジ2011にLODAC BDLSを出し,それをベースにLODAC Speciesという種名のLinked Dataを構築しました.生物種に関するデータのハブになることを目指しています.また,これを利用した検索拡張のデモ (1, 2)とかも作りました.

生物学は分散データの統合プラットフォームとしてLinked DataやSPARQLの採用が進んでいる分野です.私もBiohackathon等様々なイベントに参加させて頂いて大変刺激になりました.

mmmap: Yet Another 学会支援システム

奈良で開催されたACM Multimedia 2012JIST2012用のスケジュール等をLinked Dataのアプリケーションとして作成しました.

Evernote APIの連載

技術評論社で昨年からEvernote APIについての不定期連載を書いていました.しかし,上記のOpen Data/Linked Data関連の仕事が今年一気に来たので執筆時間が取れず,途中で連載終了にさせて頂きました.Evernoteはユーザとしては今後も使い続けていきます.

ニコニコ学会β

深く運営に関わっているわけではないですが,ニコニコ学会βは手伝える範囲でお手伝いしています.今年はマッドネスの投票サイト(第2回,第3回を作ったりニコニコ超会議でスタッフやったりしていました.

EPUB3仕様書翻訳手伝い

とあるきっかけによりEPUB3仕様書の翻訳の手伝い(主に校正)をしています.電子書籍関係は元々興味対象なので,EPUBが広まるきっかけになればと.

先日2012年4月28-29日にニコニコ超会議にてニコニコ学会βが開催されました.ニコニコ学会βの中で野生の研究者に発表してもらう研究マッドネスというセッションがあり,その研究を公募するサイトを担当しました.ただ作るだけでは面白くなかったので,裏でMicrodataとSchema.orgのテストをすることにしました (参考: 当時のGoogle+).

例えば,メカの部で賞を取った電子楽器ウダーのページのソース抜粋は以下のようになっています.

<div class='entry' id='work' itemid='http://nicores.herokuapp.com/entry/10#work' itemscope='itemscope' itemtype='http://schema.org/CreativeWork'>
  (...snip...)
  <h2><span class='hashtag'>#マッドネス10</span>「<span class='title' itemprop='name'>電子楽器ウダー</span>」</h2>
  <h3><span class='author' id='person' itemid='http://nicores.herokuapp.com/entry/10#person' itemprop='author' itemscope='itemscope' itemtype='http://schema.org/Person'>発表者:<a href='http://twitter.com/uda807'><span itemprop='name'>宇田道信</span></a></span> (<span itemprop="genre">メカ</span>の部希望)</h3>
  <div class='video'><script type="text/javascript" src="http://ext.nicovideo.jp/thumb_watch/sm14918619?w=490&h=307" itemprop="url"></script></div>
  <p class='description' itemprop='description'>ウダーは個人で開発している電子楽器です。電子楽器ではありますが、操作は非常にシンプルです。 
  (...snip...)  

これをMicrodata等からRDFを抽出するRDF Distillerに掛けると以下のキャプチャのようになります.result of RDF Distiller

また,Google Rich Snippets Testing Toolに通すとこんな感じ.the result of Rich Snippets Testing Tool

今見なおすと動画のurlが取れていないみたいですが,Microdataの仕様を読むとscript要素は対象外なんですね.当時は取れていたきがするけど.

更に,これらのデータをRDF Distillerを通して,データクラウドサービスであるDydraに取り込みました.公開レポジトリはfumi/nicoresです.色々クエリが書けて便利.

本日DBpediaの日本語版を公開しました.これはWikipedia日本語版からデータを抽出してLinked Open Dataとして公開するものです.まだinfoboxからdbpedia-owl等の語彙へのマッピング作業等をしていないので取得できるデータが少ないですが,まずは第一段階ということで.

LinkedData.jpに投げたのをこちらにも載せます.

FacebookのOpen Graph Protocol (Web pageに埋め込むほう)は元々RDFaやMicroformatsから派生して作られていますが,今回のf8からの変更で,Open Graph API (グラフの情報を取得するほう)がJSONだけではなくてTurtleを返すようになりました.

例えば私のfacebookの情報はhttp://graph.facebook.com/fumihiroから取れます.

% curl -H 'Accept: text/turtle' http://graph.facebook.com/fumihiro
@prefix rdf: <http://www.w3.org/1999/02/22-rdf-syntax-ns#> .
@prefix rdfs: <http://www.w3.org/2000/01/rdf-schema#> .
@prefix owl: <http://www.w3.org/2002/07/owl#> .
@prefix xsd: <http://www.w3.org/2001/XMLSchema#> .
@prefix api: <tag:graph.facebook.com,2011:/> .
@prefix og: <http://ogp.me/ns#> .
@prefix fb: <http://ogp.me/ns/fb#> .
@prefix : <http://graph.facebook.com/schema/~/> .
@prefix user: <http://graph.facebook.com/schema/user#> .
</1209165766#>
       user:id "1209165766" ;
       user:name "Fumihiro Kato" ;
       user:first_name "Fumihiro" ;
       user:last_name "Kato" ;
       user:link <http://www.facebook.com/fumihiro> ;
       user:username "fumihiro" ;
       user:gender "male" ;
       user:locale "en_US" .

@base <http://graph.facebook.com> .があったほうが良いとおもうのですが,そこらへんは修正されることを期待します.同じものをntriplesにしてみると,以下のようになります.こちらのほうがURIがはっきりしていてわかりやすいかもしれません.

% rapper -i turtle -o ntriples 'http://graph.facebook.com/fumihiro'
rapper: Parsing URI http://graph.facebook.com/fumihiro# with parser turtle
rapper: Serializing with serializer ntriples
<http://graph.facebook.com/1209165766#>
<http://graph.facebook.com/schema/user#id> "1209165766" .
<http://graph.facebook.com/1209165766#>
<http://graph.facebook.com/schema/user#name> "Fumihiro Kato" .
<http://graph.facebook.com/1209165766#>
<http://graph.facebook.com/schema/user#first_name> "Fumihiro" .
<http://graph.facebook.com/1209165766#>
<http://graph.facebook.com/schema/user#last_name> "Kato" .
<http://graph.facebook.com/1209165766#>
<http://graph.facebook.com/schema/user#link>
<http://www.facebook.com/fumihiro> .
<http://graph.facebook.com/1209165766#>
<http://graph.facebook.com/schema/user#username> "fumihiro" .
<http://graph.facebook.com/1209165766#>
<http://graph.facebook.com/schema/user#gender> "male" .
<http://graph.facebook.com/1209165766#>
<http://graph.facebook.com/schema/user#locale> "en_US" .
rapper: Parsing returned 8 triples

f8でのもう一つの変更は,ページやアプリの作成者がActionとObjectを定義できるようになったことです.Actionは動作,Objectは対象物として,User => Action => Object という関係を取れるようになります.これは,今までのUser => Like => Page の関係が発展したものです.見ての通りこれはトリプルになります.今はまだ出していないですが,今後Turtleでこの関係が取れるようにしてくるでしょう.

schemaもrdfsでとれるようになっています.

ユーザのschema

% curl -H 'Accept: text/turtle' 'http://graph.facebook.com/schema/user'

ページのschema

% curl -H 'Accept: text/turtle' 'http://graph.facebook.com/schema/page'

また,もっと様々な付加情報が欲しい場合は,’?metadata=1’をつけると取れます.

% curl -H 'Accept: text/turtle' 'http://graph.facebook.com/fumihiro?metadata=1'
</1209165766#>
       user:home <http://graph.facebook.com/fumihiro/home> ;
       user:feed <http://graph.facebook.com/fumihiro/feed> ;
       user:friends <http://graph.facebook.com/fumihiro/friends> ;
       user:mutualfriends <http://graph.facebook.com/fumihiro/mutualfriend> ;
       user:family <http://graph.facebook.com/fumihiro/family> ;
......

但しこれらのURIの先はOAuth認証しないと取れないようになっています.

やはりすでに大量の人URIを持っているauthorityが提供し始めるとインパクトが違いますね.Twitterのメタデータ埋め込みがまったく音沙汰なくなっていて悲しいですが,Google+とかにも頑張ってもらいたいです.

色々試した画面キャプチャや参考リンクなどをGoogle+にまとめています.

すでにEbookは販売されているのですが,O’reilly MediaからLearning SPARQLという本がでています.紙は7/22からのようです.一通り読みましたが,今のところ唯一のSPARQL解説本ですし,SPARQL1.1の細かい内容まで含んでいるのでお薦めです.セマンティックWeb プログラミングではSPARQLの話は少しでてくるだけでしたが,この本が補完してくれます.

既にWeb上では,SPARQLを使うことで政府データや音楽データ,生物データなどの多種多様なデータにアクセスできるようになっています.単なるWebAPIと異なるのは,SPARQLを一度覚えることで,SPARQLに対応しているサイトであればどこでも同じ仕組みでデータを使えるということです.他には複数のサイトからデータを取得してマージするときなどにメリットがあったりします.

日本でもすでに国立国会図書館典拠データ検索・提供サービス (Web NDL Authorities)DBCLSのAllie: A Search Service for Abbreviation / Long Form,我々のプロジェクトであるLODACなど,SPARQL Endpointを持っているサイトがでてきています.これらのデータを使うためにSPARQLを勉強するには良い本だと思います.

ちなみに今週末開催の第2回LinkedData勉強会のメインテーマはSPARQLです.SPARQLに少しでも興味がありましたら是非ご参加ください.

先日LinkedDataの勉強会を企画して行いました.今回はLinked Dataに興味があるけどどうやったらいいのかわからないという疑問に答えを見つけるために,プログラミング以外の方法でLinked Dataを作成するための支援ツールについて,有志に発表して頂きました.各発表資料はLinkedData.jpのページにまとめてあります.また,これを期にLinkedData.jp自体も少しずつ作り直しています.

個人の感想としては,Google Refineは今後データクリーニングをしたい人には必須のツールになるのではないかなと思いました.日本語がどの程度できるのかは未知なのですが,英語に関してはかなり良い精度でクリーニングできるようです.

これからは定期的に勉強会を開催していきたいと考えていますので,是非ご興味がある方はご参加ください.

ORFのサイトにはまだ掲載されていませんが,来週11/23(火祝) 10:30-11:00にORF2010 40Fカフェでトークセッションをすることになりました.午前中で且つ裏番組達が強力なのですが,Web技術,地域情報・コミュニティ,Open Governmentなどに興味がある方もそうでない方も是非お越しいただければ幸いです.入場費は無料です.

Open Research Forum “And You?” AWA lab. セッション
Linked Dataとコミュニティが拓くオープンガバメント

  • 11/23(火・祝)10:30~11:00
  • 場所:40カフェ
  • 加藤文彦 SFC第9期生 情報システム研究機構 国立情報学研究所特任研究員 LinkedData.jp
  • 小林巌生 Open Community Data Initiative/ 横浜Linked Open Data Project 主宰
  • 司会:深見嘉明 政策・メディア研究科 次世代Web応用技術・ラボ 特別研究助教

世界最大のドキュメントデータベースであるウェブ。そのウェブを、データ共有・活用のためのプラットフォームに進化させる技術、それがLinked Open Data(LOD)です。LODはオープンガバメント戦略の中で重要な技術として位置づけられており、イギリス・アメリカでは政府が積極的に取り組んでいます。

本セッションでは、SFC卒業生で国立情報学研究所にて学術情報のLOD化に尽力されている加藤文彦氏と、地域コミュニティの活性化をLODを通じて行う横浜Linked Open Data プロジェクトを主催する小林巌生氏を迎え、アカデミックコミュニティと地域コミュニティによるボトムアップでのオープンガバメントの実現への方策、課題について議論します。

Twitterを見れば分かるとおり最近RDF Storeの調査をしているのですが、その過程でOntoWikiを使おうとして色々嵌っているので、ログを残しておきます。現在Ubuntu10.04での動作を確認しています。

Virtuosoのインストール

Open Link Virtuosoは複数のデータ形式を統合して扱えるデータベースです。RDF Triple/Quad Storeとしても使え、SPARQLにも対応しています。Open Source版とClosed Source版があり、Closed版ではClusterやSnapshoなどの追加機能があります。ここではOpen Source版を使います。

まずVirtuoso Open Source Editionのインストールです。Ubuntuのrepositoryにあるのが6.1.0で、これだと最新のOntoWikiが不具合起こすので、debian squeezeから最新のソースパッケージ持ってきて再構築しました。


$ wget http://ftp.de.debian.org/debian/pool/main/v/virtuoso-opensource/virtuoso-opensource_6.1.1+dfsg1-1.dsc
$ wget http://ftp.de.debian.org/debian/pool/main/v/virtuoso-opensource/virtuoso-opensource_6.1.1+dfsg1.orig.tar.gz
$ wget http://ftp.de.debian.org/debian/pool/main/v/virtuoso-opensource/virtuoso-opensource_6.1.1+dfsg1-1.diff.gz
$ dpkg-source -x virtuoso-opensource_6.1.1+dfsg1-1.dsc
$ cd virtuoso-opensource-6.1.1

再構築に必要なパッケージをインストールします。

$ aptitude build-dep virtuoso-opensource
$ aptitude install quilt fakeroot

変更点はbuild formatを変えるだけです。changelogとかもそのままでbuildします。

$ echo "3.0 (quilt)" >debian/source/format
$ debuild -us -uc

ライブラリが足りなければ適宜インストールしてください。もし問題がなければ、上のディレクトリに*.debができているのでインストールします。インストール時にデータベースのパスワードを聞かれるので設定します。

$ dpkg -i ../*.deb

次のコマンドで問題なく起動できればインストール完了です。

$ /etc/init.d/virtuoso start

ODBCの設定 (要確認)

NOTE: この設定は必要ないかもしれないので要確認

まずodbcinstをインストールします。

$ aptitude install odbcinst odbcinst1debian1

その後、/etc/odbcinst.ini,odbc.iniを以下のように作成します。

- /etc/odbcinst.ini
[virtuoso-odbc]
Driver  = /usr/lib/odbc/virtodbc.so

- /etc/odbc.ini
[ODBC Data Sources]
VDS  = Virtuoso

[VDS]
Driver  = virtuoso-odbc
Description  = Virtuoso Open-Source Edition
ServerName  = localhost:1111

[VOS]
Driver  = /usr/lib/odbc/virtodbc.so
Description  = Virtuoso OpenSource Edition
Address = localhost:1111

OntoWiki

OntoWIkiはRDF用の閲覧・編集環境です。CMSと言ったほうがいいかもしれません。

とりあえずphp5とapacheの基本的な設定をしておく必要があります。解説を書いている方がたくさんいるので、やり方はググってください。一点追加で必要なのが、php5-odbcのインストールです。

$ sudo aptitude install php5-odbc

php5とapacheをインストールしたら、InstallFromMercurialに書かれている通りに、レポジトリから最新のソースをインストールします。

$ cd /var/www
$ hg clone https://ontowiki.googlecode.com/hg/ owrep
$ cd owrep/ontowiki/src/libraries
$ ln -s ../../../erfurt/src/Erfurt .
$ ln -s ../../../RDFauthor .

$ wget http://framework.zend.com/releases/ZendFramework-1.9.4/ZendFramework-1.9.4-minimal.tar.gz
$ tar xvzf ZendFramework-1.9.4-minimal.tar.gz
$ mv ZendFramework-1.9.4-minimal/library/Zend .
$ rm -rf ZendFramework-1.9.4-minimal.tar.gz ZendFramework-1.9.4-minimal

$ cd /var/www/owrep/ontowiki/src
$ cp htaccess-dist .htaccess
$ cp config.ini-dist config.ini

次にUsingOntoWikiWithVirtuosoを参考にconfig.iniの設定をします。

[private]
store.backend = virtuoso
store.virtuoso.dsn = VOS
store.virtuoso.username = dba
store.virtuoso.password = dba

その後OntoWikiに必要なディレクトリ作成します。


$ mkdir cache log uploads
$ chown www-data:www-data cache log uploads 

Apacheの設定をします。そのままトップに置くのなら/etc/apache2/sites-enabled/000-defaultのDocumentRootと該当Directoryを変更します。

DocumentRoot /var/www/owrep/ontowiki/src
<Directory /var/www/owrep/ontowiki/src>

Apacheを再起動した後、http://localhostにアクセスしてください。問題なければOntoWikiが表示されます。ユーザ名 Admin パスワードなしでログインすると管理画面になります。

Conference Model Demo

FirstStepにConferenceデータのデモの作り方がかかれています。注意する必要があるのは、もしlocalhost以外で動かす場合、Google Maps API Keyの設定が必要です。API Key取得ページで生成した文字列をontowiki/extensions/components/map/component.iniに設定します。

- ontowiki/extensions/components/map/component.ini
apikey.google = "生成した文字列"

オライリーさんの”Programming the Semantic Web”を有志で監訳した本が6/26に出ます.サンプルコードは監訳者一同が結構書き直して動くようにしたので,試しながら読めます.言語はPythonなんですが,Linked Dataなど,現在Web上にあるデータをどうやって使うのかという話がメインなので,他の言語でも役立つはずです.よろしかったら是非.

アマゾンのサーバでエラーが起こっているかもしれません。
一度ページを再読み込みしてみてください。

しばらく慌ただしかったのでブログを書けずにいました.twitterでは報告済みなのですが,新しいプロジェクトを始めるために4月末で早々に前職を退職し,5月中旬から別の職場に転職しました.Interop2010のW3Cブースにて概要を話しましたので,紹介代わりにスライドを貼っておきます.

同時期にW3CでもLibrary Linked Data Incubator Groupが始まりました.1年時限付きのグループで,既存の事例集めや要求事項まとめなどが目標のようです.このプロジェクトからも取り敢えず数名参加しています.しかし,一度標準化の世界に関わるとどこ行っても関わることになっているような気がしてこの世界狭いなと.