提出ガイドライン
ランを提出してトップを目指しましょう!
訓練用
NTCIR-12 MobileClick-2ではNTCIR 1CLICK-2テストコレクションから抽出された訓練データを利用できます． ログイン後に データページにて訓練データをダウンロードしてください．
現在のところ，訓練データを利用してiUnitランキングサブタスクのランをアップロードし， 結果を他の参加者と共有することができます．
ステップ
- ログイン (もしくは 新規登録)
- 訓練データを入手
- タスク内容を読んでiUnitランキングシステムを構築
- タスク内容に記載されているフォーマットに従いランファイルを作成
- 新規ラン投稿ページにてランファイルをアップロード
ルール
これらのルールは訓練データ中のクエリ (つまり，1C2-*-queries.tsv)に対するランを提出する際に適用されます．
- 手動でランを作成しないでください
- 任意のデータを利用してiUnitランキングシステムを開発できますが， 「iUnit重要度データ」 (つまり，1C2-*-weights.tsv)を用いるのはお控えください． (ご自身で評価を行う場合やテストデータ用のシステムの訓練に利用する場合には問題ございません)
- 提供された訓練データの再配布はお控えください
テスト用
テストデータに対するランのみが公式結果として記録されます． 訓練データに対するランの提出には制約がありませんでしたが， 極度のチューニングを避けるために，テストデータに対するランの提出にはいくつかルールが設けられています．
ステップ
- ログイン (もしくは 新規登録)
- テストデータを入手
- タスク内容を読んでiUnitランキング，および，iUnit要約システムを構築
- 訓練データを用いてシステムをチューニング
- 新規ラン投稿ページにてランファイルをアップロード
ルール
これらのルールはテストデータ中のクエリ (つまり，MC2-*-queries.tsv)に対するランを提出する際に適用されます．
- テストデータに対する極度のチューニングを避けるため，ランの提出には1週間のインターバルを必要とします
- 各チームは同じ種類のランを1週間のインターバルを置くことなく提出することはできませんが， 異なる種類のラン(例えば，iUnitランキングとiUnit要約)であれば続けて提出することができます
- NTCIRウェブサイトにて登録後，オーガナイザより「NTCIR-12 MobileClick-2 Group Registration」というメールが届きます． メールに書かれた指示に従い，あなたのグループとあなたのアカウントを対応させてください． 認証されたグループに所属しているアカウントのみがランを提出することができます．
- 手動でランを作成しないでください
- 任意のデータを利用してiUnitランキング，および，iUnit要約システムを開発できます
- 提供されたテストデータの再配布はお控えください