VOYAGE GROUP　エンジニアブログ

こんにちは、 株式会社ジェネシックス の徐 廷(@TonnyXu)です。文章が長くなりますので、5回に分けてお届けします。

今回は、1回目となります。

その1

■ 共通プロジェクトを作る

その2

■ コンシューマPJを作る

■ コンシューマPJで共通プロジェクトを引用

その3

■ 引用する後コンシューマPJでの必須設定

その4

■ コンシューマPJを実行する

その5

■ さらに

・ 共通プロジェクトに単体テストを追加

・ オープンソースライブラリを作る

• 共通モジュール ：複数のプロジェクトに共通の機能
• 共通プロジェクト ：共通モジュールを管理しているプロジェクト
• コンシューマプロジェクト/PJ ：共通モジュールを使用するプロジェクト

さて、共通プロジェクトを作る目的と目標をまとめましょう。

• 共通モジュールを 管理し易くする ため

1. 任意のコンシューマプロジェクトで共通モジュールを使える
2. 共通モジュールの更新はすべてのコンシューマプロジェクトに自動的に反映される
3. 共通モジュールがSubversionなどのSCMで管理できる。
4. 単体テストできる。

本文の最後にも書いていますが、この共通プロジェクトの作り方は、オープンソースのライブラリを作るときにも適用できます。

【サンプルコードをダウンロード】

本文で使用しているサンプルコードです。

私のMac OS X Snow Leopardの環境言語は英語に設定しています。画面キャプチャなどもすべて英語表記となっております。何卒ご了承ください。

■ 共通プロジェクトを作る

図１でLibraryカテゴリののStatic Libraryを選択し、次の画面で名前を入力してください。

図２：共通プロジェクトの名前

保存をすると、共通プロジェクトが図３のように出来上がります。

例えば、現在実行しているデバイスがiPadかどうかを判断する共通メソッドを作りたい場合は、まず、新しいクラスを追加しましょう。

新しいクラスは「GCDevice」という名前にしました。ちなみに、GCは G enesix C ommonのという意味です。

図６のように、ヘッダーファイル中に、staticなメソッドを追加します。名前は「 isIPad 」,戻り値は BOOL です。

次はクラス「 UIDevice 」を使うために、「 UIKit.framwork 」をプロジェクトに追加します。

GCDevice.m

//
//  GCDevice.m
//  Common
//
//  Created by Tonny Xu on 10/05/26.
//  Copyright 2010 genesix, Inc. All rights reserved.
//

#import "GCDevice.h" 
#import <UIKit/UIKit.h>

@implementation GCDevice

#ifndef UI_USER_INTERFACE_IDIOM
@interface UIDevice (ThingsIKnow)
- (int)userInterfaceIdiom;
@end
#define UI_USER_INTERFACE_IDIOM() ([[UIDevice currentDevice] respondsToSelector:@selector(userInterfaceIdiom)] ? [[UIDevice currentDevice] userInterfaceIdiom] : UIUserInterfaceIdiomPhone)
#define UIUserInterfaceIdiomPhone 0
#endif

+ (BOOL)isIPad
{
    static BOOL isPad = NO;
    static BOOL determined = NO;
    if (!determined) {
        isPad = (UI_USER_INTERFACE_IDIOM() != UIUserInterfaceIdiomPhone);
        determined = YES;
    }

    return isPad;
}

@end

これで共通プロジェクトcommonをビルドできるはずです。ビルドしてみましょう。

コンパイル成功したので、このライブラリを使えるようになりました。では、早速この共通モジュールを使用するコンシューマプロジェクトを作りましょう。

ECナビではDWHのNetezzaを使用し、データマートを構築しております。

Netezzaに関しては、日本ネティーザのサイトをご覧下さい。

実際Netezzaの性能がどの位なのか？何が出来るのかをご紹介します。

Netezzaを使用して２つの集合の類似度を計る

２つの集合の類似度を計る方法としてTanimoto係数(Jaccard係数の拡張)があります。

式は下記の通り。

==================================================================
Tb = Nc/ (Na + Nb - Nc)
==================================================================
Tb：Tanimoto係数 （二値データ）
Na：Aのアイテム数 
Nb：Bのアイテム数 
Nc：共通集合

Tbは0～1の間で0に近ければ類似度が低く1に近づく程類似度が高くなります。

では、実際にDBで集計を行います。

テーブル構成

NETEZZA => d PUR_TEST
    Attribute    |          Type          | Modifier | Default Value 
-----------------+------------------------+----------+---------------
 USER_ID         | INTEGER                |          | 
 ITEM_ID         | INTEGER                |          | 
 DATE            | DATE                   |          | 
distribute key (USER_ID)
レコード数：50万
集計対象数(アイテム数)：1000

テンポラリーテーブルは作成せず、自己結合でSQLを実行させます。

１．Nc=アイテム共通集合をもとめるSQL
  select m.ITEM_ID as MY_ITEM,o.ITEM_ID as OTHER_ITEM ,COUNT(distinct(o.USER_ID)) as match
  from PUR_TEST m INNER JOIN PUR_TEST o on m.ITEM_ID != o.ITEM_ID
  and m.USER_ID =o.USER_ID 
  group by m.ITEM_ID,o.ITEM_ID

２．Naのアイテム数
  select item_id,count(distinct(user_id)) NA from pur_test group by item_id

3．Nbのアイテム数
   select item_id,count(distinct(user_id)) NB from pur_test group by item_id

4.1～3の結果をTanimoto係数の公式へ。

 select MY_ITEM,NA,OTHER_ITEM,NB,NC,trunc(cast(NC as dec)/(NA+NB-NC),2) as T from (
   select m.ITEM_ID as MY_ITEM,o.ITEM_ID as OTHER_ITEM ,COUNT(distinct(o.USER_ID)) as NC
   from PUR_TEST m INNER JOIN PUR_TEST o on m.ITEM_ID != o.ITEM_ID
   and m.USER_ID =o.USER_ID 
   group by m.ITEM_ID,o.ITEM_ID
 ) ma,
 (select ITEM_ID,count(distinct(user_id)) NA from pur_test group by item_id) na,
 (select ITEM_ID,count(distinct(user_id)) NB from pur_test group by item_id) nb 
 WHERE 
 ma.MY_ITEM =na.ITEM_ID AND
 ma.OTHER_ITEM =nb.ITEM_ID 

単純に計算量はO(n＾2)です。

アイテム数が1000位なら一瞬です。

実行時間================
real    0m6.680s
user    0m0.156s
sys     0m0.031s

アイテム数が10000超えると。。

実行時間================
real    29m53.769s
user    1m10.785s
sys     0m3.777s

まとめ

実際にはテンポラリテーブルを作成するべきです、アイテム毎のアイテム数(Na ,Nb) は先に集計しておくと良いでしょう。

Netzzaは自己結合も弱いのでこちらは別にするべきです。

今回はNetezzaの性能計る為、こんなSQLを書いています。

Netezzaにもstddev(標準偏差)、stddev_pop(母標準偏差)、variance(式の分散)、var_pop(母分散)などなど

解析関数が用意されています。協調フィルタリングの相関係数法もできますね。