
                                                                import os
import numpy as np
from scipy.sparse import csr_matrix
from frovedis.exrpc.server import FrovedisServer
from frovedis.matrix.crs import FrovedisCRSMatrix
from frovedis.matrix.dense import FrovedisRowmajorMatrix


                                                                data = np.array([1, 2, 3, 5, 6])
indices = np.array([0, 2, 2, 0, 2])
indptr = np.array([0, 2, 3, 5])
mat = csr_matrix((data, indices, indptr),
                 dtype=np.float64,
                 shape=(3, 3))


                                                                print(mat)

  (0, 0)	1.0
  (0, 2)	2.0
  (1, 2)	3.0
  (2, 0)	5.0
  (2, 2)	6.0


                                                                row_pointers= mat.indptr
column_index= mat.indices
print(row_pointers, column_index)

[0 2 3 5] [0 2 2 0 2]


                                                                d = csr_matrix.todense(mat)
print(d)

[[1. 0. 2.]
 [0. 0. 3.]
 [5. 0. 6.]]


                                                                FrovedisServer.initialize("mpirun -np 4 {}".format(os.environ['FROVEDIS_SERVER']))


                                                                fmat = FrovedisCRSMatrix(mat)


                                                                vector = np.array([1.0, 2.0, 3.0])
out_ = fmat.dot(np.transpose(vector))
print(out_)

[ 7.  9. 23.]


                                                                fmat.save("./result")
fmat.release()
print ("\n-- matrix loaded from text file --")
fmat2 = FrovedisCRSMatrix().load_text("./result")
fmat2.release()

-- matrix loaded from text file --


                                                                FrovedisServer.shut_down()


                                                                import os
import numpy as np
from frovedis.exrpc.server import FrovedisServer
from frovedis.exrpc.server import *
from frovedis.matrix.dense import *


                                                                FrovedisServer.initialize("mpirun -np 4 {}".format(os.environ['FROVEDIS_SERVER']))


                                                                mat = np.matrix([[1,2,3,4],[5,6,7,8],[8,7,6,5],[4,3,2,1]],
                dtype=np.float64)


                                                                fmat = FrovedisBlockcyclicMatrix(mat)


                                                                mat2 = fmat.to_numpy_matrix()
print("Frovedis Blockcyclic Matrix => Numpy 2D Matrix", mat2)

Frovedis Blockcyclic Matrix => Numpy 2D Matrix [[1. 2. 3. 4.]
 [5. 6. 7. 8.]
 [8. 7. 6. 5.]
 [4. 3. 2. 1.]]


                                                                rmat = FrovedisRowmajorMatrix()


                                                                rmat = fmat - fmat
print("m - m: ", rmat.to_numpy_matrix())
rmat = fmat * fmat
print("m * m: ", rmat.to_numpy_matrix())
rmat = ~fmat # fmat.transpose()
print("transpose", rmat.to_numpy_matrix())

m - m:  [[0. 0. 0. 0.]
 [0. 0. 0. 0.]
 [0. 0. 0. 0.]
 [0. 0. 0. 0.]]
m * m:  [[ 51.  47.  43.  39.]
 [123. 119. 115. 111.]
 [111. 115. 119. 123.]
 [ 39.  43.  47.  51.]]
transpose [[1. 5. 8. 4.]
 [2. 6. 7. 3.]
 [3. 7. 6. 2.]
 [4. 8. 5. 1.]]


                                                                fmat.release()
rmat.release()


                                                                from frovedis.matrix.wrapper import SCALAPACK


                                                                mat = np.matrix([[1,1,-1],[-2,0,1],[0,2,1]],
                dtype=np.float64)
fmat = FrovedisBlockcyclicMatrix(mat)


                                                                res = SCALAPACK.getrf(fmat)
print("getrf info: " + str(res.stat()))

getrf info: 0


                                                                SCALAPACK.getri(fmat,res.ipiv())
print(fmat.to_numpy_matrix())

[[-0.5  -0.75  0.25]
 [ 0.5   0.25  0.25]
 [-1.   -0.5   0.5 ]]


                                                                fmat = FrovedisBlockcyclicMatrix(mat)
x = np.matrix([[1],[2],[3]], dtype=np.float64)
bcx = FrovedisBlockcyclicMatrix(x)


                                                                print("solve Ax = b")
SCALAPACK.gesv(fmat,bcx)
print (bcx.to_numpy_matrix())

solve Ax = b
[[-1.25]
 [ 1.75]
 [-0.5 ]]


                                                                bcm = FrovedisBlockcyclicMatrix(fmat)
svd = SCALAPACK.gesvd(bcm)


                                                                print("printing the results (umat, svec, vmat)")
(umat,svec,vmat) = svd.to_numpy_results()
print (umat)
print (svec)
print (vmat)

printing the results (umat, svec, vmat)
[[-7.07106781e-01  7.07106781e-01  2.22044605e-16]
 [-7.07106781e-01 -7.07106781e-01 -3.33066907e-16]
 [-1.38492816e-16 -3.58163096e-16  1.00000000e+00]]
[2.44948974 2.         1.22474487]
[[ 5.77350269e-01 -5.77350269e-01 -5.77350269e-01]
 [-7.07106781e-01 -7.07106781e-01  1.03443839e-16]
 [-4.08248290e-01  4.08248290e-01 -8.16496581e-01]]


                                                                fmat.release()
res.release()
bcm.release()


                                                                FrovedisServer.shut_down()


                                                                import os
import numpy as np
import pandas as pd
from sklearn.datasets import load_breast_cancer
import matplotlib.pyplot as plt
from sklearn.preprocessing import StandardScaler

import seaborn as sns


                                                                from frovedis.exrpc.server import FrovedisServer
from frovedis.mllib.linear_model import LogisticRegression
from frovedis.decomposition import PCA


                                                                X, y = load_breast_cancer(return_X_y=True)


                                                                FrovedisServer.initialize("mpirun -np 4 {}".format(os.environ['FROVEDIS_SERVER']))


                                                                C = 100
max_iter=10000
solver = "sag"


                                                                clf = LogisticRegression(random_state=0, solver=solver, C=C, max_iter=max_iter).fit(X, y)
y_pred = clf.predict(X)
score = 1.0 * sum(y == y_pred) / len(y)
print("score: {}".format(score))

score: 0.9226713532513181


                                                                scaler = StandardScaler()
scaler.fit(X)
X_scaled = scaler.transform(X)


                                                                pca = PCA(n_components=2)
pca.fit(X_scaled)
X_pca = pca.transform(X_scaled)


                                                                plt.figure(figsize=(10,7))
sns.scatterplot(x=X_pca[:,0], y=X_pca[:,1], hue=y, palette=['yellow', 'green'])
plt.title("2D scatter plot")
plt.xlabel("PC1")
plt.ylabel("PC2")

Text(0, 0.5, 'PC2')


                                                                FrovedisServer.shut_down()

サイト内の現在位置

Jupyter Notebookを使ったFrovedis機械学習 導入編

Frovedisが用意する分散行列の一つである疎行列向けcrs matrixについて¶

SciPyのcsr matrixをFrovedis server側でCRS Matrixに変換した後、NumPy vectorとの演算、データ保存方法を見ていきます。¶

SciPyの機能を使用して疎行列を作成します。dataに非ゼロのデータを、indicesには非0要素の列情報、indptrに何番目の要素から次の行が始まるか位置情報を記録します。indptrの最後に非ゼロ要素数を追加します。¶

SciPyで用意した疎行列matの内容を表示します。¶

一端、疎行列matを密行列形式に変換して行列を表示します。¶

Frovedis serverを起動します。このサンプルでは4つのプロセスを起動して並列処理させます。¶

Scipy疎行列クラスのmatをFrovedis CRS matrix fmatに変換します。¶

fmatはFrovedis serverが実行されるベクトルカードのメモリ上に作成されます。¶

Frovedis CRS matrixとNumPy vectorの演算が可能です。¶

作成したFrovedis CRS matrixのセーブ、ロードを行います。使用後にfmat、fmat2をメモリから解放します。¶

Frovedis serverを終了します。¶

Frovedisが用意する分散行列の一つであるブロックサイクリック行列について¶

ブロックサイクリック行列を使った行列演算や、ScalaPACKを使用してFrovedis server上で行列のLU分解を使った逆行列解、線形行列解について見ていきます。¶

Frovedis serverを起動します。このサンプルでは4つのプロセスを起動して並列処理させます。¶

4x4の倍精度浮動小数点データで構成されるnumpy matrixを準備します。¶

先に準備したNumPy行列をFrovedis server側でブロックサイクリック行列fmatに変換します。変換された行列データはベクトルプロセッサのメモリに置かれます。¶

ブロックサイクリック行列を一端NumPy形式の配列に変換し、表示します。¶

Frovedis serverで空のRowmajor matrix 'rmat'を作成後、ブロックサイクリック行列同士の演算、転置を行った結果をこの'rmat'に収納します。¶

ScalaPACKをインポートします。¶

3x3倍精度浮動小数点データで構成されるnumpy matrixをはじめに作成します。これをFrovedis server側で循環型分散ブロック行列に変換します。変換された行列データはベクトルプロセッサのメモリに置かれます。¶

LU分解法を用いて'fmat'の逆行列を求めます。はじめにgetrf()を使い'fmat'をLU分解します。¶

続いてLU分解した結果'res'を用いて'fmat'の逆行列を求めます。求めた逆行列は'fmat'に上書きされます。¶

関数gesv()を用いてAx = bを解きます。¶

関数gesvd()を用いて'fmat'の特異値分解を行います。¶

使用後にデータのメモリー解放とFrovedis server停止を行います。¶

scikit-learn breast cancerrデータセットを用いたFrovedis版LogisticRegressionとPCAの使用例¶

Frovedis serverを使用するためFrovedisServerとLogisticRegression、PCAをインポートします。¶

scikit-Learnのbreast cancerデータセットをロードします。¶

frovedis_serverを起動します。¶

LogisticRegressionによる教師ありクラス分類を行います。¶

正則化強度Cを100に設定¶

LogisticRegressionにおけるテストスコアを算出します。¶

PCAによるbreast cancerデータの可視化¶

PCA適用前にデータをスケール変換し分散が1の特徴量にします。¶

breast cancerデータにPCAモデルを適用し、最初の２つの主成分に対してデータポイントを変換します。¶

２Dで2つの主成分をグラフ化します。¶

関連リンク

Jupyter Notebookを使ったFrovedis機械学習導入編