
                                                                import os
import numpy as np
from scipy.sparse import csr_matrix
from frovedis.exrpc.server import FrovedisServer
from frovedis.matrix.crs import FrovedisCRSMatrix
from frovedis.matrix.dense import FrovedisRowmajorMatrix


                                                                data = np.array([1, 2, 3, 5, 6])
indices = np.array([0, 2, 2, 0, 2])
indptr = np.array([0, 2, 3, 5])
mat = csr_matrix((data, indices, indptr),
                 dtype=np.float64,
                 shape=(3, 3))


                                                                print(mat)

  (0, 0)	1.0
  (0, 2)	2.0
  (1, 2)	3.0
  (2, 0)	5.0
  (2, 2)	6.0


                                                                row_pointers= mat.indptr
column_index= mat.indices
print(row_pointers, column_index)

[0 2 3 5] [0 2 2 0 2]


                                                                d = csr_matrix.todense(mat)
print(d)

[[1. 0. 2.]
 [0. 0. 3.]
 [5. 0. 6.]]


                                                                FrovedisServer.initialize("mpirun -np 4 {}".format(os.environ['FROVEDIS_SERVER']))


                                                                fmat = FrovedisCRSMatrix(mat)


                                                                vector = np.array([1.0, 2.0, 3.0])
out_ = fmat.dot(np.transpose(vector))
print(out_)

[ 7.  9. 23.]


                                                                fmat.save("./result")
fmat.release()
print ("\n-- matrix loaded from text file --")
fmat2 = FrovedisCRSMatrix().load_text("./result")
fmat2.release()

-- matrix loaded from text file --


                                                                FrovedisServer.shut_down()

サイト内の現在位置

Jupyter Notebookを使ったFrovedis機械学習導入編

Frovedisが用意する分散行列の一つである疎行列向けcrs matrixについて¶

SciPyのcsr matrixをFrovedis server側でCRS Matrixに変換した後、NumPy vectorとの演算、データ保存方法を見ていきます。¶

SciPyの機能を使用して疎行列を作成します。dataに非ゼロのデータを、indicesには非0要素の列情報、indptrに何番目の要素から次の行が始まるか位置情報を記録します。indptrの最後に非ゼロ要素数を追加します。¶

SciPyで用意した疎行列matの内容を表示します。¶

一端、疎行列matを密行列形式に変換して行列を表示します。¶

Frovedis serverを起動します。このサンプルでは4つのプロセスを起動して並列処理させます。¶

Scipy疎行列クラスのmatをFrovedis CRS matrix fmatに変換します。¶

fmatはFrovedis serverが実行されるベクトルカードのメモリ上に作成されます。¶

Frovedis CRS matrixとNumPy vectorの演算が可能です。¶

作成したFrovedis CRS matrixのセーブ、ロードを行います。使用後にfmat、fmat2をメモリから解放します。¶

Frovedis serverを終了します。¶

サイト内の現在位置

Jupyter Notebookを使ったFrovedis機械学習 導入編

Frovedisが用意する分散行列の一つである疎行列向けcrs matrixについて¶

SciPyのcsr matrixをFrovedis server側でCRS Matrixに変換した後、NumPy vectorとの演算、データ保存方法を見ていきます。¶

SciPyの機能を使用して疎行列を作成します。dataに非ゼロのデータを、indicesには非0要素の列情報、indptrに何番目の要素から次の行が始まるか位置情報を記録します。indptrの最後に非ゼロ要素数を追加します。¶

SciPyで用意した疎行列matの内容を表示します。¶

一端、疎行列matを密行列形式に変換して行列を表示します。¶

Frovedis serverを起動します。このサンプルでは4つのプロセスを起動して並列処理させます。¶

Scipy疎行列クラスのmatをFrovedis CRS matrix fmatに変換します。¶

fmatはFrovedis serverが実行されるベクトルカードのメモリ上に作成されます。¶

Frovedis CRS matrixとNumPy vectorの演算が可能です。¶

作成したFrovedis CRS matrixのセーブ、ロードを行います。使用後にfmat、fmat2をメモリから解放します。¶

Frovedis serverを終了します。¶

Jupyter Notebookを使ったFrovedis機械学習導入編