サイト内の現在位置

NEC、Pythonを用いたデータ分析を高速化するソフトウェア「FireDucks」の無償提供を開始

~データの前処理を最大16倍高速化、データ分析の時間とコストを削減~

2023年10月19日
日本電気株式会社

NEC は、プログラミング言語「Python」を用いたデータ分析において標準的に使用されているテーブルデータ分析用ライブラリ「pandas」を高速化するソフトウェア「FireDucks」を開発しました(注1)。データ分析に必要なデータの前処理を最大16倍(注2)高速化し、データ分析にかかる時間の大幅な削減とコンピューティングコストの低減に貢献します。
また本日よりFireDucksのβ版をオンライン(new windowhttps://fireducks-dev.github.io/)で公開します。どなたでも無償でご使用いただくことが可能です。

背景

近年POSやEコマース等の売り上げデータや金融取引のトランザクションデータなど、大量のデータが容易に取得できるようになりましたが、それらデータから価値ある分析結果を導き出すためには、人工知能(以下、AI)や機械学習(machine learning: 以下、ML)を使ったデータサイエンティストによるデータ分析が必要となっています。
しかしこのようなデータ分析には、実際にデータを分析する前に大量のデータを分析できる状態に整える“前処理"が必須となります。このデータの前処理にデータサイエンティストは業務時間の約45%(注3)を費やすといわれており、大きな課題となっています。さらにデータの増加とAIやMLの高度化は、計算量の増加につながっています。その結果、計算コスト(たとえば、クラウドのコスト)の増加や、それに起因する消費電力の増加、及び、CO2の排出量の増加も問題となっています。

NECの取り組み

NECは、現在世界で最も使用されているプログラミング言語「Python」で標準的なテーブルデータ分析用ライブラリとして使用される「pandas」を高速化するソフトウェア「FireDucks」を開発しました。本ソフトウェア開発には、30年以上にわたるスーパーコンピュータの開発で培ってきた高性能プログラミング技術と高速化のノウハウが生かされています。
また、NECはFireDucksのβ版を無償で一般公開することで、データサイエンティストの業務時間の短縮に加え、省電力化やCO2削減など、環境課題解決に貢献します。

特長

1. 高速化性能

FireDucksは、テーブルデータの分析で標準的なライブラリである pandas を用いて作成されたソフトウェアプログラムを最大16倍(注2)、平均約5倍(注2)高速化することが可能です。これにより、データサイエンティストの業務時間全体の約30%を削減(注4)することが可能です。
このような高速化が実現できた主な理由は、“全コアの並列活用"と“処理の最小化"です。FireDucksはマルチコアCPUの全てのコアを利用し、大量のデータを並列かつ効率的に処理ができます。またプログラム通りの範囲や順番で処理を実行するのではなく、事前に処理全体の中から結果に必要となるデータを把握し、そのデータのみに処理を実行します。そのため処理の高速化が可能となります。

FireDucksによる処理最小化のイメージ

2. 高い互換性

pandasより速い処理速度を実現できるライブラリもありますが、プログラムの書き換えを含む複数のステップが必要となります。しかしFireDucksはプログラムを一行書き換えるだけで、pandasを使っている時と同じように分析やコーディングが行えるため、導入が容易です。

実際の効果

本技術をトヨタテクニカルディベロップメント株式会社(注5)(以下、TTDC)の実際の業務に使用いただいたところ、以下の結果が得られました。

  • 自社製AIフレームワーク(Spicy MINT) を用いたデータ解析時間を60%削減
  • 解析PCの稼働時間を76%削減

FireDucksを使用されたTTDC社員の声は開発者との対談として本日公開のスペシャルサイトにてご覧いただけます。(URL:https://jpn.nec.com/rd/technologies/202312/index.html)

今後の予定

NECはFireDucks のβ版を無償提供し、実際にデータサイエンティストに使っていただくことで有効性を実証しながら機能改良を進め、2024年度中の事業化を目指します。

以上

  • (注1)
    本ソフトウェアは国立研究開発法人新エネルギー・産業技術総合開発機構(NEDO)の支援をうけ、開発されました。
  • (注2)
    TPCx-BBベンチマークによる社内試験結果
  • (注3)
  • (注4)
    社内独自試算による
  • (注5)
    本社:愛知県豊田市、代表取締役社長:香川佳之。最先端の情報&技術による統合ソリューションを駆使し、お客様の商品開発にベストな環境を構築。

本件に関するお客様からのお問い合わせ先

NEC グローバルイノベーション戦略統括部

Orchestrating a brighter world

NECは、安全・安心・公平・効率という社会価値を創造し、
誰もが人間性を十分に発揮できる持続可能な社会の実現を目指します。
https://jpn.nec.com/brand/