Japan

サイト内の現在位置

NECデータ分析高速化ライブラリ

Pythonライブラリ名: FireDucks

NECは、現在世界で広く使用されているプログラミング言語「Python」で標準的なテーブルデータ分析用ライブラリとして使用される「pandas」を高速化するソフトウェア「FireDucks」を開発しました。本ソフトウェア開発には、30年以上にわたるスーパーコンピュータの開発で培ってきた高性能プログラミング技術と高速化のノウハウが生かされています。

FireDucksの特長

高速化

  • コードを書き換えることなくpandasを高速化
    pandasを利用したプログラムが遅いというお悩みをお持ちではありませんか？ FireDucksはコード変更を必要とせず、高速化を実現します。プログラムのマルチスレッド化の煩雑さに頭を悩ませることなく、データ分析を高速化します。
  • FireDucksは、テーブルデータの分析で標準的なライブラリである pandas を用いて作成されたソフトウェアプログラムを最大100倍以上高速化(*1)することが可能です。これにより、データサイエンティストの業務時間全体の約30%を削減(*2)することが可能です。このような高速化が実現できた主な理由は、“全コアの並列活用"と“処理の最小化"です。FireDucksはマルチコアCPUの全てのコアを利用し、大量のデータを並列かつ効率的に処理ができます。またプログラム通りの範囲や順番で処理を実行するのではなく、事前に処理全体の中から結果に必要となるデータを把握し、そのデータのみに処理を実行します。そのため処理の高速化が可能となります。
  • (*1)
    TPC-Hベンチマークによる社内試験結果
  • (*2)
    社内独自試算による

高い互換性

pandasより速い処理速度を実現できるライブラリもありますが、プログラムの書き換えを含む複数のステップが必要となります。しかしFireDucksはプログラムを一行書き換えるだけで、pandasを使っている時と同じように分析やコーディングが行えるため、導入が容易です。

サステナブルかつ経済的

クラウドコンピューティングのコストと環境への影響を気にされていますか？ 私たちの高速化技術により、クラウドの利用料金を削減し、同時にCO2排出も最小限に抑えます。FireDucksは環境に優しく、財布にも優しい選択です。

信頼と性能 二つを兼ね備えた革新性

FireDucksは、NECが長年に渡って磨き上げてきたスーパーコンピュータのエッセンスを注ぎ込んで開発されました、 日本製の高品質なFireDucksは信頼性と高い性能を約束します。

動作環境

CPU版

CPU x86_64プロセッサ
OS Linux, Windows
Python Python 3.9-3.13

GPU版

CPU x86_64プロセッサ
GPU NVIDIA cuDFがサポートするGPU
OS Linux
Python Python 3.10-3.13
CUDA Toolkit と cuDF
  • CUDA Toolkit 11または12
  • cuDF 25.06
  • ※
    上記に該当する全ての環境での動作を保証するものではありません。弊社で動作確認した動作環境は、下記を参照ください。

動作確認済み環境

CPU版

  • Intel(R) Xeon(R) Gold 6126, CentOS 8.4, Python 3.9.6, pandas 2.3.3
  • Intel(R) Xeon(R) Gold 6126, Ubuntu 22.04, Python 3.10.12, pandas 2.3.3
  • Intel(R) Xeon(R) Gold 6126, Rocky Linux 9.2, Python 3.11.11, pandas 2.3.3
  • Intel(R) Xeon(R) Gold 6126, Rocky Linux 9.2, Python 3.12.9, pandas 2.3.3
  • Intel(R) Xeon(R) Gold 6126, Ubuntu 24.04, Python 3.11.13, pandas 2.3.3
  • Intel(R) Xeon(R) Gold 6126, Ubuntu 24.04, Python 3.12.3, pandas 2.3.3
  • Intel(R) Xeon(R) Gold 6126, Ubuntu 24.04, Python 3.13.8, pandas 2.3.3
  • Intel(R) Xeon(R) Gold 6326, Windows Server 2022, Python 3.9.11, pandas 2.3.3
  • Intel(R) Xeon(R) Gold 6326, Windows Server 2022, Python 3.10.11, pandas 2.3.3
  • Intel(R) Xeon(R) Gold 6326, Windows Server 2022, Python 3.11.9, pandas 2.3.3
  • Intel(R) Xeon(R) Gold 6326, Windows Server 2022, Python 3.12.10, pandas 2.3.3
  • Intel(R) Xeon(R) Gold 6326, Windows Server 2022, Python 3.13.7, pandas 2.3.3

GPU版

  • Intel(R) Xeon(R) Gold 5317, GPU A100 80GB, Ubuntu 22.04, Python 3.10.13, pandas 2.2.3
  • Intel(R) Xeon(R) Gold 5317, GPU A100 80GB, Ubuntu 22.04, Python 3.11.13, pandas 2.2.3
  • Intel(R) Xeon(R) Gold 5317, GPU A100 80GB, Ubuntu 22.04, Python 3.12.11, pandas 2.2.3
  • Intel(R) Xeon(R) Gold 5317, GPU A100 80GB, Ubuntu 22.04, Python 3.13.7, pandas 2.2.3

問い合わせ先

NEC コンピュート統括部
NECデータ分析高速化ライブラリ担当
contact@fireducks.jp.nec.com

GPUソリューション