DeepSpeed — DeepSpeed is a deep learning optimization library that makes distributed training and inference easy, efficient, and effective.
分散トレーニングと推論を容易、効率的に実行するためのディープラーニング最適化ライブラリです。
- 用途
- ディープラーニング最適化ライブラリ
- 難易度
- Easy
- コスト
- High
「最適化」の検索結果
50 件分散トレーニングと推論を容易、効率的に実行するためのディープラーニング最適化ライブラリです。
TensorZeroは、LLMゲートウェイ、オブザーバビリティ、評価、最適化、実験を統一したオープンソースのLLMOpsプラットフォームです。
オープンソースのAI推論最適化と展開用ツールキットです。
このリポジトリでは、トークナイザーの最適化を提供しています。
バルザリ=ボレイン法のスーパー非線形収束問題に関する論文を発表しました。この論文では、バルザリ=ボレイン法が非線形収束できないオープン集合のすべての二次型問題に対してスーパー非線形収束できないことを示しました。これは、強
この研究では、自己説明の信頼性を検証するためのRL方法を提案し、自己説明の信頼性を直接最適化するための新しいアプローチを検討します。
机械学習モデルを用いて、指定された数値定数に掛け算する方法を効率的に探索します。在来の dinamic programming法は効率が高いが、定数の大きさに対応できません。この研究では、神経符号学的アプローチにより、定
表現的推論問題とは、与えられた現象に対して説明が見つかることを目的とした問題です。この研究では、解決方法を最適化するために、代表集合 (representative sets) の概念を活用します。
代理記憶の学習は、LGMが効果的に情報を保持・更新・処理できることを意味します。この研究では、アトリビューテッド グラフィックフィードバックを使用して、代理記憶を最適化する方法を提案します。
効率的な多モードの推論は、モデルの性能やFLOPCOuntだけでなく、移動、キャッシュ、変形、量化された表現を保存するコストやメモリ、エネルギーに関する制約にも制限されています。この論文では、最近のビジュアルトークン圧縮
シミュレーション駆動設計では、高精度なシミュレーションを少なくすることで設計を実現しています。既存の手法では、その問題に取り組むために最適化アルゴリズムが改善されてきましたが、問題の定義自体は検討されていません。この論文
AwesomeOPDはオンPolicy distillationの最適化用リストである。オンPolicy distillationでは、学習済みモデルを小さくすることでモデルを高速化する。
この研究では、分配マッチングにおける高変動の削減に伴い、最適化の安定化、精度の向上を実現するために、paired サンプリングという新しい手法を提案した。
language モデルを前訓練するために、Muon などの矩式最適化を使用するが、これらのモデルの内部幾何学を保持する方法についてはよくわかっていない。仮定から、モデルの内部幾何学を安定化するために、SGDに内在するb
組み合わせ方程式の最適化を解くための新しいフレームワークを提示した。分布される量子アルゴリズムの局所的な制限に直面する際、最適化の解を導けるために、分布される量子近似最適化アプローチと深層学習アルゴリズムを組み合わせた。
多モーダルラージランゲージモデルは、視覚言語タスクに強いですが、高い推論コストで問題となっています。Look Less, Think Fasterアルゴリズムは、単位次元を個別に最適化することで、多モーダルラージランゲー
分散式推論には、高解像度ビデオ生成のためにコストが高いという問題があります。Evolving Cache Schedulesアルゴリズムは、コストと効率性のトレードオフを最適化することで、キャッシュで推論コストを削減しま
Neural Network Inference用の高性能フレームワークです。モバイルプラットフォームに最適化されています。
分類タスクの性能を最適化するために、分布化されたクラスター間の分離を考慮したアルゴリズムが提案されていました。
この研究では、Oceanモデルを使用して、オーシャンで不完全な観測を使用する可能性と、生成的ステートスペースモデルと最適化フレームワークを使用して直接不完全な観測から学習する能力を評価します。
決定関数とコストの関数間の共変性により、損失関数を最適化することで、適切な行動決定を可能にすることができます。また、これに基づいて、共変性の傾向を最適化する方向性を考察し、正確に予測された結果を持つモデルを導出するのに役
この文書では、バンディット型凸最適化の最小公倍数期待誤差について、最初の非ゼロの誤差下限を提案しました。これは、2次元空間で構成された凸関数のハードクラスであり、ドメインのサイズdとデータ数Tの関数です。
離散RLは、長所と短所を含む複雑なランク付けゴールの最適化に効果があります。しかし、その計算コストは通常高く、自動微分化などの複雑なグラadientsの計算アラウンドを必要とします。この文書では、長所と短所を含むランク付
UVAを用いたISACシステムを構築し、ISACシステムの動作の最適化を行うためにCRBを利用したビーム形成法とパス追従法を提案した。
この研究では、非凸最適化をオナミ式最適化と変換する方法を提案します。この変換は、静的遺憲最適化の学習者が順列的グレードトラッカーを維持し、静的遺憲最適化では選択できるプレダクターコンパラタートを選択することで実現されます
この研究では、ルビック評価を含む非確認タスクの最適化を目的とします。従来のRLには、モデル評価の情報が使われるだけですが、モデル自身は反省や自己改善はすることがありません。ここでは、LJMをコーチとみなして、モデルが反省
自律運航のクレーンは、木材の移動を安全かつ効率的に行う必要があります。このため、木材の運搬におけるコスト削減と安全性の確保のために、クレーンの運動計画を最適化します。この研究では、VP-STO(Via-Point-bas
1ビット圧縮センシングは、情報が圧縮された状態で保存され、データ量の最適化が必要で、この問題を解決するために、Binary Iterative Hard Thresholding(BIHT)を最適化する方法を提案。
機械学習では、オプティマイザはモデルを最適化するために重要な役割を果たします。この研究では、オプティマイザの開発に基づいて、機械学習モデルの最適化を高速化する方法を提案した。
この研究では、分散最適化アルゴリズムの効率化を目的に、新しい評価方法を提案しました。この方法は、局所のSGDの効率を分析し、実際のデータヘテロgeneityを考慮することで、分散最適化の効率を向上させました。
この研究では、サンプル協方差行列の精度を向上させる方法を検討しました。特に、サンプルサイズが小さく、収集されたデータの特性から、正解率の期待値は小さい場合に、問題が最も発生しやすくなる可能性があります。この研究では、正解
Stochastic convex optimization is a classical problem with well-understood guarantees under first-order feedba
構造オプティミゼーション問題は、決定変数が多数、かつ非凸の可行域を持つため、Pareto前景に到達するには多数の関数評価が必要とします。そのため、高性能で効率的なオプティミゼーションアルゴリズムが必要になっています。この
資格試験で正解するかどうかを決定するために、受験者に質問を順番に提示し、正解すると賞品がもらえるクイズゲームを想定し、その順番を最適化する問題を解いた。
大型言語モデル(LLM)は最近急速に普及していますが、その推論に際してはAI加速器が必要になります。トークンフェーズはLSTMなどのニューラルネットワークで処理される分野ですが、現在AI加速器におけるこの分野の効率を向上
この論文では、大規模スパース多目標最適化の問題に取り組むために、新しく提唱された適応可能な初期値生成アルゴリズムを提案し、アルゴリズムの効率とパフォーマンスを評価する。
オンライン購入の最適化を目的とするストラテジックビーイングアージェントフレームワークを発表する。
1D バイナリング パッキング問題(1D-BPP)とは、さまざまな用途に多く応用される、分配不可能なNP困難な組合せ最適化問題である。この研究では、Falkenauerのハイブリッドグループゲンエイリアスアリファメント(
マルチアジェント最適化を使用して、クラスター選択とモデル調整のためのMMAOクラスの実現を提案しました。
この研究では、メタボリック マルチエージェント最適化 (MMAO) が動的最適化に適用できるようにする必要がありました。MMAO-Dyn は、環境の変化によって元の有効な局所的構造を無効にした非stationary な設
この研究では、多タスクの奇抜さを促進するために、エボリューション性の多タスク (EMT) を導入しました。EMT は、目標指向の最適化に焦点を当ててきましたが、共通性の構造を利用して、同時に複数の最適化問題を解決する能力
この研究では、多様なベンチマークを用いて、Metabolic Multi-Agent Optimizer (MMAO)の適切性を評価します。MMAOは、複数エージェント間でリソースを分配するための閉ループのシステムです。
この論文では、多目的最適化の解釈を向上させるために用いる Partition-Guided Distance Saliency (PGDS) アルゴリズムを提案しました。これにより、多目的最適化の解釈の向上に役立つものと
可算推定に適した制約付き一つの目標関数の最適化に適したアルゴリズムDE-2LSが紹介されます。
可算推定に適した一つの目標関数の最適化アルゴリズムとして、DE-2LSが紹介されます。
この研究では、全域最適化アルゴリズムを開発しました。研究者は、Bézier カーブに基づく随伴的トレース検索というアルゴリズムを提案しました。
この研究では、多目標最適化法の分析をしました。これは、システムによって最適解が幾つか存在する状況を考慮することで、最適解を探索するために行われた。
概率モデルに基づく進化アルゴリズムは、暗号化された最適化において強力なツールである。特に、ASNGは、重力を適応させることで、効率的かつ安定した最適化を実現している。しかし、重量の制御は依然として未解明の一つの分野である
次元制御とモジュラリティの関係を研究することで、続き続ける学習において、安定性と変化性を最適化し、より効率的な学習を行うことが可能となる。
多オブジェクトの最適化における偏差修正の効果を分析し、偏差を削減するための方法を提案した。