デビッド・メイルは、Ingeroの共同著者およびメンテナーです。Ingeroは、CUDAレベルのGPU観測可能性を提供するオープンソースのeBPFエージェントです。彼は、プロダクションAIワークロードのカーネルレベルトレースに特化しています。
この記事は、eBPF uprobesを使用したカーネルレベルのGPUトレース調査の結果に基づいています。トレースデータベースは、独立した検証のためにIngeroのオープンソースリポジトリに公開されています。 TL;DR PyTorchのDataLoaderは、直接のテンソルインデックス化よりも50〜124倍遅いことがあります。私たちは、RTX 4090で実際のPyTorchの問題を再現し、CUDA API呼び出しとLinuxカーネ...
