Meta AI傘下のFAIRチームは、ジョージア工科大学と共同で、炭素排出量を設計の中核として考慮したCATransformersフレームワークを共同開発しました。モデルアーキテクチャとハードウェア性能を共同で最適化することで、総炭素排出量が大幅に削減され、持続可能なAI開発に向けた重要な一歩となります。
機械学習技術の普及は、レコメンデーションシステムから自動運転に至るまで、幅広いイノベーションを推進してきましたが、その環境コストは軽視できません。これらのシステムは強力なコンピューティングリソースを必要とし、多くの場合、実行にはカスタマイズされたハードウェアアクセラレータに依存しています。学習段階と推論段階における膨大なエネルギー消費は、運用段階における炭素排出量の増加に直接つながります。
さらに、製造から廃棄までのハードウェアのライフサイクル全体で「埋め込み炭素」も発生し、環境負荷をさらに増大させています。世界中の産業界におけるAI技術の導入が加速する中、運用段階と埋め込み炭素という2つの排出源への対応が急務となっています。
現在の排出量削減のアプローチは、主に学習と推論のエネルギー消費の最適化やハードウェア利用率の向上といった運用効率の向上に重点を置いています。しかし、これらの手法では、ハードウェアの設計および製造段階における炭素排出量が考慮されないことが多く、モデル設計とハードウェア効率の相互影響を統合できていません。
MetaのFAIRチームとジョージア工科大学が共同で立ち上げたCATransformersフレームワークは、炭素排出量を設計の中核的な考慮事項に組み込んでいます。このフレームワークは、多目的ベイズ最適化エンジンを用いてモデルアーキテクチャとハードウェアアクセラレータの性能を共同で評価し、レイテンシ、エネルギー消費、精度、そして総炭素排出量のバランスをとります。
特にエッジ推論デバイス向けに、CATransformersは大規模なCLIPモデルを縮小してバリアントを生成し、それらをハードウェア推定器と組み合わせて炭素排出量と性能を分析します。その結果、CarbonCLIP-SはTinyCLIP-39Mと同等の精度を実現しながら、炭素排出量を17%削減し、レイテンシを15ミリ秒未満に短縮しました。CarbonCLIP-XSは、TinyCLIP-8Mと比較して、精度が8%向上し、炭素排出量が3%削減され、レイテンシが10ミリ秒未満となっています。
調査によると、レイテンシのみを最適化する設計では、二酸化炭素排出量が最大2.4倍増加する可能性があります。一方、カーボンフットプリントの最適化とレイテンシ戦略を組み合わせることで、レイテンシによるペナルティを最小限に抑えながら、総排出量を19～20%削減できる可能性があります。
CATransformersは環境指標を組み込むことで、持続可能な機械学習システムの設計基盤を構築します。これは、AI開発の初期段階からハードウェア機能と炭素影響の考慮を組み合わせることで、パフォーマンスと持続可能性の両方のメリットが得られることを示しています。AIが拡大し続ける中で、このフレームワークは業界に排出量削減のための実用的な道筋を提供します。