OpenAIが低リソース言語の評価結果を公表
OpenAIは2026年10月19日、COBOL、Fortran、Visual Basicなど、学習に利用できるコードや文書が比較的少ないプログラミング言語について、最新モデルのソフトウェア開発・移行能力が向上したと発表した。
評価には、複数言語で実装能力を測るMultiLangBenchと、既存COBOLプログラムの移行能力を調べるCOBOL移行評価が使われた。
MultiLangBenchとは
MultiLangBenchは、20種類のプログラミング言語を対象に、SQLite互換のデータベースエンジンを一から構築できるか検証する評価環境だ。
主な結果
- 最高得点に設定したGPT-6 Astraは、20言語の平均テスト合格率が87.4％だった。
- 比較対象のGPT-5.6 Solは、平均26.8％だった。
- COBOLの合格率は、従来モデルの10.9％から72.1％へ上昇した。
- 一方、COBOLは評価対象の中で引き続き最も難しい言語だった。
ツールの使い方
MultiLangBenchは、同じデータベース実装課題とテストスイートを複数言語に適用し、モデルごとの実装能力を比較するために使う。記事によると、評価環境とテストスイートはGitHubで公開されている。
COBOL移行評価とは
COBOL移行評価は、既存COBOLプログラムの動作を維持したまま、別の言語へ移行できるかを検証するベンチマークだ。移行先にはC++、Java、Kotlin、Python、Rustの5言語が使われた。
厳格な合格条件
COBOLでは、固定小数点演算や丸め規則、レコード処理など、業務要件がコードに埋め込まれている場合がある。そこで評価では、観測可能な出力がバイト単位で完全に一致することを条件とし、内容を公開しないテストで検証した。全テストに合格した場合だけ、移行成功と判定している。
移行評価の結果
- 低い計算量設定のGPT-6.1 Solは、成功率86.6％を記録した。
- 同じ設定におけるGPT-5.6 Solの成功率は5.4％だった。
- GPT-6.1 SolのAPIコストは、GPT-5.6 Solの61倍に増加した。
- 計算量を増やすと成功率は97.9％に達したが、評価条件上の結果である。
実運用ではレビューと業務テストが必要
OpenAIは、モデルによる移行を本番ソフトウェアへ適用する際には、専門家によるレビューに加え、システムの業務上の意味や依存関係を踏まえたテストが必要だとしている。
推測を含む見方：ベンチマーク上ではCOBOL移行能力の大幅な改善が示されたが、成功率だけで実際の移行可否や費用対効果を判断することはできない。記事が示すAPIコストと、人によるレビューおよび業務テストの必要性を合わせて評価する必要がある。
