Open AIは、ヘルスケアのビッグモデルに特化したテスト評価セットHealthBenchをオープンソース化しました。これまでのテストセットとは異なり、60カ国26の専門分野から262人の医師によって作成された5，000のコアテスト会話は、テストセットの難易度、信頼性、豊かさを大幅に向上させました。また、単純な解答や多肢選択問題ではなく、複数回の対話テストを使用しています。テストデータによると、ビッグモデルはヘルスケア分野で大幅に改善されています。例えば、従来のGPT-3.5 Turboの16%から、GPT-4 oの32%、o 3の60%へと、全体的なパフォーマンスが大幅に向上しました。特に小型モデルの進歩は顕著で、GPT-4.1 nanoは性能でGPT-4oを上回るだけでなく、コストを25倍削減した。