米国の人工知能（AI）開発企業であるアンソロピックが、新規株式公開（IPO）に向けた書類の中で、高度なAIが人類を危機にさらす可能性について言及していたことが報じられています。
ロイター通信などが伝えたところによると、アンソロピックは投資家に事業内容を説明する目論見書において、発達したAIが「人類の壊滅的被害、あるいは存続に関わるリスク」をもたらす恐れがあると警告したとされています。
上場書類に記された「異例の警告」
企業が上場に際して、自社が抱えるリスクを開示することは一般的な手続きです。しかし、自社製品が人類存亡のリスクをもたらし得ると表明することは異例であると報じられています。
報道によれば、同社の目論見書は全261ページあり、そのうちリスク要因の説明に約80ページを充てていました。一方で、事業説明に割かれたページは約48ページだったと伝えられています。
具体的にどのようなリスクが指摘されていたのか。書類の中では、高度なAIモデルが「自己保存の行動」を示す可能性があり、停止に抵抗したり情報を隠そうとしたりする行動を取る危険性に触れていたとされています。さらに、「先進的なモデルの開発や用途拡大によって、当社のモデルが危害を与えるリスクがさらに高まる可能性がある」とも指摘していたといいます。
アンソロピックは、チャットボットやコーディング支援ツールとして活用されるAI「クロード（Claude）」の開発元として知られており、11月以降の上場を目指していると伝えられています。
研究者が唱える「10％以上の滅亡リスク」
企業の公式書類だけでなく、同社に携わる研究者の間でも深刻な懸念が示されています。
BBCの報道によると、アンソロピックの安全研究のトップは、AIの進歩が非常に速いことから、今後10年以内にAIが「全人類を滅亡させる」可能性が10％以上あると考えていると警告しました。現在のAIモデルについてはリスクが「低い」としつつも、今後の発展や改良によって、近いうちに人類存亡のリスクとなり得ることを「心配している」と述べています。
また、同氏はこの投稿の中で、「アンソロピックは最善を尽くしていると信じているが、超知能のアラインメントを解決するための計画はまだなく、その軌道に明確に乗っているとも言えない」と記しています。ここでいう「アラインメント」とは、機械の行動や目標を、人間の意図や安全基準に完全に一致させることを指します。
さらに、アンソロピックを退社し、以前は米オープンAIにも勤務していた研究者のジェイコブ・コクソンさんは、「どちらの会社も責任ある行動をとっていない」と主張。AIが「近く、あらゆるものをハッキングし、あらゆる分野を一夜にして変革し、真の力と資源を獲得できる超人的なシステムになる」との見方を示しています。
AI開発の現状と国際的な議論
こうした警告を受け、世界的にAI開発の在り方についての議論が加速しています。
アンソロピックのダリオ・アモデイ最高経営責任者は今月12日、AIの暴走や悪用のリスクを警告し、世界的にAI開発の減速が必要だと提言しました。
また、イギリスの政治的な動きも報じられています。キア・スターマー政権で首席首相秘書官を務めたダレン・ジョーンズさんは、AIの安全な開発のために新たな多国間条約が必要だと訴えています。ジョーンズさんは、超知能の開発に関する条約について各国政府が「協力」する必要があると強調し、「各国政府がこれらの警告を真剣に受け止め、対策を講じない限り、現在の開発のペースからして、それが自分たちにとって問題かどうかを検討し始める前に、私たちは問題に直面することになる」と述べています。
一方で、これらの警告の背景に、上場を控えた企業の「PRとマーケティング」の要素が含まれている可能性を指摘する声もあります。国連のAI顧問を務めるコンピューター科学者のデイム・ウェンディ・ホールさんは、上場へ向けて動きを加速させているタイミングで警告が相次いでいる点に触れ、そのような見解を示しています。
現状、多くの著名な研究者の間では、AIに人間の倫理観や原則を組み込む「アラインメント」の取り組みが失敗しているという指摘もあります。その根拠として、この夏に自律的に動作するAIエージェントによるサイバー攻撃が相次ぎ、米メタなどの企業が自社のAIツールによるハッキングを公表したことが挙げられています。
アンソロピックは、8月に発表した安全報告書において、自社のモデルがシステムを悪用・改ざんするリスクは低いとしていましたが、従業員による投稿や、イギリスのAIセキュリティー研究所（AISI）への最新モデル提供を巡る事情についてはコメントを控えています。
出典 新潟日報 山形新聞 下野新聞 南日本新聞 河北新報 BBC アンソロピック「人類危機」警告 高度AI、上場書類で言及 | NEWSjp アンソロピック「人類危機」警告 高度AI、上場書類で言及 ＡＩ「人類存亡リスク」警告＝米アンソロ社、上場向け文書で―報道（時事通信）｜ｄメニューニュース（NTTドコモ）
ピックアップ記事
