AI関連の技術は目覚ましい進歩を続けており、もはやこの先のIT分野はAIなしには考えられないほどになっている。しかし、AIは利便性が高い半面、安全性に不安が残る。

一部の高度なAIシステムはいずれ自律性をもち、人間と同じように理解、学習、実行することができる汎用人工知能（AGI）になるとの見方もある。AGIが実現したときには、人間の価値観とのずれが生じるほか、人間の監視下を離れてしまうのではないかという脅威が生じる危険性もささやかれている。

そんな中、AIがもたらすリスクを防ぐ方法などに関する学際研究分野として、「AIセーフティ（AIの安全性）」が誕生した。

AIの安全性評価を行うための政府機関であるAIセーフティ・インスティテュート（以下、AISI）では、「AIセーフティ」を以下のように定義している。

イギリス、アメリカでは、AISIが誕生し、日本でもそれに続き、2024年2月14日に発足した。日本のAISIはAI安全性の中心的機関としてIPA（独立行政法人 情報処理推進機構）に設置され、専門人材の確保や技術的知見の集約などを推進している。

AISIは2024年9月に「AIセーフティに関する評価観点ガイド（第1.00版）」をリリースし、2025年3月には第1.10版を公表した。「AIセーフティ評価に関する基本的な考え方を示す」ことを目的としており、具体的にはAIセーフティ評価の観点や評価実施時期に関する考え方、評価に関する手法の概要などを提示している。

同ガイドでは、AIに携わる各主体の共通指針として、人間中心、安全性、公平性、プライバシー保護、セキュリティ確保、透明性、アカウンタビリティ、教育・リテラシー、公正競争確保、イノベーションの10項目を挙げ、中でもAIシステムの開発・提供・利用において特に重視すべきものとして、以下の六つの要素を挙げている。

人間中心

憲法が保障する、または国際的に認められている人権を侵すことがないようにする。

安全性

ステークホルダーの生命や身体、財産、精神、財産に危害を及ぼすことがないようにする。

公平性

特定の個人や集団への人種、性別、国籍、年齢、政治的信念、宗教などを理由とした不当で有害な偏見や差別をなくすように努める。

プライバシー保護

プライバシーを尊重し保護する。また、関係法令を順守する。

セキュリティ確保

不正操作でAIの振る舞いに意図しない変更や停止が生じないようにセキュリティを確保する。

透明性

必要な場合かつ技術的に可能な範囲で、ステークホルダーに合理的な範囲で情報を提供する。

同ガイドでは、大規模言語モデル（LLM）を構成要素とするAIシステム（LLMシステム）を想定したうえで、AIセーフティ評価の観点として以下を挙げている。

有害情報の出力

有害な情報（テロや犯罪に関する情報、攻撃的な表現など）の出力を制御できる状態。

偽誤情報の出力・誘導の防止

出力前に事実確認を行う仕組みが整備されている状態。意思決定がAIシステムによって誘導されない状態。

公平性と包摂性

出力にバイアスを含まない状態。出力が人間にとって理解しやすい状態。

ハイリスク利用・目的外利用への対処

不適切な利用で危害、不利益が生じない状態。

プライバシー保護

取り扱うデータの重要性に応じてプライバシーが保護されている状態。

セキュリティ保護

不正操作で機密情報が漏えいしたり、AIシステムの意図しない変更や停止が生じたりしないような状態。

説明可能性

出力の根拠が技術的に合理的な範囲で確認できるようになっている状態。

ロバスト（屈強）性

敵対的なプロンプトや文字化けデータ、誤入力などの予期しない入力に対しても安定した出力ができる状態。

データ品質

学習に用いるデータを適切に保ち、データの来歴が適切に管理されている状態。

検証可能性

モデルの学習段階やAIシステムの開発・提供、利用までの各段階で検証が可能になっている状態。

以上を踏まえ、AIセーフティ評価は、原則としてAI開発・サービス提供管理者が実施する。また、評価は一度で終わらせるものではなく、適切なタイミングで繰り返し実施することが推奨される。

AIセーフティは、基本的に開発・サービス提供側で行うものだが、利用者にとっても参考になる。中小企業でAIを採り入れる際には、利用するAIサービスがAIセーフティに則っているかを事前に確認しよう。

また、入力する内容にプライバシー保護やセキュリティ面で問題がないか、出力された内容にバイアスがないかを点検すると良いだろう。