ピッツバーグ (AP) — 司法省は、障害を持つ家族に対する差別につながる可能性があるという懸念を受けて、ピッツバーグ地域の児童保護サービス機関によって使用されている、物議を醸している人工知能ツールを精査してきました, AP通信が知りました.
連邦公民権弁護士の関心は、AP の調査により、アレゲニー郡で児童福祉の懸念について報告された家族のリスクレベルを評価するように設計された不透明なアルゴリズムに関する潜在的なバイアスと透明性の問題が明らかになった後です。
ソーシャルワーカーがどの家族を調査するかを決定するために使用されるアレゲニー家族スクリーニングツールについて、秋にいくつかの公民権に関する苦情が提出されたことをAPは知った.
2人の情報筋によると、司法省公民権局の弁護士はAPの調査を引き合いに出し、アルゴリズムがメンタルヘルスの問題を抱えた家族を含む障害者に対する偏見をどのように強化するかについての懸念を詳述した正式な苦情を提出するよう求めた.
3 人目の人物が AP に語ったところによると、同じ連邦公民権弁護士のグループが 11 月に、アルゴリズム ツールが障害を持つ人々を含め、格差をどのように悪化させる可能性があるかについての幅広い会話の一環として、彼らと話をした. その会話は、アレゲニーの影響力のあるアルゴリズムの設計と構築を調査しましたが、司法省の関心の全容は不明です.
匿名を条件にAP通信に語った3人の情報筋はすべて、司法省が秘密の会話について話し合わないように頼んだと述べ、2人は専門家の報復も恐れていると述べた.
司法省のスポークスマン、ウィン・ホーンバックル氏はコメントを控えた。
アルゴリズムは、情報のプールを使用して、オンライン ショッピング、犯罪のホット スポットの特定、労働者の雇用など、データ ポイントを予測に変換します。 米国の多くの児童福祉機関は、子供や家族との仕事の一環として、このようなツールを採用することを検討しています。
児童保護サービスに人工知能を使用することの道徳的結果については広範な議論がありましたが、先駆的なアレゲニー アルゴリズムに対する司法省の関心は、潜在的な法的影響への重要な転換を示しています。
支持者は、アルゴリズムは緊張した児童保護サービスシステムをより完全かつ効率的にするための有望な方法であると考えており、児童福祉当局は子供が虐待されないようにするために自由に使えるすべてのツールを使用する必要があると述べています. しかし、批評家は、主に貧しい人々から収集されたデータポイントを含めると、人種、収入、障害、またはその他の外部特性に基づいて家族に対する差別が自動化される可能性があると懸念しています.
ピッツバーグのベテラン家族法弁護士であり、アレゲニー アルゴリズムの声高な批評家であるロビン フランクは、10 月に娘を養育から取り戻すために戦っている知的障害のあるクライアントに代わって司法省に苦情を申し立てたと述べた。 . AP は訴状の写しを入手し、Allegheny Family Screening Tool が家族のリスクを評価する方法について懸念を提起しました。
「人々が自分たちの権利が何であるかを認識することは重要だと思います。アルゴリズムについて有効な疑問があるように見えても、多くの情報を持っていない限り、ある程度の監視が重要です」とフランクは言いました.
アレゲニー郡福祉局のスポークスマンであるマーク・ベルトレット氏は電子メールで、同局は司法省から連絡がなく、インタビューの要請を断ったと述べた.
「研究グループの過去の評価や（アレゲニー家族スクリーニングツール）に関するコミュニティのフィードバックから、これらの変数を含めることについての懸念は認識していません」と郡は述べ、ツールに関する以前の研究とアウトリーチについて説明しました.
アレゲニー郡は、虐待の報告後に子供が家から連れ去られるリスクを予測するのに役立つため、そのアルゴリズムは子供、親、および地元の世帯の他のメンバーの障害に関連付けられたデータポイントを使用していると述べました. 郡は、アルゴリズムを数回更新し、障害に関連するデータ ポイントを削除することもあると付け加えました。
Allegheny Family Screening Tool は、家族の調査後 2 年間に子供が里親に預けられるリスクを予測するために特別に設計されました。 児童福祉の歴史、出生、メディケイド、薬物乱用、メンタルヘルス、刑務所および保護観察記録などの政府のデータセットから収集された詳細な個人データの山を使用しています。 アルゴリズムが 1 ～ 20 のリスク スコアを計算すると、数値が高いほどリスクが高くなります。 リスク スコアだけでは、そのケースで何が起こるかは決まりません。
AP は、昨年 4 月の記事で、人種的偏見と透明性の懸念を最初に明らかにしました。この記事では、Allegheny ツールと、その統計計算がソーシャル ワーカーがネグレクトについて調査する必要がある家族を決定する方法に焦点を当てています。 、ただし、ペンシルベニア州で個別に調査され、アルゴリズムの対象とならない身体的または性的虐待とは異なるカテゴリです。
児童福祉調査は、脆弱な家族がより多くの支援とサービスを受けられるようになる可能性がありますが、里親のために子供を連れ去られ、最終的には親の権利が終了する可能性もあります.
郡は、ホットライン ワーカーが家族のケースをどうするかを決定し、ツールの推奨事項をいつでも上書きできると述べています。 また、このツールは、家族が児童福祉プロセスに関与する可能性がある最初の段階にのみ適用されることも強調しています。 後で調査を行う別のソーシャル ワーカー、および家族とその弁護士は、スコアを知ることができません。
2016 年から使用されている Allegheny のアルゴリズムは、障害のある大人と子供に毎月の支払いを提供する社会保障庁のプログラムである追加保障収入に関連するデータから抽出されることがあります。 統合失調症や気分障害を含む精神障害、行動障害、神経発達障害の診断に加えて、APが発見した.
郡は、障害データが含まれている場合、それは「結果を予測するものであり」、「障害のある親が追加のサポートとサービスを必要としている可能性があることは驚くべきことではありません」と述べました. 郡は、子供の世話をする親の能力に影響を与える可能性のあるメンタルヘルスやその他の状態に関するデータを使用する他のリスク評価プログラムがあると付け加えました.
AP は、児童保護サービスに報告された家族のリスク スコアを計算するために使用される何百もの特定の変数を示す記録を取得しました。これには、アレゲニー アルゴリズムや、米国の他の場所の児童福祉システムに展開されている同様のツールを強化する公開データが含まれます。
アレゲニーのアルゴリズムと、カリフォルニア州ロサンゼルス郡、コロラド州ダグラス郡、およびオレゴン州のアレゲニーのアルゴリズムに触発されたアルゴリズムの AP の分析は、低所得者やその他の恵まれない人口統計を持つ人々を測定した一連の物議を醸すデータポイントを明らかにし、時には家族を測定します。人種、郵便番号、障害、およびそれらの公共福祉給付の使用。
AP の調査が公開されて以来、オレゴン州は人種的公平性への懸念からアルゴリズムを廃止し、ホワイトハウスの科学技術政策局は、政府機関が国内初の「AI 法案」の一部としてアルゴリズムをどのように展開しているかについて、保護者とソーシャル ワーカーをより透明にする必要があることを強調しました。権利の。」
司法省は近年、アルゴリズムの調査に幅広い関心を示している、と以前司法省の公民権部門の訴訟と調査の一部を率いたジョージタウン大学法学教授のクリスティ・ロペスは述べた。
約 1 年前の基調講演で、司法次官補のクリステン クラークは、AI 技術は「障害を持つ人々の権利に深刻な影響を与える」と警告し、彼女の部門は最近、採用に AI ツールを使用するとアメリカ人を侵害する可能性があると雇用主にガイダンスを発行しました。障害者法。
ロペス氏は、司法省がアレゲニー氏のツールを精査していることについて、「彼らは公民権調査員として、何が起こっているのかを突き止めようとしている」と語った。 「これは、アルゴリズムが差別的慣行を永続させている程度を調査する部門の優先事項であるように思われます。」
ミネソタ大学の児童福祉と障害の専門家である Traci LaLiberte は、連邦当局が地元の児童福祉機関に大部分を委ねてきたため、司法省の調査は彼女にとって際立っていたと述べた。
「司法省は児童福祉とはかけ離れています」とラリベルテ氏は言います。 「時間を割いて参加するには、かなり重大な懸念のレベルに達する必要があります。」
エミリー・パットナム・ホーンスタインとレマ・ヴァイシアナサンは、アレゲニーのアルゴリズムとそれに似た他のツールの開発者であり、アルゴリズムの内部動作に関するアレゲニー郡の回答を保留しました。 彼らは電子メールで、アルゴリズムに関連する司法省の精査については知らなかったと述べた.
研究者やコミュニティのメンバーは、児童福祉アルゴリズムを強化するデータの一部が、児童保護サービス内で周縁化された人々に対する歴史的な偏見を高める可能性があるという懸念を表明してきました。 これには、連邦公民権法の下で保護されたクラスであるコミュニティである、障害を持つ親が含まれます。
障害を持つアメリカ人法は、糖尿病、がん、難聴から知的障害、ADHD、うつ病、統合失調症などの精神的および行動的健康診断まで、幅広い状態を含む可能性がある障害に基づく差別を禁止しています。
LaLiberte は、障害を持つ親がいかに児童福祉制度の影響を不均衡に受けているかを詳述した研究を発表しました。 彼女は、障害に関連するデータポイントをアルゴリズムで使用するという考えに異議を唱えました。なぜなら、それは行動ではなく、人々が変えることができない特性を評価するからです.
「それが行動の一部でない場合、それを (アルゴリズム) に含めることでバイアスがかかる」と LaLiberte 氏は述べています。
___
バークはサンフランシスコから報告した。
____
サリー・ホーとギャランス・バークのツイッターを @_sallyho と @garanceburke でフォローしてください。 Investigative@ap.org または https://www.ap.org/tips/ で AP のグローバル調査チームに連絡してください。