ピッツバーグ (AP) — 司法省は、このツールが障害のある家族に対する差別につながる可能性があるという懸念を受けて、ピッツバーグ地域の児童保護サービス機関によって使用されている物議を醸している人工知能ツールを精査してきました, AP 通信が知りました.
連邦公民権弁護士の関心は、AP の調査が、米国の問題を抱えた児童福祉システム内でのアルゴリズムの使用の増加を取り巻く潜在的な偏見と透明性の問題を明らかにした後にもたらされました。子どもたちは害に直面する可能性があり、過去のデータに依存することで過去の不平等が自動化されるリスクがあると言う人もいます。
ソーシャルワーカーがどの家族を調査するかを決定するために使用されるアレゲニー家族スクリーニングツールについて、秋にいくつかの公民権に関する苦情が提出されたことをAPは知った. 先駆的な AI プログラムは、家族がアレゲニー郡で児童福祉の問題について報告されたときに、その家族のリスク レベルを評価するように設計されています。
2人の情報筋によると、司法省公民権局の弁護士はAPの調査を引き合いに出し、アルゴリズムがメンタルヘルスの問題を抱えた家族を含む障害者に対する偏見をどのように強化するかについての懸念を詳述した正式な苦情を提出するよう求めた.
3 人目の人物が AP に語ったところによると、同じ連邦公民権弁護士のグループが 11 月に、アルゴリズム ツールが障害を持つ人々を含め、格差をどのように悪化させる可能性があるかについての幅広い会話の一環として、彼らと話をした. その会話は、アレゲニーの影響力のあるアルゴリズムの設計と構築を調査しましたが、司法省の関心の全容は不明です.
3 人の情報源はいずれも匿名を条件に AP に語り、司法省が機密の会話について話し合わないように頼んだと述べた。 2 人は、職業上の報復も恐れていると述べた。
司法省のスポークスマン、ウィン・ホーンバックル氏はコメントを控えた。
アルゴリズムは、情報のプールを使用して、オンライン ショッピング、犯罪のホット スポットの特定、労働者の雇用など、データ ポイントを予測に変換します。 米国の多くの機関は、子供や家族との仕事の一環として、そのようなツールを採用することを検討しています.
児童保護サービスに人工知能を使用することの道徳的結果については広範な議論がありましたが、アレゲニー アルゴリズムに対する司法省の関心は、潜在的な法的影響への重要な方向転換を示しています。
ピッツバーグのベテラン家族法弁護士であり、アレゲニー アルゴリズムの声高な批評家であるロビン フランクは、10 月に娘を養育から取り戻すために戦っている知的障害のあるクライアントに代わって司法省に苦情を申し立てたと述べた。 . AP は訴状の写しを入手し、Allegheny Family Screening Tool が家族のリスクを評価する方法について懸念を提起しました。
「人々が自分たちの権利が何であるかを認識することは重要だと思います。アルゴリズムについて有効な疑問があるように見えても、多くの情報を持っていない限り、ある程度の監視が重要です」とフランクは言いました.
アレゲニー郡福祉局のスポークスマンであるマーク・ベルトレット氏は電子メールで、同局は司法省から連絡がなく、インタビューの要請を断ったと述べた.
「研究グループの過去の評価や（アレゲニー家族スクリーニングツール）に関するコミュニティのフィードバックから、これらの変数を含めることについての懸念は認識していません」と郡は述べ、ツールに関する以前の研究とアウトリーチについて説明しました.
児童保護サービスの労働者は、あらゆる側面からの批判に直面する可能性があります。 彼らは、過剰な監視と、彼らの視野に入る家族を十分にサポートしていないことの両方の責任を負っています。 このシステムは、黒人、貧困層、身体障害者、周縁化された家族を不釣り合いに引き離し、児童虐待や死亡に対処するどころか根絶も不十分であるとして、長い間批判されてきました。
支持者は、アルゴリズムをシステムをより完全かつ効率的にするためのデータ駆動型のソリューションと見なしており、児童福祉当局は、子供が虐待されないようにするために、自由に使えるすべてのツールを使用する必要があると述べています。
批評家は、その重要な仕事の一部を、主に貧しい人々から収集されたデータを利用する AI ツールに委任すると、人種、収入、障害、またはその他の外部特性に基づいて家族に対する差別が生じる可能性があると懸念しています。
AP の以前の記事では、レースのプロキシとして解釈できるアルゴリズムによって使用されるデータ ポイントが強調されていました。 現在、連邦の公民権弁護士は、このツールが障害を持つ人々に与える潜在的な影響を検討しています。
Allegheny Family Screening Tool は、家族の調査後 2 年間に子供が里親に預けられるリスクを予測するために特別に設計されました。 郡によると、そのアルゴリズムは、虐待の報告後に子供が家から連れ去られるリスクを予測するのに役立つため、子供、親、および地元の世帯の他のメンバーの障害に関連付けられたデータポイントを使用しています. 郡は、アルゴリズムを数回更新し、障害に関連するデータ ポイントを削除することもあると付け加えました。
詳細な個人データと出生、メディケイド、薬物乱用、メンタルヘルス、刑務所および保護観察記録などの政府データセットを使用して、アレゲニー ツールの統計計算は、ソーシャル ワーカーがネグレクトの調査を行うべき家族を決定するのに役立ちます。不適切な住居から劣悪な衛生状態まですべてが含まれますが、身体的または性的虐待とは別のカテゴリーであり、ペンシルバニア州で個別に調査され、アルゴリズムの対象にはなりません。
アルゴリズムによって生成されたリスク スコアだけでは、そのケースで何が起こるかはわかりません。 児童福祉調査は、脆弱な家族がより多くの支援とサービスを受けられるようになる可能性がありますが、里親のために子供を連れ去られ、最終的には親の権利が終了する可能性もあります.
郡は、アルゴリズムがコール センターの従業員の個人的な偏見を科学的にチェックしていると述べています。 郡当局者はさらに、ホットライン ワーカーが家族のケースで何が起こるかを決定し、ツールの推奨事項をいつでも無効にできることを強調しました。 また、このツールは、家族が児童福祉プロセスに関与する可能性がある最初の段階にのみ適用されます。 その後、別のソーシャルワーカーが調査を行います。
障害を持つアメリカ人法は、糖尿病、がん、難聴から知的障害、ADHD、うつ病、統合失調症などの精神的および行動的健康診断まで、幅広い状態を含む可能性がある障害に基づく差別を禁止しています。
National Council on Disability は、障害のある親の多くが、フード スタンプ、メディケイド、および障害のある大人と子供に月々の支払いを提供する社会保障庁プログラムである Supplemental Security Income などの公的給付を受けていることに注目しています。
2016年から使用されているアレゲニーのアルゴリズムは、統合失調症や気分障害を含む精神障害、行動障害、神経発達障害の診断だけでなく、補足的なセキュリティ収入に関連するデータから抽出されることもある、とAPは発見した.
郡は、障害データが含まれている場合、それは「結果を予測するものであり」、「障害のある親が追加のサポートとサービスを必要としている可能性があることは驚くべきことではありません」と述べました. 郡は、子供の世話をする親の能力に影響を与える可能性のあるメンタルヘルスやその他の状態に関するデータを使用する他のリスク評価プログラムがあると付け加えました.
エミリー・パットナム・ホーンスタインとレマ・ヴァイシアナサンは、アレゲニーのアルゴリズムとそれに似た他のツールの開発者であり、アルゴリズムの内部動作に関するアレゲニー郡の回答を保留しました。 彼らは電子メールで、アルゴリズムに関連する司法省の精査については知らなかったと述べた.
AP は、児童保護サービスに報告された家族のリスク スコアを計算するために使用される何百もの特定の変数を示す記録を取得しました。これには、アレゲニー アルゴリズムや、米国の他の場所の児童福祉システムに展開されている同様のツールを強化する公開データが含まれます。
アレゲニーのアルゴリズムと、カリフォルニア州ロサンゼルス郡、コロラド州ダグラス郡、およびオレゴン州のアレゲニーのアルゴリズムに触発されたアルゴリズムの AP の分析は、低所得者およびその他の恵まれない人口統計を持つ人々を測定した一連の物議を醸すデータポイントを明らかにし、時には家族を測定します。人種、郵便番号、障害、およびそれらの公共福祉給付の使用。
AP の調査が公開されて以来、オレゴン州は人種的公平性への懸念からアルゴリズムを廃止し、ホワイトハウスの科学技術政策局は、政府機関が国内初の「AI 法案」の一部としてアルゴリズムをどのように展開しているかについて、保護者とソーシャル ワーカーをより透明にする必要があることを強調しました。権利の。」
司法省は近年、アルゴリズムの調査に幅広い関心を示している、と以前司法省の公民権部門の訴訟と調査の一部を率いたジョージタウン大学法学教授のクリスティ・ロペスは述べた。
約 1 年前の基調講演で、司法次官補のクリステン クラークは、AI 技術は「障害を持つ人々の権利に深刻な影響を与える」と警告し、彼女の部門は最近、採用に AI ツールを使用するとアメリカ人を侵害する可能性があると雇用主にガイダンスを発行しました。障害者法。
ロペス氏は司法省がアレゲニー氏のツールを精査していることについて、「アルゴリズムが差別的慣行を永続させている程度を調査することは、部門にとって優先事項であるように思われる」と語った。
ミネソタ大学の児童福祉と障害の専門家である Traci LaLiberte 氏は、連邦当局が地元の児童福祉機関に大部分を委ねてきたため、司法省の調査は彼女にとって際立っていたと述べた。
LaLiberte は、障害のある親がいかに児童福祉制度の影響を不均衡に受けているかを詳述した研究を発表しました。 彼女は、障害に関連するデータポイントをアルゴリズムで使用するという考えに異議を唱えました。なぜなら、それは行動ではなく、人々が変えることができない特性を評価するからです.
「それが行動の一部でない場合、それを (アルゴリズム) に含めることでバイアスがかかる」と LaLiberte 氏は述べています。
___
バークはサンフランシスコから報告した。
____
サリー・ホーとギャランス・バークのツイッターを @_sallyho と @garanceburke でフォローしてください。 Investigative@ap.org または https://www.ap.org/tips/ で AP のグローバル調査チームに連絡してください。