차라리 AI 법관을 만들면 지금보다는 훨씬 정의가 실현되지 않을까 생각한 적이 있다. 최근 성범죄 형량이 낮은 거, 여전히 유전무죄인 상황들을 보면서도 그런 생각이 들었는데, 이 책 <자동화된 불평등>을 읽고선 생각을 고쳐 먹었다.
책의 사례에 따르자면 (아마 그렇게 되기 십상일 텐데) AI가 판례를 참고한다고 해도 기존 불의한 판례를 참고하기 때문에 이를 답습하기 쉽다. 판례가 아니라 법문을 참고한다고 해도 애초에 불평등하거나 사회 정의를 고려하지 않은 법이 개선되지 않는 이상 판결은 개선될 여지가 없다. 가령 기업 살인법이 신설되고 벌이 강화되지 않으면 여전히 이촌 물류창고 화재 사건과 같은 재난의 책임을 온전히 물을 수가 없다.
따지고 보면 간단한 사실인데 '프로그램'이 처리한다는 사실이, 혁신 기술을 도입한다는 사실이 합리적이고 효율적이고 심지어 사회 정의를 이룰 거라는 생각하는 착각을, 이 책은 적나라하게 까발린다.
저자에 따르면 그런 '기술 혁신'은 오히려 체제가 가지고 있던 가난에 대한 편견을 은폐하고 그에 따른 차별과 배제를 강화한다. 저자가 사례로 드는 것은 세 가지다.
인디애나주의 적격성 판정 시스템은 복잡한 접근성때문에 생기는 오류들을 모두 당사자들의 '불협조'로 판정해 버리고 지원받을 자격을 박탈해 버린다. 자동화 시스템은 인간의 재량권을 없애 이런 오류를 바로잡는 것을 어렵게 만들고, 대개 공공부조가 시급한 이들은 이런 오류를 바로잡을 새도 없이 나락으로 추락해 버린다. 저자는 이런 완벽한 배제야 말로 이 시스템을 고안한 사람들의 의도라고 고발한다.
가난한 사람들을, 그들이 받아야 할 도움으로부터 유리시키기는 로스엔젤리스의 노숙인 통합시스템도 마찬가지다. 시스템을 도입한 명목은 도움이 절실한 노숙인과 적절한 주거지를 매칭시켜주겠다는 것이지만, 애초에 '적절한 주거지'를 확충하려는 의지가 없는 상황에서는 이 시스템은 노숙인들을 낙인찍고 감시하는 기능을 한다. 적절한 주거 공급은 커녕 이곳의 노숙인 천막촌은 지속적으로 축출되어 왔다.
앨러게니의 아동 학대 방지 및 예고 시스템은 다양한 지표로 부모의 학대를 예고하여 아동들을 폭력으로부터 지키기 위해 고안되었다. 그러나 이 시스템이 학대 상황의 지표로 입력한 것은 대개 가난한 상황과 겹쳐지고, 가난을 극복하기 위해 공공부조를 받게된다면 그 부모는 아이를 키우기에 부적합한 부모로 낙인 찍히도록 설계되어 있다.
공공부조를 명목으로 내세운 자동화 시스템의 불온성은 똑같은 처우를 중산층에게 적용할 수 있는지를 생각해보면 분명히 드러난다. 정부는 중산층은 절대로 동의하지 못할 일들을 빈민들에게 강요하고 있다. 개인 정보를 공개해야하고 노동할 의지가 있음을 굴욕적으로 선언하고, 정부의 간섭과 통제에 순종하겠다는 각오를 가져야만 도움을 받을 자격이 생긴다. 분명한 것은 이런 조건이 지원을 위한 것이 아니라 걸러내기 위한 핑계라는 것이다.
결국 기술은 아무 것도 얘기해주지 않는다, 라는 것이 저자의 주장이다. 혁신 기술이 사회를 혁신하는 것이 아니다. 우리가 무관심하다면 (우리로 치면) 형제원 같은 구빈원이 단지 디지털로 바뀐 것에 불과하다는 얘기다.