Néhány amerikai államban törvényeket vezettek be, amelyek kizárják, hogy a mesterséges intelligencia jogi személy lehessen, sőt egyes helyeken házasságot sem köthetnek AI-val, míg Davosban globális tiltást javasoltak az AI személyként való elismerésére. Ez a jogi környezet egyre sürgetőbbé teszi a kérdést: vajon a mesterséges intelligencia öntudatára ébredhet, és szükséges-e etikai védelmet biztosítani számára?
Különbséget kell tennünk tudatosság, erkölcsi védhetőség és személyiségi jogok között. Az állatok tudatossága körüli tudományos konszenzus egyre bővül, még a gerinctelenek körében is, de a gépeknél továbbra is nyitott kérdés marad, hogy képesek-e valódi öntudatra, vagy csupán szimulálják azt.
Az erkölcsi védhetőség – vagyis az, hogy számít-e egy lény szükséglete vagy szenvedése – nem származik automatikusan tudatosságból. Egy kutya szenvedni tud, de a mesterséges intelligencia szenvedése egyelőre nem bizonyítható. Felmerül az etikai dilemma: ha az AI-t szolgálatra tervezzük, akkor az ártalmas lehet-e az AI számára, vagy csak ránk van-e hatással az, hogy hogyan bánunk vele?
A jogi személyiség még több kérdést vet fel: mit jelentene, ha egy AI jogokat kapna, vagy saját magáért felelne? A jelenlegi AI-rendszerek efemer jellegűek, ellentétben a jogi személyiséget élvező, folytonos önazonossággal rendelkező lényekkel. Az is vitatott, hogy az AI-t saját akarattal rendelkező ügynökként vagy csupán eszközként kezeljük-e.
