Machine learning en AI worden vaak ingezet om  besluitvorming eerlijker te maken of achterstanden weg te werken. Een voorbeeld is het beslissen of berichten op sociale media in strijd zijn met richtlijnen over wel en niet toegestane inhoud.

Onderzoekers van MIT en elders hebben echter aangetoond dat deze modellen vaak anders beslissen over het overtreden van regels dan mensen doen. Als modellen niet met de juiste gegevens zijn getraind, zullen ze waarschijnlijk andere, vaak hardere oordelen vellen dan mensen zouden doen. Dit komt vooral door de manier waarop de data verzameld en gelabeld worden.

https://news.mit.edu/2023/study-ai-models-harsher-judgements-0510