Dieses Forschungs- und Praxisfeld beschäftigt sich damit, wie man sicherstellen kann, dass KI-Systeme so funktionieren, wie sie sollen, ohne unbeabsichtigte oder gar schädliche Auswirkungen zu haben – sowohl kurz- als auch langfristig. Das geht über die reine Funktionsfähigkeit hinaus und beinhaltet Aspekte wie Robustheit gegenüber Angriffen oder Fehlern, Kontrollierbarkeit und die Vermeidung von existenziellen Risiken, die von zukünftigen, sehr fortgeschrittenen KIs ausgehen könnten.