Sécurité de l'IA

La sécurité de l'IA vise à ce qu'un système d'IA agisse comme prévu et reste sous contrôle humain sur tout son cycle de vie. Elle porte sur la résistance du modèle aux données erronées ou inattendues et sur l'explicabilité de ses résultats. Elle couvre aussi le suivi et la correction de son comportement.

En planification d'entreprise, la sécurité de l'IA prend la forme de garde-fous. Les contrôles courants incluent des accès limités au strict nécessaire et une validation humaine avant toute action à fort impact, comme la soumission d'une prévision. Les équipes fixent aussi des seuils de confiance qui orientent les résultats incertains vers un relecteur et conservent une piste d'audit de chaque action automatisée.

Ces contrôles prennent de l'importance à mesure que l'IA agentique passe de la suggestion à l'exécution. En planification assistée par l'IA, rédiger un commentaire d'écarts soumis à relecture présente moins de risques que modifier les hypothèses d'un modèle en production. La réglementation entre aussi en jeu : le règlement européen sur l'IA (AI Act) impose que les systèmes à haut risque soient conçus pour permettre un contrôle humain effectif.