I detta arbete kommer vi granska den växande komplexiteten hos maskininlärningsmodeller och den utmaning detta innebär när det gäller att förstå hur maskinen faktiskt fattar sina beslut. Genom att undersöka rollen av interpretability (tolkningsbarhet) och explainability (förklarbart) även om det finns många andra aspekter att utforska inom området för maskininlärningsmodeller, har vi valt att begränsa vårt fokus till dessa två på grund av deras grundläggande betydelse för att förstå modellbeteende och främja tilltro till deras förutsägelser. Dessa aspekter är särskilt relevanta i komplexa modeller där beslutsfattande kan verka ogenomskinligt eller outgrundligt.

Ett experiment utformades och genomfördes med egna handskrivna siffror för att undersöka modellernas interpretability och explainability med hjälp av integrated gradients (IG) och feature maps (FM) för att analysera och jämföra modeller byggda med valda ramverk. Experimentets syfte är att bidra till och bredda förståelsen för hur interpretability och explainability i praktiken kan förbättras och hanteras effektivt för att skapa mer begripliga och trovärdiga modeller för maskininlärning.

Bilderna i resultatet visar en visualisering av handskrivna siffror med hjälp av IG och FM som pekar på de delarna som modellen har viktat och som har lett till ett fel förutsägelse. Genom användning av IG och FM kunde orsaken till fel förutsägelse upptäckas och rättas genom att öka antalet epochs eller ersätta inputbilden med bättre kvalitet av bilden som är felaktigt förutsedda. Resultatet visar behovet av integrering av IG och FM i maskininlärningmodeller och hur de hjälper förbättra modeller för ett trovärdigt beslut. 

In this work, we will review the growing complexity of machine learning models and the challenge this presents in understanding how the machine actually makes its decisions. Examining the roles of interpretability and explainability, although there are many other aspects to explore in the field of machine learning models, we have chosen to limit our focus to these two due to their fundamental importance in understanding model behavior and promoting confidence in their predictions. These aspects are particularly relevant in complex models where decision-making can appear opaque or inscrutable.

An experiment designed and carried out with own handwritten figures to investigate the interpretability and explainability of the models using integrated gradients (IG) and feature maps (FM) to analyze and compare models built with selected frameworks. The purpose of the experiment is to contribute to and broaden the understanding of how interpretability and explainability in practice can be improved and managed effectively to create more understandable and credible models for machine learning.

The images in the result show a visualization of handwritten numbers using IG and FM that point to the parts that models have weighted and that have been mispredicted. Using IG and FM, the cause of misprediction could be detected and corrected by increasing the number of epochs or replacing the input image with better quality of the image that is incorrectly predicted. The result shows the need for integration of IT and FM in machine learning models and how they help improve models for a credible decision.