Reproducerbarhed er en hjørnesten i den videnskabelige metode, fordi det er nødvendigt at fastslå gyldigheden af eksperimentelle resultater og således vurdere robustheden af de beviser, der understøtter en teori eller en påstand. Computational reproducerbarhed handler om at opnå konsistente resultater med data science ved hjælp af de samme input data, beregningsmetoder og analysebetingelser. Det hænger sammen med replikabilitet, som handler om at opnå konsistente resultater på tværs af undersøgelser, der sigter mod at besvare det samme videnskabelige spørgsmål, med egne data. Disse to definitioner blev slået fast i december 2019 af US National Academy of Sciences.
Computational reproducerbarhed og replikabilitet opnås med passende værktøjer og praksis. Ideelt set skal det være lige så nemt at reproducere et computational eksperiment som at læse en artikel om dets resultat. Det kræver, at software og data er tilgængelige, at der kan anvendes passende hardwareressourcer, og at systemet konfigureres korrekt. Der er blevet udviklet værktøjer i de seneste år, men det er stadigvæk en udfordring at håndtere personlige data, fortrolig software eller konfiguration af high-performance computers.
Nu om dage er reproducerbarhed af data science meget relevant i et række områder fra akkreditering af medicinsk udstyr til gyldighed af big data studier. Det er også nødvendigt til at sikre passende arkivering af forskningsresultater og publicering af data sets, så forskere kan bygge videre på eksisterende resultater.
Målet er, at data science bliver en integreret del af den videnskabelige metode, sammen med de teoretiske og empiriske grene.