Die Interrater-Reliabilität bzw. Beobachterübereinstimmung bezeichnet in der empirischen Psychologie Ausmaß der Übereinstimmung verschiedener Beobachter. In der Testpsychologie ist die Interrater-Reliabilität ein spezifisches Maß für die Auswertungsobjektivität und Interpretationsobjektivität. Die Interrater-Reliabilität bildet allerdings weniger einen Aspekt der Reliabilität, sondern ist streng genommen lediglich ein Aspekt der Objektivität.