1. Önce ölçülen yapıyı tanımlayın
Geçerlik çalışmasının başlangıç noktası istatistik değil kuramsal yapıdır. Ölçeğin tek boyutlu mu, çok boyutlu mu olduğu; toplam puanın ne anlama geldiği ve alt boyutların nasıl yorumlanacağı önceden tanımlanmalıdır.
2. İç tutarlılık tek başına yeterli değildir
Cronbach alfa madde sayısından ve tau-equivalence varsayımından etkilenir. Uygun durumlarda McDonald omega gibi katsayıların da raporlanması daha bilgi verici olabilir.
3. Yapı geçerliği
Keşfedici faktör analizi yeni veya belirsiz yapılarda; doğrulayıcı faktör analizi ise önceden tanımlanmış ölçüm modelinin sınanmasında kullanılır. Fit indeksleri tek tek eşiklerle değil modelin bütünüyle yorumlanmalıdır.
4. Yakınsak ve ayrışan geçerlik
Ölçeğin ilişkili olması beklenen yapılarla yeterli ilişki göstermesi, ancak kuramsal olarak farklı yapılardan da ayrışması gerekir. Korelasyonların büyüklüğü ve yönü önceden belirlenen hipotezlerle değerlendirilmelidir.
5. Test-tekrar test ve ölçüm hatası
Tekrar ölçümlerde yalnız korelasyon değil, mutlak uyum önemlidir. ICC, standard error of measurement ve minimal detectable change gibi ölçüler kullanım amacına göre değerlendirilebilir.
6. Grup karşılaştırmaları için measurement invariance
Cinsiyet, yaş grubu, kültür veya zaman noktaları arasında puan karşılaştırması yapılacaksa ölçüm modelinin aynı biçimde çalışıp çalışmadığı test edilmelidir.