О чем все-таки говорит developer.android.com про RecyclerView

В чем минус привязывания listener в onCreateViewHolder()? Вызов данного метода происходит ограниченное количество раз, а доступ к позиции там можно получить при помощи getAdapterPosition().