CharacterControllerを使っている場合は、StepOffsetの値を、デフォルトの0.3から大きくすれば良い。
参考：https://futabazemi.net/unity/stair_simplemove