ライブラリのbuild.gradleに以下を記述
android { sourceSets { main { manifest.srcFile 'src/main/AndroidManifest.xml' } } }
そのファイルがあるdirのsrc/main/AndroidManifest.xmlにAndroidManifestを記述すると、
元々のAndroidManifestは無効になって、置き換わってるっぽい。