V.V. Baronie Breda, amateur voetbalclub