Private Fotos: Wann muss ich um Erlaubnis bitten?

Wann kann man als Privatperson bedenkenlos fotografieren und wann muss eine Erlaubnis eingeholt werden? Ein kurzer Fotowalk durch Rechtsgebiete und Grauzonen.