隣人のつきまとい行為は、迷惑防止条例違反やストーカー規制法違反に該当する可能性があります。両者の違いは、前者が恨み・妬みなどの悪意の感情を充足する目的で行われたものであるのに対し、後者は恋愛感情の下に行われたものであるという点にありますが、いずれにしても刑事罰の対象となる行為ですので、警察に相談されることをお勧めします。

警察には、防犯カメラ映像があることを伝えるとともに（場合によってはデータと再生機器を持参し見せることも良いかと思います。）、つきまとい行為の具体的内容や頻度など詳細を伝えた方がより動いてくれる可能性が高いです。警察が動いてくれる場合、警察から隣人に対して警告や禁止命令発出等がなされる可能性があります。
もっとも、警察の担当者によっては、実害がないとしてなかなか対応してくれない可能性があります。その場合には、告訴状を作成し、告訴することで、警察に捜査をさせるということも考えられます（本件は隣人が何を考えているか分からないため、警察が動かない場合には、すぐに告訴状の準備をした方が良いかもしれません。）。

警察への相談や警告・禁止命令発出の働きかけまではご相談者様自身でも対応可能かと思いますが、本当に迷惑防止条例違反等に該当するのか等のチェックをしたいという場合や告訴状を作成する場合には、具体的資料を踏まえ弁護士に相談された方が良いかと存じます（特に、告訴状は専門性が高く、ご自身で作成されるにはややハードルがあります。）。

一方、民事的な請求としては、つきまとい行為の差止請求や慰謝料請求等が考えられますが、刑事事件化できる方が抑止力が強いため、基本的には、先に警察に相談されることをお勧めします。
民事的な請求を行う場合、最初に警告書を送付し、それでもつきまとい行為がやまない場合に訴訟を提起するという流れが一般的ですが、弁護士名義での警告書を送付するだけでつきまとい行為がなくなるという可能性もありますので、具体的な情報をもとに弁護士に相談されるのが良いかと存じます。

色々とややこしくなってしまい恐縮ですが、ひとまずは、警察への相談を開始し、それでも警察がなかなか動いてくれない場合に弁護士に相談して告訴や民事含め具体的に検討するという進め方が良いかと存じます。

貼り紙の件は、つきまとい等の迷惑防止条例違反や名誉毀損罪等の罪に問われる可能性があります。特に、貼り紙の中でアプリのハンドルネームを記載した行為は、相手方からすれば、特定され恐怖心を抱く可能性のある行為といえますし、これを（手紙等の形で渡すのではなく）貼り出す行為は一定程度悪質と判断される可能性はあるかと存じます。

騒音を発生させたのは相手方であるとしても、ご相談者様の行為の方が悪質であると判断されれば、実際に刑事事件化する可能性もありますので、警察からの連絡には、きちんと対応されるべきです（騒音主に対する嫌がらせ行為として立件される例は多くあります。）。

今後の具体的な対応方針についてですが、現状、相手方は被害届の提出を検討しており（もしくはすでに提出しており）、警察が被害届を受理するかどうかという段階の可能性が高いように思っております。被害届が受理された場合、本件が刑事事件化して捜査が開始されることになりますので、警察からの連絡には素直に応じ、本件が軽微な事件であることを丁寧に説明すべきでしょう。
より具体的には、①元々は騒音が原因であること、②管理会社や警察にお願いしたものの一向に改善されなかったこと、③貼り紙を貼った日は我慢の限界でついやってしまったこと、④今回の件はやり過ぎたと思っており反省していること、⑤今後はもうしないこと、などを説明すべきです。

被害届の受理前であれば、上記説明を踏まえ、最終的に被害届を受理せず口頭注意だけで終えるという可能性もあるかと存じます（本件は、警察も騒音被害に遭っていたことを知っていたはずですので、いきなり被害届を受理して捜査を開始する可能性は低いと思っております。）。

なお、今後、騒音が再開した場合でも直接的な接触は避け、基本的には、管理会社や家主に対応を任せるべきです。