公式ドキュメントもわりとあっさりとした記述
http://対応のsite.confとhttps://対応のsite.confにそれぞれリバースプロキシの設定を書けばよい。
前回うまくいかなかったのは、そもそも裏方のWebサーバが正常稼働していなかったため。ただ、その場合にローカルIPが露出するのはイマイチな仕様。
あと、NASのWeb管理画面など、独自のhttpサーバ上で動いている場合はどうもうまく動かない。
それでもWebサーバの応用範囲がものすごく広がったように感じる。今までは外部公開サーバをあれこれいじって動かなくなることが心配であまりいじっていなかったのだけれど、自由にいじれるバックエンドのサーバ上で設定して、リバースプロキシで公開する、という手段ができた。