povoのアプリ、右斜め上の（？）（クエスチョンマーク）からの検索に「非通知」といれると
[番号通知リクエストサービスで設定が可能です。]
との答えが出てきますので、多分設定ができると思われます。
検索の答えの項目（こちらへ）をクリックすると詳しい設定方法が出てきます。

無料のサービスのようですが、設定はガイダンスにしたがって行われるので通話料金が発生してしまうこともあるようです。

利用したことが無いのて不確かな情報で申し訳ないのですが、何かのヒントにでもなれると嬉しいです。