うちの1.7.1だと、ドキュメントを非公開にすると検索結果に現れませんね...
AjaxSearchのスニペットコールを書くと、使い慣れた方からコメントが付くかも。
ちなみに、私の使ってるテンプレートにはこう書いてあります。
[!AjaxSearch? &ajaxSearch=`0` &AS_landing=`8` &moreResultsPage=`8` &showMoreResults=`1` &addJscript=`0` &extract=`0` &AS_showResults=`0`!]
AjaxSearchはほとんど使い込んでないので、自分でも各パラメータの意味を理解していません。
ちなみに、今リソースで公開されているバージョンは1.8.0ですが、
このバージョンからDittoにある「&filter」というパラメータが追加されたようです。
非公開ドキュメントを検索対象から外すことはこのパラメータでできそうです。
(やってみたわけではありません)
追記:
1.7.1のajaxSearch.inc.php を覗いていたら下記のコードがありました。
$qry_sql .= "sc.published=1 AND sc.searchable=1 AND sc.deleted=0";
公開済みで検索可で削除済みではないドキュメントを指定しているように見えます。
改造無しに戻して確認してみては如何でしょうか?