Если чесно, то проблем никаких тут нет, это вы сами себе все накручиваете, когда создаете базу данных мускул, там нужно указать кодировку utf8 (обычно так и стоит и в настройках движка таже кодировка), а по поводу поиска, все просто:
[!AjaxSearch? &AS_showResults=`0` &AS_landing=`17` &showMoreResults=`1` &moreResultsPage=`17`&language=`russian-utf8`!]
В примере четка видно, что указан russian-utf8. Работает все четко на 1.8.1.
Файл русского перевода: russian-utf8.inc.php
Находится: assets/snippets/ajaxSearch/lang
Редактируется с помощью программы: EmEditor (к примеру)