We launched new forums in March 2019—join us there. In a hurry for help with your website? Get Help Now!
    • 30562
    • 99 Posts
    Облако тегов в русском: насколько отработана технология применения.

    Доброго времени суток присутствующим.

    Вроде бы есть в MODX’е инструментарий для построения облака тэгов.
    Для английских слов даже есть целая тестовая страничка на http://modxcms.com/ajax-tag-cloud-test.html .

    Но пока не понятна пара моментов:

    1. Как обстоят дела с русским языком ?
    Применение тэгов (ярлыков) у одного продвинутого пользователя на блоге http://modxnotes.blogspot.com/ как-то не впечатляет. Объяснение, конечно, простое. Блок только родился. База тэгов маловата. Но по существу самого поискового механизма недостаток работы со словоформами уже заметен. Преимущество отдано английской терминологии.

    На ХАБРАХАБРЕ, как одном из прогрессивных в смысле новинок, ресурсе, кстати, этот механизм поиска тоже мне показался не совсем идеальным.

    Насколько я понимаю (не уверен, что правильно) механизм облака тэгов хорош именно для английских словоформ. А как быть с русским языком и его суффиксами, окончаниями ? А когда тэгом является ещё и сочетание из нескольких слов и т.д. ?

    2. Вбивание тэгов к каждой статье руками не очень-то удобно. С другой стороны, не всегда с ходу можно определить этот самый набор тэгов. Или в похожей статье можно легко видоизменить набор (а нужно было бы его повторить). Кроме того, легко можно "позабыть" нужный тэг при вводе.
    Не появилась ли "умная" обвязка в виде сниппетов и чего-нибудь ещё, которая умеет решть задачу автоматизации формирования тэгов при вводе статей на сайт ?

    С уважением.
      • 785
      • 2,113 Posts
      Quote from: traveller at Feb 07, 2008, 02:57 AM

      Для английских слов даже есть целая тестовая страничка
      А откуда ссылка на эту страицу ведет и что там тестируют?

      Вообще-то теги практически везде вручную указываются, автоматического построения тегов, как мне кажется, нигде нет.
        Создание сайтов на MODx, поддержка сайтов, поисковая оптимизация, программирование, копирайтинг
        Статьи о MODx, регулярно новые публикации
        • 30562
        • 99 Posts
        Quote from: AKots at Feb 07, 2008, 03:10 AM

        Quote from: traveller at Feb 07, 2008, 02:57 AM

        Для английских слов даже есть целая тестовая страничка
        А откуда ссылка на эту страицу ведет и что там тестируют?
        Сам не знаю. Набрёл вот в поисках инфо по облаку.

        Quote from: AKots at Feb 07, 2008, 03:10 AM
        Вообще-то теги практически везде вручную указываются, автоматического построения тегов, как мне кажется, нигде нет.
        Ну да. Для инглиша, например, в обучающем видеоролике по Ditto указание руками да и сами словечки-тэги в крошечном примерчике не отпугивают, выглядят достаточно естественно. Для великого и могучего такое не катит. Адназначна. wink
          • 785
          • 2,113 Posts
          Quote from: traveller at Feb 07, 2008, 03:17 AM

          Для великого и могучего такое не катит. Адназначна. wink
          Да я не про MODx - везде теги вручную проставляются. Например, любой сервис социальных закладок или каталог статей предлагает ввести теги. Автоматически вроде бы никто не генерирует.
          Вы бы объяснили на пальцах, как представляете себе автоматизацию, тогда можно было бы сказать, насколько это реализуемо.
            Создание сайтов на MODx, поддержка сайтов, поисковая оптимизация, программирование, копирайтинг
            Статьи о MODx, регулярно новые публикации
            • 30562
            • 99 Posts
            Вроде сформулировал в преамбуле топика.

            До деталей вряд ли дойду. Но смысл постараюсь донести.

            Ресурс с сотнями страниц текстового контента.
            Представим, что статьи могут быть похожими по смыслу (тематике). Вводим их в разное время.
            Легко забыть тэги, которые были введены раньше. Легко ввести не все, которые нужны. Или ввести лишние. Можно невзначай изменить окончание слов в тэгах. Можно употребить другое слово-синоним.

            Напрашивается автоматический анализ введённого текста (в ходе анализа, кстати, неплохо бы и поправить орфографию в ошибочных словах) и выдача списка слов с заданной ранее частотой.
            А мы уже выбираем из списка те тэги, что сочтём важными и нужными для вводимой статьи.

            Другая задача.
            Время от времени меняется наше представление о тематике и тэгах. Необходимо запустить некую процедуру и проанализировать частотность тэгов и их актуальность. После чего можем счесть, что ранее употреблённые слова не нужны. Они по значению для поиска приблизились к обычным словам-междометиям (упрощаю). И их надо выкинуть. А система, наоборот, предлагает новые слова. И мы их добавляем.

            В общем, фантазировать можно до бесконечности. Описанное только что, имхо, может быть применено на любом информационном ресурсе. Особенно, на ресурсе где информация в статьях не устаревает или не сильно устаревает со временем.
              • 785
              • 2,113 Posts
              Quote from: traveller at Feb 07, 2008, 03:55 AM

              Напрашивается автоматический анализ введённого текста (в ходе анализа, кстати, неплохо бы и поправить орфографию в ошибочных словах)
              Нешуточная, однако, задача. И лично я не знаю ни одного ресурса, на котором это реализовано. Если есть ссылка хотя бы на один, хотелось бы посмотреть.

              Фактически предлагается построить что-то типа поисковой системы, определяющей релевантность той или иной страницы запросу (автоматически сгенерированному тегу) с учетом правил русского языка.
                Создание сайтов на MODx, поддержка сайтов, поисковая оптимизация, программирование, копирайтинг
                Статьи о MODx, регулярно новые публикации
                • 30562
                • 99 Posts
                Quote from: AKots at Feb 07, 2008, 04:22 AM

                Нешуточная, однако, задача.
                А мы и не ищем лёгких путей. wink

                Quote from: AKots at Feb 07, 2008, 04:22 AM

                ...предлагается построить что-то типа поисковой системы, определяющей релевантность той или иной страницы запросу (автоматически сгенерированному тегу) с учетом правил русского языка.
                Да, на базе словаря, “просеять” текст статьи (с учётом особенностей языка) и предложить в сухом остатке новые и значимые термины. А человек решит, какие же из них - тэги. Это при вводе.
                При обновлении тэгов задача не проще.

                Тем не менее, весь набор задач сегодня успешно решается в разных сферах деятельности.

                Что же касается MODx’а, придётся прочёсывать репозиторий насчёт облака. А со временем - беда.


                Offtop.
                AKots, тут ещё одна незадача с поиском. Дистрибутив 9.6.1. News Publisher. Комментарии к статьям на инглише ищутся, а на русском – ни в зуб ногой. Не посмотришь на досуге, где скрыта проблема?
                  • 785
                  • 2,113 Posts
                  Quote from: traveller at Feb 07, 2008, 06:11 AM

                  Да, на базе словаря, “просеять” текст статьи (с учётом особенностей языка) и предложить в сухом остатке новые и значимые термины. А человек решит, какие же из них - тэги. Это при вводе.
                  При обновлении тэгов задача не проще.

                  Тем не менее, весь набор задач сегодня успешно решается в разных сферах деятельности.
                  Ага, поставить Яndex.Server (стоимость не менее 2,5 млн. рублей) и написать программу по переработке запросов в теги - просто пустяки. Дело не в MODx, такие задачи сегодня, как мне кажется, никто не решает в рамках обычного сайта.

                  Облако тегов в MODx есть на основе TV и никакого искусственного интеллекта.

                  А ни 9.6.1. ни News Publisher меня пока не интересуют, так что смотреть неохота.
                    Создание сайтов на MODx, поддержка сайтов, поисковая оптимизация, программирование, копирайтинг
                    Статьи о MODx, регулярно новые публикации
                    • 30562
                    • 99 Posts
                    Quote from: AKots at Feb 07, 2008, 07:15 AM

                    Ага, поставить Яndex.Server (стоимость не менее 2,5 млн. рублей) и написать программу по переработке запросов в теги - просто пустяки. Дело не в MODx, такие задачи сегодня, как мне кажется, никто не решает в рамках обычного сайта.

                    Облако тегов в MODx есть на основе TV и никакого искусственного интеллекта.
                    Замах в постановке должен быть нормальный. Жизнь сама спустит разработчика на грешную землю. Для "обычного сайта", похоже, парочки TagCloud-TagCloudInc может хватить.

                    Удачи, AKots! Спасибо за участие.
                      • 28814 ☆ A M B ☆
                      • 1,086 Posts
                      Quote from: traveller at Feb 07, 2008, 02:57 AM

                      1. Как обстоят дела с русским языком ?
                      Применение тэгов (ярлыков) у одного продвинутого пользователя на блоге http://modxnotes.blogspot.com/ как-то не впечатляет. Объяснение, конечно, простое. Блок только родился. База тэгов маловата. Но по существу самого поискового механизма недостаток работы со словоформами уже заметен. Преимущество отдано английской терминологии.
                      Ну тот блог и его система тегов, который вы привели как пример, вообще говоря не имеют с MODx ничего общего. Blogspot - это блоговая площадка от Google. И система тегов, понятное дело, также оттуда.
                      Quote from: traveller at Feb 07, 2008, 02:57 AM

                      Насколько я понимаю (не уверен, что правильно) механизм облака тэгов хорош именно для английских словоформ. А как быть с русским языком и его суффиксами, окончаниями ? А когда тэгом является ещё и сочетание из нескольких слов и т.д. ?
                      Вопрос хороший, но решение для него по-моему потребует слишком больших вычислительных мощностей. Как вариант - это действительно аренда поискового механизма от Yandex. Хотя кому это нужно ради облака тегов smiley.
                      Quote from: traveller at Feb 07, 2008, 02:57 AM

                      2. Вбивание тэгов к каждой статье руками не очень-то удобно. С другой стороны, не всегда с ходу можно определить этот самый набор тэгов. Или в похожей статье можно легко видоизменить набор (а нужно было бы его повторить). Кроме того, легко можно "позабыть" нужный тэг при вводе.
                      Не появилась ли "умная" обвязка в виде сниппетов и чего-нибудь ещё, которая умеет решть задачу автоматизации формирования тэгов при вводе статей на сайт ?
                      Насчет умной обвязки не знаю, но в принципе относительной автоматизации можно добиться, используя AJAX - при вводе нового тега автоматически предлагаются варианты из существующей базы данных (самый известный пример http://www.google.com/webhp?complete=1&hl=en).
                        Разработка сайтов и программных модулей на MODX.
                        Опыт работы на MODx с 2005 года. Высокое качество.
                        Компания Baltic Design Colors: http://www.bdcolors.ru.