Пример "правильного" robots.txt, о котором я говорю находиться (по-крайней мере находился на момент описания статьи) по адресу, который я  намеренно не хочу приводить, дабы не дать повода на него заглянуть (боже упаси!) кому-нибудь. Его содержание среди всех прочих вполне нормальных строк включало следующие:

Disallow: /index.php?
Disallow: /index.php
Disallow: /index.html

Что означают эти строки? А то, что вашу главную страницу (index.php и index.html) сайта, а также весь контент (а в joomla это именно ВЕСЬ контент, ибо обычно URL любых материалов в Joomla имеет в адресе либо /index.php/chto-to_tam или /index.php?chto-to_tam) поисковики будут игнорировать. Для тех, кто мне не верит есть 2 способа проверить:

1. попробовать использовать вышеприведённые строки в рабочем robots.txt и некоторое время подождать реакции поисковых систем (способ крайне нежелательный ;) )

2. почитать документацию по robots.txt и убедиться, что таким строкам не место в означенном файле.

Не знаю какую цель преследовали авторы статьи, откуда я взял этот пример, но точно знаю, что помочь начинающим веб-мастерам они не хотели.

Не используйте эти правила для своего robots.txt. Никогда!