Второй причиной было увядание Гондора и падение во всей стране, за исключением лишь немногих высокопоставленных людей, интереса к древней истории помимо той, что касалась родословных, происхождения родов и родственных связей. После Королей Гондор погрузился в «средневековье» упадка знаний и упразднения искусств. Связь осуществляли гонцы и посланники, а во времена опасности – маяки, и если Камни Анора и Ортанка еще охранялись, как сокровища прошлого, о существовании которых знали немногие, то Семь Камней былых времен в основном уже были забыты людьми, и стихотворные поучения, рассказывавшие о них, люди если еще помнили, то уже не понимали; Камни в легендах стали превращаться в эльфийские способности древних королей, обладавших зоркими глазами, и быстрых птицеподобных духов, служивших им, которые приносили им известия или доставляли их послания.
По-видимому, в это время Наместники не думали об Ортанкском Камне: он более не был полезен им, и хранился в безопасности в своей неприступной башне. Если на него и не пала тень подозрения в связи с Итильским Камнем, то он все равно находился в стране, которая занимала Гондор все меньше и меньше. Каленардон {Calenardhon}, который никогда не был густо заселен, опустошил Черный Мор 1636 года, и с тех пор число жителей нyменoрской крови там постепенно убывало – те переселялись в Итилиэн {Ithilien} или на земли вдоль Андуина. Изенгард {Isengard} оставался вотчиной Наместников, но сам Ортанк был пуст, и со временем его закрыли, а ключи от него перенесли в Минас Тирит. Если Наместник Берен вообще думал о Камне, когда передал их Саруману, то, вероятно, решил, что более надежных рук, чем руки главы Совета, противостоящего Саурону, ему не найти.