Дураком и Ванькой зачастую называли мужской половой орган. Соответственно, валять дурака, тогда означает - заниматься онанизмом. Словарь синонимов, в частности, приводит данный фразеологизм в ряду к слову "мастурбировать". Рукоблудие довольно часто в русском языке, ассоциируется с бездельем, поэтому по-моему, эту версию со счетов сбрасывать, тоже не стоит.