С ними никто не садился да один стол они питались отбросами

Такие условия и отношения могли быть характерными для кастовой системы, а в контексте истории или фольклора такие люди иногда могли называться "изгоями", "париа" или "неприкасаемыми".