相传很久以前，小孤山这根本没有山，是一马平川。住在这的人勤劳、善良，他们靠自己的双手养活自己，日子过得很安宁。

　　不知在什么时候从哪来了一只妖怪，吃人、抢东西，无恶不作，村里的人恨透了它。可是，恨又有什么办法呢？人们稍一反抗，妖怪就兴风作浪，闹得田园荒芜，人畜遭劫。

　　这时有个叫小孤的年轻人，见人们被妖怪欺压，恨透了，决心杀掉妖怪，为民除害。于是便与大伙商量，很多人都说：“妖怪会法术，凭你这点本事怎能打过他呢？”小孤听后一寻思，是呀，要杀妖怪非练一身本事不可。

　　心里这么打算，便在第二天告别乡亲，外出学艺去了。路上，他翻过七七四十九座山，过了九九八十一道河，历尽千难万险，整整走了八八六十四天，来到一座高山，累得昏睡在大树下。朦胧中见了一位白胡子老人出现在眼前，笑呵呵地对他说：“小伙子，你的来由我知道了，给你这颗宝珠，把它含在嘴里，就能战胜妖精。”老人停了停又说：“千万记住，不能把宝珠吐出来，更不能咽下去。如果吐出或咽下你就会变成山了。”小孤接过宝珠正要道谢，老人忽然不见了。醒来一看原是一场梦，可自己手里却多了一颗宝珠，他连忙把宝珠含在口里，朝家走去。

　　回来后他就背上腰刀找到妖怪，不用细说，就打了起来。这场恶斗，打得天昏地暗，飞沙走石，一连打了七天七夜。这时小孤已精疲力尽，怎么办呢，难道自己就这样白白死吗？想到这，妖怪的利爪已抓向他的咽喉，想用刀挡已来不及了。危急之中，嘴一张，把珠子向妖怪猛地吐去。珠子正打在妖怪身上，把妖怪打进地里一丈多深，而小孤却变成了一座石山，压在上面了。

　　后来人们为了纪念小孤斗妖，舍己除害的事，就把这座山称为小孤山。

　　小孤山位于县城西南30公里处，与大孤山相距15公里。小孤山位于一盆地中心，平地拔起。年龄约1150万年。