由于翠亨村特殊的地位，小小年纪的帝象对外部事物便有了初步的了解。他对外国人的最早印象，是一个叔母告诉他的：“这些外国人，金钱都很富足，他们所穿的衣服，很是奇怪。最异样的是他们的头上没有辫子，有几个竟一丝儿头发也没有，但是却有不少的胡须，有时会有火一样的红。”

帝象对于外洋最直接的知识则来自一位侨商，这位侨商“讲他在海洋中经过了许多日子，于是到了一块地方，有山有水，同中国一样，不过那边有很多的金子。那里有一种人叫做红人，还有截路的强盗，为了抢劫金子杀死人命。”

1871年，帝象17岁的兄长孙眉远渡重洋赴檀香山谋生。次年即致信回家，信中描述了檀香山的风景与土地物产，让孙中山觉得非常新奇。数年之后，孙眉成为当地的巨富，写信向家人描述檀岛的“政俗优良，土地之肥沃及所营事业之发展”。帝象自此有了出洋的念头。

1877年6月9日，孙眉回到阔别六年的故乡翠亨村，并在村中设立移民事务所，专门从家乡招募华工。帝象见到大哥非常兴奋，希望能跟着兄长去檀香山。但是，他的父母不同意。1878年，孙眉的事业又有了进一步发展，于是写信回家，请父母带着帝象到檀香山。同年5月，孙中山与母亲乘船启程赴檀香山。从此，一位乡村少年踏上了走向世界的旅途。