1921年6月3日，马林受共产国际派遣到了上海，于12月下旬到达桂林，受到中国国民党支部长邓家彦接待。孙中山和国民党委员胡汉民、许崇智、陈少白等人出席同马林的会谈。双方商谈多日，马林向孙中山提出两项建议：一是组织一个能联合各阶层尤其是工农群众的政党；二是要建立革命的武装中心，应先创办军官学校以培养革命骨干。

马林是国共第一次合作的积极鼓吹者。1922年春，他向中国共产党领导人建议，共产党员以个人身份加入国民党，实现“党内合作”。对于马林的建议，中共中央局负责人陈独秀、张国焘、李达等进行了认真讨论，结果是反对加入国民党。

尽管马林提倡的国共合作方式是一种松散的联盟方式，起初还是遭到了中共领导人的反对。但在中共“二大”上，决定与国民党实行“党内合作”，这与马林的重大作用是分不开的。

共产国际指示，为便于与孙中山的国民党一起工作，中共中央驻地从上海迁往广州。在马林的积极建议和争取下，陈独秀等人于1923年5月到达广州，由国民党控制的广州为中共提供了公开活动的条件，也为中共筹备第三次代表大会提供了可靠的保障。

经马林的努力，孙中山与国民党同意共产党员以个人身份加入国民党，共产党也发生由排斥国民党到联合国民党的思想转变。