Ogrody japońskie są celebrowane na całym świecie i słyną z minimalistycznego podejścia. Oprócz prezentowania niektórych rodzajów roślin często wykorzystuje się ideę przestrzeni i pustki. To, czego nie ma, jest prawie tak samo ważne, jak to, co jest. Tak więc, szukając roślin do ogrodu japońskiego, należy najpierw doradzić ludziom, aby nie przepełniali swojego ogrodu. Kilka roślin, starannie umieszczonych, robi znacznie więcej niż tony roślin, które mogą umniejszać poczucie spokoju, które można znaleźć w takich ogrodach.
Czasami ludzie myślą o ogrodzie japońskim jako pozbawionym roślin kwitnących. To zdecydowanie nie jest prawda, a azalie wielu rodzajów są powszechnie używane. W zależności od regionu, azalie mogą zapewniać piękne zielone liście przez cały rok i mają piękne kwiaty. Kilka rodzajów azalii zakwitnie dwa razy w roku, a kwiaty są bardzo trwałe. Irysy japońskie to kolejna popularna roślina, która zapewnia bogate wybarwienie. Kwitnąca lub ozdobna pigwa to również dobry wybór, ponieważ oferuje kolor w środku zimy.
W japońskim ogrodzie bardzo ważne są różne rodzaje okrywy, a głównym wyborem jest mech. Do wyboru jest wiele różnych mchów. Inne dopuszczalne rośliny okrywowe mogą obejmować takie rzeczy jak łzy dziecka, roślina przypominająca mech o znanej zdolności do rozprzestrzeniania się i wiecznie zielonych liściach.
Niektóre kwitnące drzewa mogą być popularne w japońskich ogrodach. Mogą to być drzewa czereśni i śliwy, często odmiany ozdobnej. Wiele mówi się o drzewach wiśniowych i ogrodach azjatyckich, ale ogrody nie muszą ich zawierać. Inne kwitnące drzewa, które ogrodnicy mogą rozważyć, to mirt krepowy, choć jest to prawdopodobnie jedno z najbardziej nieuporządkowanych drzew, jakie ludzie mogą wybrać, ponieważ zrzuca liście, kwiaty i korę o różnych porach roku.
Niektóre z najważniejszych roślin w ogrodzie japońskim to różne rodzaje klonów japońskich. Wiele sklepów ogrodniczych będzie miało wiele możliwości wyboru i odmian. Równie ważne są drzewa iglaste, zwykle mniejsze sosny, które można dowolnie kształtować i przycinać. Popularne są również duże krzewy, takie jak bambus, a inne krzewy do rozważenia mogą obejmować rododendrony. Bardzo duże ogrody mogą pomieścić znacznie większe drzewa, takie jak wierzby, ale mogą one sprawiać, że mały ogród wydaje się zatłoczony i przytłoczony.
Chociaż ogrody kamienne są zwykle uważane za odrębne od ogrodów japońskich z roślinami, dobrym pomysłem jest przyjrzenie się projektom ogrodów, aby zobaczyć, w jaki sposób wykorzystuje się kamienie, a czasem mniejsze skały. Wszystko, od żwiru po większe skały, może być częścią japońskiego ogrodu. Ścieżki i pomosty można również włączyć do schematu projektowego i należy je wziąć pod uwagę.