Integration by parts formula
#I=intuv'dx=uv-intvu'dx#
#intx^2cos3xdx#
#u=x^2=>u'=2x#
#v'=cos3x=>v=1/3sin3x#
#:.I_1=x^2/3sin3x-int[(2x)/3sin3x]dx#
#:.I_1=x^2/3sin3x-2/3color(blue)(int[xsin3x]dx)#
we now have to use IBP on the integral highlighted in blue
#I_2=(int[xsin3x]dx)#
#u=x=>u'=1#
#v'=sin3x=>v=-1/3cos3x#
#I_2=(-x/3cos3x-int-1/3cos3xdx)#
#I_2=-x/3cos3x+1/9sin3x#
substituting back into #I_1#
#:.I_1=x^2/3sin3x-2/3(-x/3cos3x+1/9sin3x)+C#
#:.I_1=x^2/3sin3x+(2x)/9cos3x-2/27sin3x+C#
#I_1=(x^2/3-2/27)sin3x+(2x)/9cos3x+C#
#I_1=1/27(9x^2-2)sin3x+(2x)/9cos3x+C#