Как оформить долю

Всё зависит от того, принял ли Ваш брат наследство по завещанию или нет. Если принял (подавал нотариусу заявление о принятии наследства либо совершил действия, свидетельствующие о фактическом его принятии), то наследовать могут наследники Вашего брата по закону (супруга, родители, дети и далее в соответствии с последующими очередями наследования). Сводные братья и сестры, т.е. у кого разные оба родителя, не являются наследниками по закону, так что наследовать долю сводного брата Вы не можете.
А вот если брат не принял наследство по завещанию, то у Вас есть шанс установить в суде в порядке особого производства факт принятия Вами наследства по закону от матери, т.е. 1/2 доли дома, завещанную брату, если Вы после истечения 6 месяцев после смерти матери (т.е. срока, в течение которого Ваш сводный брат должен был его принять, но не принял):
вступили во владение или в управление наследственным имуществом;
приняли меры по сохранению наследственного имущества, защите его от посягательств или притязаний третьих лиц;
произвели за свой счет расходы на содержание наследственного имущества;
оплатил за свой счет долги наследодателя или получил от третьих лиц причитавшиеся наследодателю денежные средства (ст. 1153 ГК РФ).