Category Archives: Computer

Basic Squid SSLBump configuration

To use SSLBump with Squid you need to rebuild Squid with SSL flags enabled as the default debian package does not contain them.

$ sudo apt-get install devscripts build-essential fakeroot libssl-dev

And uncomment the deb-src from main repository as we need to download the source. After that download the squid3 source package and edit the rules file:

$ cd ~
$ apt-get update
$ apt-get source squid3
$ sudo apt-get build-dep squid3

$cd squid3-3.5.12
$sudo nano debian/rules

add to DEB_CONFIGURE_EXTRA_FLAGS

–with-openssl \
–enable-ssl-crtd \

dpkg-buildpackage -rfakeroot -b

dpkg -i *.deb

Squid is now installed, next step is to generate the required self signed certificates:

openssl req -new -newkey rsa:2048 -sha256 -days 365 -nodes -x509 -extensions v3_ca -keyout myCA.pem  -out myCA.pem

openssl x509 -in myCA.pem -outform DER -out myCA.der

Deploy the generated der file to client browers/devices

But upon starting the Squid service, it died stating that the ssl db directory was not initialized so I used the ssl_crtd from the build directory to initialize it.

sudo /home/manatails/squid/squid3-3.5.12/src/ssl/ssl_crtd -c -s /var/lib/ssl_db

Following is minimalist config file for running squid with SSLBump, self-explanatory.

acl home_ip src 192.168.28.0/24
http_access allow home_ip
http_port 3128 ssl-bump cert=/etc/squid/ssl_cert/myCA.pem generate-host-certificates=on dynamic_cert_mem_cache_size=4MB

acl step1 at_step SSlBump1

ssl_bump peek step1
ssl_bump bump all

파도타기 피카츄 배포

이번에 포켓몬스파에서 파도타기를 배운 피카츄를 배포한다는 광고를 보았습니다.

그런데 멀기도 멀고 가격도 매우 비싸네요.
그냥 만들어야겠습니다.

예전에 뚫어놓았던 npfl 서버의 선물목록을 확인하니 미리 테스트 중이였는지 이미 올라와 있었습니다.

2016-07-01 04_50_32-Mozilla Firefox

뭐 일단 예전에 제가 포켓몬스터 선물 배포서버에 대해 올린 이후로 별다른 소프트웨어 업데이트도 없었기에 예전과 같은 방식으로 배포를 진행하겠지 생각하며 선물 파일을 다운로드 받아 사설 선물서버에 올렸습니다.

IMG_9924

그런데 이상하게도 소포가 없다는 말만 덩그러니 남긴 채 선물을 받는것이 불가능해 지더군요

이것은 제가 처음 작업을 시작할 때에는 전혀 못 보던 현상이였습니다.

그래서 좀 더 알아보기로 했죠.

사실 한참동안 서버와의 프로토콜을 분석한다고 시간을 허비했습니다.

전에 제가 언급했던 서버 말고 npul 등과 같은 많은 서버들이 3ds와 교신하기 때문에 혹시나 그쪽에서 별도의 인증 과정을 거치지는 않나 싶었습니다.

그리고 한가지 파일을 비교하면서 찾아낸 것이

2016-07-01 04_59_56-Binary(fast) Compare - UltraCompare Professional

그때 당시에 받은 선물 파일과 지금 다시받은 선물 파일이 다르다는 것이였습니다.

조금 놀랐죠, 단순히 정적일것 같았던 파일이 그때와는 다른 형식을 취하고 있었습니다.

예전과 같이 AES-CTR로 복호화를 해 보았습니다.

2016-07-01 05_02_24-Binary(fast) Compare - UltraCompare Professional

앞의 헤더값이 틀려지면서 뒤에 암호화된 부분이 완전히 달라집니다.

몇 개의 파일을 돌려가며 분석해보니 맨 앞의 비트값에 따라 게임이 인식하여 선물이 비활성화 되는 듯 합니다.
ORAS는 해당 값이 C5이여야 선물을 받을 수 있습니다.

하지만 BOSS형식 파일 내부의 포켓몬 선물 데이터 자체도 닌텐도가 서명을 하기때문에 임의로 내용을 변경하면 게임 자체에서 오류를 내고

어느 단계에서 선물의 활성화 비활성화를 결정할지 생각해 보았습니다.

문득 npdl 서버에서 선물 파일을 다운로드 받을 때 보내는 요청문이 떠올랐습니다.

2016-07-01 05_11_16-C__Windows_system32_cmd.exe

npdl 서버로 요청을 보낼 때는 변형된 http 프로토콜을 사용하는 데 유저에이전트에 상당한 양의 정보를 포함시킵니다.

그래서 여기서 아마 재인증을 시도할 것이라 생각하고 그 값을 실제 3ds에서 나온 값과 동일하게 맞춰서 파일을 다운로드 하는 클라이언트를 만들어 보았습니다.

2016-07-01 05_17_32-Binary(fast) Compare - UltraCompare Professional

예측은 정확했습니다.

유저에이전트를 조작해주자 그에 맞춘 선물 파일을 서버가 되돌려 줍니다.

이제는 게임 종류 언어 종류에 따라 해당하는 기기에서만 활성화가 되도록 즉석에서 파일을 조작하여 전달해 주는 듯 합니다.

분명 예전에는 그렇지 않았는데 지금은 이런 식으로 바뀐 것을 보면

닌텐도에서 제 이전글을 보고 나름대로의 조치를 취한 것으로 생각되기도 합니다.

예전에는 단순히 클라이언트 인증서만 확인했기 때문에 ssl 인증이 성공하면 선물파일의 캐쉬를 무한정 생성할 수 있었는데

이제는 게임별 기기별로 파일을 다 가지고 있어야 하니 아마도 그것을 방지하기 위한 것이 아니였나 생각이 듭니다.

IMG_9925

삽질 끝에 이제 선물 받기를 시작합니다.

https://youtu.be/yS5n1_5oI_Y

여튼 파도타기를 배운 피카츄를 받는 영상입니다.

중요한 피카츄의 스탯은 이렇습니다.

IMG_9926

pkx 파일은 선물 배포일에 맞추어서 블로그에 따로 업로드 할 예정입니다.

매너티는 최고 존엄입니다.

OpenSSL hacks

Quick command snippets for managing an SSL CA:

Generating a private key:

openssl genrsa -des3 -out www.mananet.net.key 2048

Generating a CRL:

openssl req -new -key www.mananet.net.key -out www.mananet.net.csr -days 3650 -sha256

Signing:

openssl ca -in www.mananet.net.csr -out www.mananet.net.pem -config /root/ca/config.txt

Generating a pfx file for windows:

openssl pkcs12 -export -out www.mananet.net.pfx -inkey www.mananet.net.key -in www.mananet.net.pem

Revoking a certificate:

openssl ca -revoke /root/ca/newcerts/0E.pem -config /root/ca/config.txt

Fix slow printing dialog with CUPS network printers

A week ago I decided to make use of the HP deskjet 1010 that I received for free when I bought my microserver.

It is pretty basic one but supports color and prints fairly fast. But the only problem I had with it is that the USB cable is too short so that I have to take my laptop near the printer every time I wanted to print something.
So I decided to connect the printer to my old server box and set up CUPS for printing over the network.

Everything went through fine but after I installed the printer opening the printer dialog box took an eternity every time I tried using it.

The problem seems to lie in the IPP handler of Windows. Somehow there is a bug in Windows that makes IPP settings and Windows internet security settings get mixed up resulting delays.

Adding the CUPS server to Internet Explorer’s Intranet zone can be a workaround.

Open Internet Explorer -> Tools -> Internet options and add the following:

2016-03-31 17_47_23-Blank Page

where the address is the CUPS server’s IP address. You may skip this step if the printer is in your LAN but I decided to do it anyway.

Then go to LAN settings and uncheck “Automatically detect settings”

2016-03-31 18_05_27-Blank Page

It will fix most of the problems.

Hacking Pokemon 6th gen Mystery gift server

While receiving the Hoopa gift from the 18th Pokemon movie series, I suddenly felt like hacking into how this entire mystery gift process works.

I looked up on GBATemp and Project Pokemon but interestingly I could not find any technical insights on it. People had pretty much no progress after capturing the encrypted connections.

So, challenge accepted.

1

First, I went down to the basics like everyone else; Packet capture.
I used my laptop as a bogus wifi network to capture the packets from the 3DS

The 3DS was communicating with Nintendo servers with SSL as I expected.

2

I guess that it might be storing the certificate chain in the game file, as far as I know Wii games store their certificates within the game file.
I wasted a day trying to decompile the rom filesystem and searching for any meaningful information using grep. But eventually I found out that the certificates are not stored in the game file but it is embedded within the firmware SSL module.

3

I looked up for the ID of the SSL module and extracted the cia file from nintendo update server.
As all the update cias are encrypted, I needed to decrypt them using a 3DS.

4

Using Decrypt9, I retrieved the decrypted CIA file.
Lets get into the actual data using ctrtool.

5

Extracted the CXI portion from the dumped CIA file.
Now we need to get it splitted into proper partition.

6

I extracted the executable code from the exefs.

Lets take a look…

7

It is compressed with reverse LZ77 so lets uncompress it again.

8

After a bit of skimming I located the actual root certificate used for connection to 3ds-fushigi server.

Thank god Nintendo didn’t use complicated cert chain. As the root certificate is directly used for the communication we replace that and the work here is done.

The format seemed to be DER so I carefully exported the corresponding bytes.

9

Successfully retrieved the certificate in one shot.

Now lets create a certificate that is almost the same except that it will use MY private key.

10

Using OpenSSL I created the copy of the certificate, self signed it and converted it to DER format again.

11

I replaced the certificate in the code binary with the new one then I recompressed the code.bin with reverse LZ77.

12

But the header of the exefs requires the hash of the code.bin file, as I could not find any software that does the job for me I ended up patching the hash myself.

Then I redid the entire CIA decompiling process in the reverse order to create the new modified CIA file.

I installed the new CIA file onto the 3DS using devtool but it half bricked the 3DS upon reboot.

13

This is what a half bricked 3DS looks like. there is no menu on the bottom and it refuses to execute any of the softwares.
Trying to run Camera app using L+R freezes the console.

I wasted another 2 days trying to figure out what is going wrong, then I eventually found out that encrypting the CXI in the CIA file and using a sigpatched firmware could get around the problem.
By the time I worked on this there was no software capable of doing this but now one can use Decrypt9 to encrypt the CXI.

Anyway as the patched certificate is now in position we are moving onto server setup.

I changed the DNS settings of my 3DS and used redirected 3dsX-fushigi.pokemon-gl.com to my server’s IP address.

14

15

I created the certificate for secure https using IIS.

Then I started the mystery gift from the 3DS to see what happens.

Looking into the log I found that the 3DS was sending a request using a non-standard http format.

2016-02-03 12:07:40 *.*.*.* POST /api/serial.auth – 443 – *.*.*.* – 500 0 64 60

So I coded a secure proxy to dig into the detail.

16

This is the request sent from the 3DS for validating the gift code with Nintendo servers.
It contains the player’s GameSync ID, language settings, rom type, country code and etc.
Also the gift code in plain format, in this case 1111222233330000.

At this point I thought pretty much everything is over… and I was wrong.

17

A simple diagram for non-techy users.
I used a rogue DNS to redirect the traffic to my server and my server is behaving as the Man-in-the-Middle.
But strangely the response from the Nintendo server did not contain any information about the gift Pokemon.

18

This is the original response from the fushigi server.
I used a couple different working keys for comparison and discovered that it only tells the 3DS if the code is correct or the gift number on successful validation.

19

I did the packet capture again to see what it does after getting the response from fushigi server.
After disconnecting from fushigi the 3DS was connecting to npfl.c.app.nintendowifi.net.

But unlike fushigi, npfl server requires client authentication using a clientside certificate.

20

The client SSL certificate resides in a module called ClCertA

Extracting the certificate is done the same way as extracting the root certificate. But unlike the latter the client certificate is encrypted with AES-CBC, but thankfully we have a tool for that purpose.

21

Successfully extracted the certificate and key from the module

22

let’s convert the certificate into a more PC-friendly format.

23

Importing the certificate into the browser now enables us to impersonate as legit nintendo 3DS’s

Now let’s see what the server has to show us.

24

I see that the NPFL server holds the list of available gifts.

If given a gift number it will output the corresponding gift name for that number, if no input is given it shows all the available gifts.

File names are pretty much self-explanatory, although there are a couple of confusing names like M18KO_A, M18KO_HU. Which I guess means Arceus and Hoopa for the 18th Pokemon movie in Korean region.

One interesting thing to note is that when a 3DS connects to this server, it displays “Searching for gift…” message. It is _literally_ doing it.

If NPDL server gives a response and 3DS does find a gift, it will then connect to NPDL server to download the actual gift file.

25

To summarize, The process is like the diagram above.

I coded a program for simulating each of the servers, but I discovered that NPFL server is using a different certificate chain than others. It is authenticated using Nintendo G3 root certificate as opposed to other servers using Nintendo Class 2 cert. I can also replace the G3 certificate in the same way I did for Class 2, but as G3 certificate is also used for connecting to NASC and NPPL server, which is used to authenticate the nintendo 3ds and the cartridge itself everytime it tries to connect to the internet. I couldn’t figure out a way to emulate those servers due to their cryptic response format, so I ended up coding a secure proxy server that redirects all the information to the legit servers.

26

So this is the final diagram.

fushigi, npfl and npdl servers are accessed consecutively, so there is no problem running everything on a single server. But nppl and nasc servers are accessed randomly during connection, somethimes even simultaneously so they must be ran on different machines.

Anyway now I proceed to analyzing the output of the npdl server.

27

Despite so many steps it is still encrypted…

28

It is the BOSS format used in SpotPass, but to this date nobody bothered to document anything about the service.

29

But thankfully the specs for the header are documented, I coded a boss format decrypter from the information.

30

It is encrypted almost the same way as the client certificate execpt that it used AES-CTR and different set of private key. I coded another homebrew that is capable of decrypting AES-CTR from the raw data. the starting bytes of the CTR is the 12 bytes following the header plus 1 in big endian, so for this file the starting bytes will be 58 9A A6 73 5B EA D2 47 99 63 80 42 E7 01 00 00 00.

31

Presto! the gift is successfully decrypted. Although the actual format of the gift I will investigate later.

Now finally we can give ourselves a gift…

32

This is Amaura which my servers are gifting to my nintendo 3DS, with an arbitary gift code of MANATEE.
But as the gift file itself is also signed by nintendo, I guess there will be more stuff to be done before we can start creating our own giveaway pokemon.

The source code of the server emulators and AES-CTR decryptor will be released soon.

RAR header

rar

From Forensics Wiki:

Field Name Size (bytes) Description
HEAD_CRC 2 CRC of fields from HEAD_TYPE to FILEATTR and file name
HEAD_TYPE 1 Header Type: 0x74
HEAD_FLAGS 2 Bit Flags (Please see ‘Bit Flags for File in Archive’ table for all possibilities)
HEAD_SIZE 2 File header full size including file name and comments
PACK_SIZE 4 Compressed file size
UNP_SIZE 4 Uncompressed file size
HOST_OS 1 Operating system used for archiving (See the ‘Operating System Indicators’ table for the flags used)
FILE_CRC 4 File CRC
FTIME 4 Date and time in standard MS DOS format
UNP_VER 1 RAR version needed to extract file (Version number is encoded as 10 * Major version + minor version.)
METHOD 1 Packing method (Please see ‘Packing Method’ table for all possibilities
NAME_SIZE 2 File name size
ATTR 4 File attributes
HIGH_PACK_SIZE 4 High 4 bytes of 64-bit value of compressed file size. Optional value, presents only if bit 0x100 in HEAD_FLAGS is set.
HIGH_UNP_SIZE 4 High 4 bytes of 64-bit value of uncompressed file size. Optional value, presents only if bit 0x100 in HEAD_FLAGS is set.
FILE_NAME NAME_SIZE bytes File name – string of NAME_SIZE bytes size
SALT 8 present if (HEAD_FLAGS & 0x400) != 0
EXT_TIME variable size present if (HEAD_FLAGS & 0x1000) != 0

 

But the actual implementation of HEAD_CRC is the lower bits of CRC32 of header defined as in HEAD_SIZE without HEAD_CRC part calculated with standard polynomial of 0xEDB88320. I write it up here because RAR spec documents are crap. I hope this saves a couple of hours for someone.

트켓몬 3DS 개발기

트켓몬 블랙이 끝난지도 많이 지났고

다음세대의 트켓몬을 만들어보고 싶었습니다.

하지만 6세대 3DS는 에뮬이 없고

사실 에뮬이 있긴있지만 초기단계이므로 사실상 게임플레이는 불가능한수준

대책을 만들어야 했습니다.

그래서 3DS에 캡쳐보드를 장착하고 컴퓨터로 화면 출력을 돌린 다음

컴퓨터에서 내리는 명령을 직접 3DS로 전달해주는 장치를 직접 개발에 착수했습니다.

colbaltblue

일단 닌텐도 3ds를 하나 새로 구입

다행히 캡쳐보드가 장착된 제품을 구할 수 있었습니다. 귀찮게 캡쳐보드부터 달지않아서 다행.

IMG_5973

바로 뚜껑따기에 돌입합니다.

IMG_5974

충전을 화면출력과 동시에 할수 있도록 커넥터 개조가 되어 있습니다.

이제부터 본격적인 작업에 들어갑니다.

IMG_5977

우선 가장자리부터 시작해서 방향패드를 들어냅니다

IMG_5979

기타 방해가 되는 모듈과 선들도 분리

IMG_5981

그리고 캡쳐보드를 필름이 끊어지지 않게 조심스레 들어올린뒤 SD카드 슬롯을 빼내고 안에 숨어있는 나사를 제거합니다.

IMG_5982

아랫면 확보 성공

중앙에 노란 필름은 캡쳐보드로 화면과 소리를 출력해주는 기판입니다.

IMG_5984

극세선을 조심스레 버튼핀에 납땜해줍니다.

n1CKAdbPrHyNPNuW.huge

닌텐도 3DS 버튼 구조는 단순합니다.
각 핀이 그라운드로 연결되면 인식이 되는 구조라

버튼키에서 이어져 나오는 포트에 납땜을 하여 도선을 연장시킵니다.

하지만 그중에 방향키 오른쪽에 해당하는 TP90은 캡쳐보드 필름때문에 바로 납땜이 불가능하여 불가피하게 버튼 자체의 코팅을 찢고 그위 구리부분에 납땜을 하였습니다.

IMG_5985

버튼이야 그냥 무난하군요

IMG_5986

대충 다시 덮어서 케이블을 뺄만한 공간을 찾았습니다.
오른쪽부분은 그냥 삼각줄로 케이스를 깎아냈습니다.

그리고 보통 게임카드 접속을 위해 카드 슬롯 끝부분은 그라운드이므로 그라운드핀은 게임슬롯에 납땜을 하여 이용했습니다.

2016-01-23 15_25_50-Gamecards - 3dbrew

혹시나 해서 확인

IMG_5987

버튼핀과 그라운드핀을 연결했을때 정상적으로 버튼입력이 인식되는것을 확인 하였습니다.

IMG_5991

극세사는 브레드보드 연결에 부적합하므로 끝부분은 다시 강도가 있는 단선을 연결후 절연처리를 하였습니다.

IMG_5992

마이크로 컨트롤러에 연결후 프로그래밍 하였습니다.

원래 집에 많이 있는 ATMega328칩셋으로 쓸려 하였으나 후에 터치스크린 구현에서 필요한 DAC 성능 때문에 틴지보드를 사용하였습니다.

IMG_5993

그리고 감압식 터치패드 입력을 분리합니다.

그런데 터치패드로 연결되는 선이 0.5mm FPC라 납땜으로 연결하기는 불가능한 크기이고 다른 대안을 찾아야 했습니다.

그와중에 집에있는 구형 PSP가 FFC케이블을 사용하던게 생각나서 바로 적출했습니다.

IMG_5995

가장자리에 4선을 제외하고 오려서 사용을 시도해보았는데

결과는 패망

대충 커넥터에 접속은 되나 극세사랑 연결시 납땜을 하면 케이블이 바로 녹아버립니다.
FFC의 한계를 체험

이런걸 주문제작으로 살려 하면 주문제작으로 최소 몇천개는 세트로 구해야하기때문에 너무 비효율적이고 시간도 오래 걸립니다.

그러던와중에 서랍에 넣어둔 옛날 NDS를 발견

바로 분해에 들어갔습니다.

IMG_5996

액정을 들어내니 같은 종류의 커넥터를 사용하고 있었습니다.

IMG_5998

조심스레 액정 커버와 터치패널, 액정을 분리합니다.

IMG_5999

터치패널에서 커넥터부분을 떼어내고

IMG_6001

알코올로 접착제를 긁어낸뒤 극세사 납땜을 해줍니다.

IMG_6002

접촉이 잘 되었는지 확인을 위해 시험삼아 한번 꽂아 보았습니다.

IMG_6006

나머지 부분도 납땜후 대충 전류를 흘려주니 어떻게 입력이 되긴합니다.

2016-01-23 16_08_49-HOW DOES IT WORK - HOW DOES IT WORK.pdf

데이터시트를 통해 알아보니 NDS/3DS는 이 방식을 사용하는 듯 합니다. VCC는 1.8V이였습니다.

볼트미터로 전압을 측정해보니 3DS는 대충 Y+ X+ X- Y- 의 순서로 핀이 배열된듯 합니다.

2016-01-23 16_04_34-4-Wire and 8-Wire Resistive Touch-Screen Controller Using the MSP430 (Rev. A) -

자 이제 대충 컨셉은 알겠습니다.

3DS의 VCC는 1.8V인데 틴지보드는 3.3V입니다. 버퍼를 사용할 수도 있지만 터치스크린을 아예 안 쓸 예정이므로 그냥 볼트미터로 아날로그 1.8V 출력이 가능한 값을 찾아서 그 값에 비례하여 줄이는 방법을 사용 하였습니다.

3DS의 경우 Y+가 GND로 연결되어 터치 인터럽트가 발생되면 바로 0.0005초 후에 X+ 전압을 읽어내고 Y+ 이 입력모드로 전환후 0.0002초동안 Y+ 전압을 측정하는 방식으로 작동합니다.

이젠 엄청나게 정밀한 타이밍이 요구됩니다.

우선 X+ 핀은 시간적 여유가 있으므로 PWM 으로 연결하고 Y+는 ADC에서 출력하는 방식으로 코드를 짰습니다.

mwlpq

오실로스코프에선 대충 이렇습니다.

그리고 좀 귀찮은 노가다끝에 정확한 타이밍을 맞추는 코드를 작성할 수 있었습니다

심지어 머신코드 최적화 컴파일러가 타이밍을 틀어버리는바람에 매우 귀찮은 반복의 연속이였습니다.

IMG_6008

드디어 완벽한 정사각형을 그려내는 컨트롤러의 모습입니다.

IMG_6015

나머지 선들을 전부 연결후 마무리 하였습니다.

극세선들이 매우 복잡하긴 하지만 귀찮으므로 정리는 하지 않습니다.

이제 컴퓨터로 화면 출력과 동시에 게임을 할수 있는 장비가 완성되었습니다.

어제 새벽에 전체적인 시험을 거친 후 채팅 처리 프로그램을 업데이트 하였습니다.

국내판 콘솔에 국내판 소프트웨어로

인터넷 접속도 가능하도록 하였습니다.

3DS 콘솔이 있으신분은 본인 포켓몬과 교환도 가능.

모험의 시작은 오늘 6시 정각입니다

http://twitch.tv/manatails