SQLSTATE[HY000] [2019] Can't initialize character set UTF-8 (path: /usr/share/mysql/charsets/ エラー

環境

PHP 5.3.6
MySQL 5.1.69

PDOから接続すると

SQLSTATE[HY000] [2019] Can't initialize character set UTF-8 (path: /usr/share/mysql/charsets/).

こんなエラーがでた
何のことはない
✕・・・UTF-8
○・・・utf8

<?php
$pdo = new PDO(
    'mysql:host=yourhost;dbname=yourdb;charset=utf8',
    'user', 'password'
);

だった。